Von Toulmin zu Transformers: Wie Argument Mining zu einer Technologie wurde | Argumentree
Argument Mining ist das Gebiet der KI, das automatisch Ansprüche identifiziert, die dafür gegebenen Gründe und ob jeder Grund das, woran er angehängt ist, unterstützt oder angreift. Seine Grundlagen sind philosophischer Natur und nicht rechnerisch. 1958 veröffentlichte Stephen Toulmin "The Uses of Argument", das mit der formalen Logik brach, indem es beschrieb, wie alltägliche Argumente tatsächlich aufgebaut sind — Anspruch, Gründe, Garantie, Unterstützung, Qualifizierer, Widerlegung. Formale Logiker lehnten es weitgehend ab; das Buch fand sein Publikum stattdessen unter Wissenschaftlern der Rhetorik und Kommunikation, und sein Vokabular ist bis heute das Vokabular des Feldes. Douglas Walton katalogisierte später die wiederkehrenden Muster des alltäglichen Denkens als Argumentationsschemata, jedes mit kritischen Fragen, die aufzeigen, wo es versagt. James Freeman unterschied zwischen dem Angreifen einer Schlussfolgerung und dem Angreifen der Inferenz, die zu ihr führt. Argument Mining wurde erst in den 2010er Jahren zu einer messbaren rechnerischen Aufgabe, als annotierte Korpora erschienen — die überzeugenden Essays von Christian Stab und Iryna Gurevych, die argumentativen Mikrotexte von Andreas Peldszus und Manfred Stede. Neuronale Modelle folgten, und große Sprachmodelle beseitigten die Anforderung an ein hand-annotiertes Korpus in jedem neuen Bereich. Was sich nicht geändert hat, ist, welcher Teil schwierig ist: Ansprüche zu finden, ist weitgehend gelöst, und zu entscheiden, was an was angehängt ist und ob es unterstützt oder angreift, ist es nicht.
Ein Philosophiebuch, das Logiker 1958 abgelehnt hatten, stellte sich als die Spezifikation für eine maschinelles Lernen-Aufgabe heraus, die niemand in den nächsten fünfzig Jahren versuchen würde.
- Toulmins Modell von 1958 — Anspruch, Gründe, Garantie — wurde von formalen Logikern abgelehnt und wurde dennoch zum Arbeitsvokabular des Argument Mining.
- Walton katalogisierte, wie Menschen tatsächlich argumentieren, und fügte kritische Fragen zu jedem Muster hinzu, die zeigen, wo es bricht.
- Das Feld wurde in den 2010er Jahren messbar, als annotierte Korpora es ermöglichten, konkurrierende Systeme an denselben Texten zu vergleichen.
- Große Sprachmodelle haben den Korpusengpass beseitigt — Sie benötigen nicht mehr tausende von handannotierten Beispielen pro Domäne.
- Die harte Hälfte bewegte sich nie. Das Finden von Ansprüchen ist weitgehend gelöst; zu entscheiden, was was angreift, ist es nicht.
Das Buch, das eine Karriere beenden sollte
Als Stephen Toulmin 1958 The Uses of Argument veröffentlichte, war die Reaktion der professionellen Logiker feindlich. Er hatte ein Buch über das Schließen geschrieben, das sich weigerte, über formale Logik zu handeln, und man sagte ihm im Grunde, dass er vom Weg abgekommen sei. Toulmin erzählte später, dass ein Kollege begann, es sein Anti-Logik-Buch zu nennen.
Es beendete nicht seine Karriere. Was es tat, war, ein völlig anderes Publikum zu finden. Fachbereiche für Rhetorik und Kommunikation — insbesondere in den Vereinigten Staaten — nahmen das Buch auf und entwickelten Lehrpläne darauf basierend, weil Toulmin etwas beschrieben hatte, um das sich die formale Logik nie gekümmert hatte. Er hatte beschrieben, wie ein Argument aussieht, wenn eine echte Person eines formuliert.
Sechzig Jahre später, wenn Sie eine Maschine bitten, ein Protokoll eines Treffens zu lesen und Ihnen zu sagen, was diskutiert wurde, wird sie Toulmins Vokabular verwenden, um zu antworten. Das ist die Geschichte dieser Reihe, und dieser Beitrag ist der Bogen davon: wie ein Philosophie-Buch, das von Logikern abgelehnt wurde, zur Spezifikation für eine Aufgabe im maschinellen Lernen wurde.
Was Toulmin tatsächlich verändert hat
Die formale Logik beschäftigt sich mit der Gültigkeit: Folgt aus diesen Prämissen diese Schlussfolgerung? Sie ist ein hervorragendes Werkzeug und beschreibt fast nichts von dem, was Menschen tatsächlich sagen. Niemand argumentiert in Syllogismen.
Toulmins Ansatz war, eine andere Frage zu stellen — nicht ist das gültig, sondern wie ist das aufgebaut. Er zerlegte ein echtes Argument in sechs Teile, von denen drei die Hauptarbeit leisten:
- Behauptung — die vorgebrachte Position. Was Sie tatsächlich von jemandem verlangen, zu akzeptieren.
- Gründe — die zur Unterstützung angebotenen Fakten. Die Beweise, die Daten, das Beispiel.
- Rechtfertigung — das Prinzip, das den Übergang von Gründen zu Ansprüchen lizenziert. Fast nie laut ausgesprochen.
Der Haftbefehl ist der interessante, und er ist der Grund, warum Argument Mining schwierig und nicht nur mühsam ist. Die Brücke ist strukturell unsicher, also sollten wir sie schließen enthält eine verborgene Prämisse: dass unsichere Strukturen geschlossen werden sollten. Niemand sagt diesen Satz. Jeder geht davon aus. Eine Maschine, die den Text liest, muss einen Schritt rekonstruieren, der nicht im Text enthalten ist.
Die anderen drei Teile — Unterstützung, Qualifikation, Widerlegung — behandeln die Absicherungen und die Ausnahmen. Zusammen beschreiben sie ein Argument als eine Struktur und nicht als eine Kette, und diese strukturelle Sichtweise ist es, die das Ganze später berechenbar gemacht hat.
Walton und die Frage, die das Argument bricht
Wenn Toulmin dem Feld seine Anatomie gab, gab Douglas Walton ihm einen Feldführer. In den 1990er und 2000er Jahren katalogisierte Walton die wiederkehrenden Muster des alltäglichen Denkens — Berufung auf Expertenmeinungen, Argument aus Analogie, Argument aus Konsequenzen, Argument aus Zeichen — als Argumentationsschemata.
Der Katalog ist nützlich. Was ihn mächtig macht, ist die zweite Hälfte: jedes Schema kommt mit kritischen Fragen, den spezifischen Herausforderungen, die aufzeigen, wo dieses Muster versagt. Für den Rückgriff auf Expertenmeinungen: Ist diese Person tatsächlich ein Experte auf diesem Gebiet? Sind andere Experten einverstanden? Ist die Behauptung mit den Beweisen konsistent?
Dies ist das einzig nützliche Element in der gesamten Tradition für jeden, der in einem Meeting sitzt, und es kostet nichts, es anzuwenden. Wenn jemand aus Autorität argumentiert, müssen Sie nicht mit der Schlussfolgerung disagrieren. Sie stellen die kritische Frage, die das Muster selbst einlädt. Es ist nicht aggressiv; es ist das, was das Argument verlangt.
Freeman und die Unterscheidung, die es berechenbar machte
James Freemans Arbeit von 1991 zur Argumentmakrostruktur fügte das Stück hinzu, das für Maschinen am wichtigsten war. Er zog eine klare Grenze zwischen zwei Dingen, die Menschen beiläufig als Meinungsverschiedenheit bezeichnen.
Sie können eine Schlussfolgerung angreifen — argumentieren, dass sie falsch ist. Oder Sie können die Schlussfolgerung angreifen — jedes angebotene Faktum akzeptieren und leugnen, dass die Schlussfolgerung daraus folgt. Ihre Studie ist fehlerhaft und Ihre Studie ist in Ordnung, zeigt aber nicht das, was Sie denken, dass sie zeigt sind völlig unterschiedliche Ansätze, und sie als eins zu behandeln, verliert die meisten Informationen in einer echten Meinungsverschiedenheit.
Freeman trennte auch Prämissen, die nur zusammen funktionieren, von Prämissen, die jeweils für sich allein stehen — der Unterschied zwischen einem Argument, das zusammenbricht, wenn man ein Bein entfernt, und einem, das lediglich schwächer wird. Sobald man diese Unterscheidungen hat, ist ein Argument keine Prosa mehr. Es ist ein beschrifteter Graph, und ein beschrifteter Graph ist etwas, auf dem ein Computer bewertet werden kann.
Dann geschah zwanzig Jahre lang nichts.
Die Theorie war Anfang der 1990er Jahre vorhanden. Das computergestützte Feld kam erst in den 2010er Jahren, und der Grund dafür ist wenig glamourös: Es gab nichts, mit dem man messen konnte.
Ein Forschungsfeld wird zu einem Forschungsfeld, wenn konkurrierende Ansätze anhand derselben Daten verglichen werden können. Dazu war es erforderlich, dass jemand sich mit Tausenden von Dokumenten hinsetzt und von Hand markiert, welche Passagen Behauptungen, welche Prämissen sind und welche welche unterstützen oder angreifen. Christian Stab und Iryna Gurevych haben dies für persuasive Essays getan. Andreas Peldszus und Manfred Stede haben ein Korpus kurzer argumentativer Texte erstellt, um die Struktur speziell zu untersuchen.
Diese Arbeit wird im nächsten Beitrag dieser Reihe angemessen behandelt. Was hier zählt, ist die Form, die sie offenbarte. Sobald Sie Systeme bewerten können, sehen Sie, welche Teile schwierig sind – und die Antwort war sofort klar und hat sich nie wirklich geändert.
Die Frage, die Sie in Ihrem nächsten Meeting stellen sollten
Wenn jemand als nächstes von Autorität argumentiert – einem Berater, einem Benchmark, einer benannten Studie – fordere nicht die Schlussfolgerung heraus. Stelle stattdessen Waltons Frage: Ist das ein Experte in diesem speziellen Bereich, und stimmen andere Experten zu? Achte darauf, wie oft niemand nachgeprüft hat.
Ansprüche zu finden ist einfach. Alles danach ist es nicht.
Veröffentlichte Benchmarks erzählen eine konsistente Geschichte. Bei dem Korpus für überzeugende Essays erreicht die Identifizierung und Kennzeichnung der argumentativen Komponenten etwa 73% F1. Die Entscheidung, wie diese Komponenten zueinander in Beziehung stehen — was an was anknüpft und ob es unterstützt oder angreift — liegt bei etwa 48%. Bei dem CDCP-Korpus von öffentlichen Kommentardaten, das von Joonsuk Park und Claire Cardie erstellt wurde, sinkt die Erkennung von Beziehungen auf etwa 34%.
Diese Lücke ist das Feld. Sie ist kein Artefakt schwacher Modelle und hat jede Architekturänderung seitdem überstanden. Die Erkennung hat sich stetig verbessert. Die Beziehungen haben sich kaum verändert.
Die Gründe sind struktureller als technischer Natur und sind Gegenstand von dem dritten Beitrag in dieser Reihe: Meinungsverschiedenheiten sind in den Daten selten, sie hängen vom Kontext ab, den der Satz nicht enthält, und der verbindende Schritt wird normalerweise nicht genannt — Toulmins Garantie, die auch sechzig Jahre später noch fehlt.
Aber ist das nicht einfach natürliche Sprachverarbeitung?
Es verwendet die gleiche Maschine, daher ist der Einwand gerechtfertigt. Der Unterschied liegt darin, was zurückgewonnen wird.
Sentimentanalyse fragt, wie sich ein Text anfühlt. Zusammenfassung fragt, was er sagt. Die Erkennung benannter Entitäten fragt, wer und was darin erscheint. Alle drei beziehen sich auf den Inhalt. Argument Mining fragt nach Struktur — welcher Satz leistet argumentative Arbeit an welchem anderen Satz und in welche Richtung.
Diese Unterscheidung hat eine praktische Bedeutung. Ein Satz kann negativ formuliert werden, während er die Behauptung unterstützt, an die er angehängt ist: Der Zeitdruck erhöht das Risiko stärkt ein Argument, dass das Projekt riskant ist. Jedes System, das nach Ton bewertet, macht das jedes Mal falsch. Das Informationsargument, das das Mining wiederherstellt, liegt nicht in den Worten. Es liegt in den Beziehungen zwischen ihnen.
Was große Modelle verändert haben und was nicht
Das aktuellste Kapitel ist das, das jeder kennt. Allgemeinsprachliche Modelle können Argumentationsanalysen durchführen, ohne zuvor auf einem annotierten Korpus trainiert zu werden, was die größte praktische Hürde, die das Feld jemals hatte, beseitigt: die Notwendigkeit, für jedes neue Gebiet Tausende von manuell gekennzeichneten Beispielen zu benötigen.
Das ist eine echte Diskontinuität, und sie ist es, die das Argument Mining auf gewöhnlichen Geschäftstexten anwendbar gemacht hat, anstatt nur auf kuratierten Essay-Korpora. Es wird in dem vierten Beitrag behandelt.
Was es nicht getan hat, ist die Lücke zu schließen. Die strukturellen Probleme sind weiterhin strukturell. Ein Modell, das das gesamte Internet gelesen hat, muss immer noch entscheiden, ob dieser Einwand auf diesen Grund oder auf die dahinterstehende Schlussfolgerung abzielte, und der Text sagt immer noch nichts dazu.
Was sechzig Jahre davon über Ihre eigenen Argumente nahelegen
- Der Streitpunkt ist oft der Ort, an dem die Uneinigkeit lebt. Zwei Personen, die sich über jeden Fakt einig sind und dennoch uneinig bleiben, streiten über ein nicht ausgesprochenes Prinzip. Nennen Sie es, und das Gespräch wird kürzer.
- Die Inferenz anzugreifen ist nicht dasselbe wie die Fakten anzugreifen. Zu entscheiden, was man tut — laut ausgesprochen — erspart der anderen Person, das Falsche zu verteidigen.
- Jeder Appell an Autorität kommt mit seiner eigenen Testfrage. Walton hat sie aufgeschrieben. Sie zu verwenden ist keine Feindseligkeit; es ist das Muster, das wie beabsichtigt funktioniert.
- Struktur ist das, was überdauert. Sechs Monate später erinnert sich niemand mehr an die Formulierung. Was sie brauchen, ist, welcher Einwand erhoben wurde und ob jemand darauf geantwortet hat.
Das Anti-Logik-Buch
Toulmins Kritiker hatten in einer Hinsicht recht: The Uses of Argument war wirklich kein Buch über formale Logik. Es war ein Buch darüber, wie Menschen argumentieren, wenn die Einsätze hoch sind, die Prämissen umstritten sind und niemand Zeit für einen Syllogismus hat.
Das stellte sich als das schwierigere Problem und das nützlichere heraus. Jedes System, das heute ein Transkript liest und dir sagt, was behauptet wurde, auf welchen Grundlagen und was dagegen argumentiert wurde, arbeitet nach seiner Beschreibung. Nicht schlecht für ein Anti-Logik-Buch.
Die Argumentationsbergbau-Serie
Fünf Beiträge darüber, wie Maschinen gelernt haben, Argumente zu lesen – woher das Feld stammt, warum seine schwierigen Probleme schwierig sind und wie wir es anwenden.
Das Jahrzehnt der handannotierten Korpora, das das Argument Mining von einer Idee in eine messbare Aufgabe verwandelte.
Meinungsverschiedenheiten sind in den Daten selten und hängen vom Kontext ab, den der Satz nicht enthält.
Zero-Shot-Modelle haben den Korpusengpass beseitigt und die strukturellen Probleme genau dort belassen, wo sie waren.
Anwendung: Argumentkategorien, eine Hauptbehauptung pro Kategorie und warum Vertrauen das falsche Ranking-Signal ist.
Quellen & Weiterführende Literatur
Das Modell von Anspruch/Grund/Begründung — das Vokabular, das das gesamte Feld weiterhin verwendet.
Der Katalog der wiederkehrenden Denkweisen und die kritischen Fragen, die jede einzelne überprüfen.
Eine Schlussfolgerung angreifen versus die Inferenz zu ihr angreifen — die Unterscheidung, die die Argumentstruktur berechenbar machte.
Die Standardumfrage im rechnerischen Bereich, ihre Aufgabenstellungen und ihre offenen Probleme.
Das annotierte Korpus, das das Argument Mining messbar gemacht hat, und die Quelle der hier zitierten F1-Zahlen für Komponenten und Relationen.
Das CDCP-Korpus, bei dem die Beziehungserkennung bei etwa 34 % F1 liegt.
Häufig gestellte Fragen
Was ist Argument Mining?
Argument Mining ist der Bereich der KI, der automatisch die argumentative Struktur in gewöhnlichem Text identifiziert: welche Sätze Behauptungen aufstellen, welche Gründe angeben und ob jeder Grund die Behauptung unterstützt oder angreift, an die er angehängt ist. Das Ergebnis ist eine strukturierte Karte und kein Zusammenfassung.
Wer hat das Argument Mining gegründet?
Es gibt keinen einzelnen Gründer. Die theoretischen Grundlagen sind Stephen Toulmins Modell der Argumentstruktur von 1958, erweitert durch Douglas Waltons Argumentationsschemata und James Freemans Darstellung der Argument-Makrostruktur. Das rechnergestützte Feld nahm in den 2010er Jahren Gestalt an, als annotierte Korpora es messbar machten.
Warum war Toulmins Buch umstritten?
Weil es ein Buch über Argumentation war, das sich weigerte, über formale Logik zu handeln. Toulmin argumentierte, dass Gültigkeit die falsche Frage für alltägliche Argumente sei, und beschrieb stattdessen die Struktur. Professionelle Logiker wiesen es größtenteils zurück; Rhetorik- und Kommunikationswissenschaftler nahmen es an und entwickelten darauf basierende Lehrpläne.
Was ist ein Warrants im Toulmin-Modell?
Die Garantie ist das Prinzip, das den Übergang von Ihrem Grundstück zu Ihrem Anspruch lizenziert. In "die Brücke ist unsicher, also sollten wir sie schließen" ist die Garantie, dass unsichere Strukturen geschlossen werden sollten. Garantien werden fast nie laut ausgesprochen, weshalb es genau so schwierig ist, Argumente automatisch zu extrahieren.
Was sind Waltons Argumentationsschemata?
Wiederkehrende Muster des alltäglichen Denkens — Berufung auf Expertenmeinungen, Argumentation durch Analogie, Argumentation aus Konsequenzen — jeweils kombiniert mit kritischen Fragen, die aufzeigen, wo dieses Muster versagt. Die kritischen Fragen sind die praktisch nützliche Hälfte: Sie geben Ihnen eine Möglichkeit, ein Argument zu testen, ohne einfach dessen Schlussfolgerung zu leugnen.
Warum ist die Erkennung von Beziehungen schwieriger als das Finden von Behauptungen?
Da Beziehungen vom Kontext abhängen, den der Satz nicht enthält, ist der verbindende Schritt normalerweise nicht angegeben, und Meinungsverschiedenheiten sind in den annotierten Daten selten. Veröffentliche Benchmarks zeigen eine Komponentenerkennung von etwa 73 % F1 im Vergleich zur Beziehungsdetektion von etwa 48 % im selben Korpus und etwa 34 % bei schwierigeren.
Haben große Sprachmodelle das Argument Mining gelöst?
Sie haben das größte praktische Hindernis beseitigt — die Notwendigkeit eines handannotierten Korpus in jedem neuen Bereich — was die Technologie für gewöhnliche Geschäftstexte nutzbar machte. Sie haben die strukturelle Lücke jedoch nicht geschlossen. Zu entscheiden, was an was anheftet und in welche Richtung, bleibt der schwierige Teil.
Argumentree Team
Decision Science
The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.
Siehe die angewandte Theorie
Fügen Sie ein Transkript ein und erhalten Sie einen strukturierten Pro- und Contra-Baum — Ansprüche, die Gründe dafür und was dagegen spricht.
Die Referenzseite für das Feld — Aufgaben, Geschichte und warum Beziehungen der schwierige Teil sind.
Die sechs Teile der Anatomie eines alltäglichen Arguments, im Detail.
Vor Toulmin: wie Indien, China und Griechenland jeweils strukturierte Argumentation erfunden haben.
Wandle eine Diskussion in einen Argumentationsbaum um.
Sechzig Jahre Argumentationstheorie, angewendet auf das Transkript Ihres nächsten Meetings.
Kostenlos starten