从图尔敏到变压器:论证挖掘如何成为一项技术 | Argumentree
论证挖掘是人工智能的一个领域,自动识别主张、为其提供的理由,以及每个理由是否支持或攻击其所附加的内容。它的基础是哲学而非计算。1958年,斯蒂芬·图尔敏出版了《论证的用途》,该书通过描述日常论证的实际构建方式——主张、依据、担保、支持、限定、反驳——打破了形式逻辑。形式逻辑学家在很大程度上拒绝了它;这本书的受众转而是修辞学和传播学的学者,其词汇至今仍是该领域的词汇。道格拉斯·沃尔顿后来将日常推理中反复出现的模式编纂为论证方案,每个方案都有揭示其失败之处的关键问题。詹姆斯·弗里曼区分了攻击结论与攻击导致该结论的推理。论证挖掘在2010年代才成为一个可测量的计算任务,当时出现了带注释的语料库——克里斯蒂安·斯塔布和伊琳娜·古列维奇的说服性文章,安德烈亚斯·佩尔茨斯和曼弗雷德·斯特德的论证微文本。神经模型随之而来,大型语言模型消除了每个新领域对手动注释语料库的要求。未改变的是哪一半是困难的:寻找主张在很大程度上已得到解决,而决定什么附加于什么,以及它是支持还是攻击,则仍然没有解决。
一本在1958年被逻辑学家驳斥的哲学书籍,结果成为了一项机器学习任务的规范,而这项任务在接下来的五十年里无人敢尝试。
- 图尔敏1958年的模型——主张、依据、担保——被形式逻辑学家拒绝,但无论如何成为了论证挖掘的工作词汇。
- 沃尔顿对人们实际争论的方式进行了分类,并为每种模式附上了关键问题,以显示其破裂之处。
- 该领域在2010年代变得可测量,当时带注释的语料库使得竞争系统能够在相同文本上进行比较。
- 大型语言模型消除了语料库瓶颈——您不再需要每个领域数千个手动标注的示例。
- 困难的一半从未动过。寻找索赔在很大程度上已得到解决;决定什么攻击什么则没有。
本应结束职业生涯的书
当斯蒂芬·图尔敏在1958年出版《论证的用途》时,专业逻辑学家的反应是敌对的。他写了一本关于推理的书,但拒绝讨论形式逻辑,因此实际上被告知他已经偏离了正轨。图尔敏后来回忆说,一位同事开始称这本书为他的反逻辑书。
这并没有结束他的职业生涯。它所做的是找到一个完全不同的受众。修辞和传播学系——尤其是在美国——开始关注这本书并以此为基础建立课程,因为图尔敏做了形式逻辑从未关心过的事情。他描述了当一个真实的人进行辩论时,论证的样子。
六十多年后,如果你让一台机器阅读会议记录并告诉你争论了什么,它将使用图尔敏的词汇来回答。这就是这个系列的故事,而这篇文章是其主线:一本被逻辑学家拒绝的哲学书籍如何成为机器学习任务的规范。
图尔敏实际上改变了什么
形式逻辑关注的是有效性:在给定这些前提的情况下,这个结论是否成立?它是一个极好的工具,但几乎没有描述人们实际说的话。没有人用三段论进行争论。
图尔敏的做法是提出一个不同的问题——不是这是否有效而是这是如何构建的。他将一个真实的论证分为六个部分,其中三个部分承担了主要的工作:
- 主张 — 提出的立场。你实际上要求某人接受的内容。
- 依据 — 提供的支持事实。证据、数据、例子。
- 保证 — 许可从理由到主张的原则。几乎从未被明言。
令状是有趣的地方,这也是论证挖掘之所以困难而非乏味的原因。这座桥的结构不安全,所以我们应该关闭它包含一个隐含前提:不安全的结构应该被关闭。没有人会说出这句话。每个人都假设它。机器在阅读文本时必须重建一个文本中没有的步骤。
其他三个部分——支持、限定、反驳——处理了保留和例外。它们共同将论证描述为一种结构,而不是一条链,这种结构视角使得整个过程在后来的计算中变得可行。
沃尔顿与打破争论的问题
如果图尔敏为该领域提供了其解剖结构,那么道格拉斯·沃尔顿则为其提供了一个实用指南。在1990年代和2000年代,沃尔顿对日常推理中反复出现的模式进行了分类——对专家意见的诉求、类比论证、后果论证、标志论证——作为论证方案。
目录很有用。它的强大之处在于后半部分:每个方案都附带关键问题,这些具体挑战揭示了该模式失败的地方。对于专家意见的吸引力:这个人真的是这个领域的专家吗?其他专家是否一致同意?该主张是否与证据一致?
这是整个传统中对任何参加会议的人来说最有用的事情,而且应用起来没有任何成本。当有人以权威的身份进行辩论时,你不必不同意结论。你要问出模式本身所邀请的关键问题。这并不是攻击性行为;这是论点所要求的。
弗里曼与使其可计算的区别
詹姆斯·弗里曼在1991年的关于论证宏结构的研究为机器提供了最重要的部分。他在两种人们随意称之为分歧的事物之间划定了明确的界限。
你可以攻击一个结论——争辩它是错误的。或者你可以攻击推理——接受所有提供的事实,并否认结论是从这些事实中得出的。你的研究有缺陷和你的研究没问题,但它并没有显示你认为它显示的内容是完全不同的举动,把它们视为一个会失去在真正分歧中大部分信息。
弗里曼还区分了只能一起工作的前提和每个独立存在的前提——一个论证如果去掉一个支撑就会崩溃,而另一个则只是变得更弱。一旦你有了这些区分,论证就不再是散文。它是一个标记的图表,而标记的图表是计算机可以评分的东西。
然后二十年什么都没有发生
这一理论在1990年代初期就已建立。计算领域直到2010年代才出现,原因并不光鲜:没有可供衡量的标准。
一个研究领域成为研究领域的前提是可以在相同的数据上比较竞争性的方法。这需要有人坐下来,手动标记成千上万的文档,区分哪些是主张,哪些是前提,以及哪些支持或攻击哪些。Christian Stab 和 Iryna Gurevych 为说服性论文做了这项工作。Andreas Peldszus 和 Manfred Stede 则专门构建了一个短篇论证文本的语料库,以研究结构。
这项工作在本系列的下一篇文章中得到了妥善的覆盖。这里重要的是它揭示的形状。一旦你能够对系统进行评分,你就能看到哪些部分是困难的——答案是立竿见影的,并且从未真正改变过。
在下次会议中要问的问题
当有人接下来从权威出发进行辩论时——无论是顾问、基准还是某项研究——不要质疑结论。相反,问沃尔顿的问题:这在这个特定领域是专家吗,其他专家是否同意? 注意有多少次没有人去核实。
找到索赔很简单。之后的一切就不那么容易了。
发布的基准测试讲述了一个一致的故事。在说服性论文语料库中,识别和标记论证组件的F1得分大约为73%。决定这些组件之间的关系——什么附着于什么,以及它是支持还是攻击——的得分接近48%。在Joonsuk Park和Claire Cardie构建的公共评论数据CDCP语料库中,关系检测的得分降至约34%。
那个差距就是领域。它不是弱模型的产物,自那时以来经历了每一次架构变化。检测稳步改善。关系几乎没有变化。
原因是结构性的而非技术性的,它们是本系列的第三篇文章的主题:数据中很少出现分歧,它依赖于句子中未包含的上下文,而连接步骤通常未被陈述——图尔敏的担保,六十年后仍然缺失。
但这不就是自然语言处理吗?
它使用相同的机械,因此这个反对意见是合理的。不同之处在于所回收的内容。
情感分析询问文本的感受。摘要询问文本的内容。命名实体识别询问文本中出现了谁和什么。这三者都与内容有关。论证挖掘则关注结构——哪句话在对哪句话进行论证工作,以及方向是什么。
这种区分具有实际意义。一个句子可以以否定的方式表达,同时支持它所附加的主张:时间压力增加了风险加强了项目风险的论点。任何通过语气评分的系统每次都会把这一点搞反。信息论证挖掘所恢复的内容不在于单词本身,而在于它们之间的关系。
大型模型改变了什么,以及它们没有改变什么
最新的章节是大家都知道的。通用语言模型可以在没有先经过标注语料库训练的情况下执行论证挖掘任务,这消除了该领域曾经面临的最大实际障碍:每个新领域都需要成千上万的手动标注示例。
这是真正的断裂,这使得论证挖掘可以用于普通商业文本,而不仅仅是经过整理的论文语料库。相关内容在第四篇文章中进行了介绍。
它没有缩小差距。结构性问题仍然是结构性问题。一个已经阅读了整个互联网的模型仍然需要决定这个反对意见是针对那个理由还是其背后的结论,而文本仍然没有说明。
这六十年所暗示的关于你自己论点的内容
- 争议通常存在于授权书中。 两个在每个事实上都达成一致的人仍然存在分歧,他们在争论一个未明确说明的原则。指出这个原则,谈话就会变得简短。
- 攻击推论并不等同于攻击事实。 明确你在做哪一件事 — 大声说出来 — 可以让对方免于为错误的事情辩护。
- 对权威的每一次呼吁都有其自身的测试问题。沃尔顿把它们写下来了。使用它们并不是敌意;这是模式按预期运作。
- 结构是能够存活下来的。 六个月后,没有人记得具体的措辞。他们需要的是提出了什么反对意见,以及是否有人对此作出了回应。
反逻辑书
图尔敏的批评者在一件事上是对的:论证的用途确实不是一本关于形式逻辑的书。它是一本关于人们在真实利益和有争议的前提下如何推理的书,而没有人有时间去进行三段论。
这被证明是更难的问题,也是更有用的问题。今天,每个读取转录本并告诉你所声称的内容、依据是什么以及反对的论点是什么的系统,都是基于他的描述在工作。对于一本反逻辑的书来说,这并不算坏。
论证挖掘系列
五篇关于机器如何学习阅读论证的文章——这个领域的起源、为什么它的难题很难,以及我们如何应用它。
来源与进一步阅读
主张/理由/依据模型 — 整个领域仍在使用的词汇。
反复出现的推理模式目录及测试每一种模式的关键问题。
攻击结论与攻击推理之间的区别——使论证结构可计算的区别。
计算领域的标准调查,包括其任务定义和未解决的问题。
使论证挖掘可测量的注释语料库,以及此处引用的组件和关系F1数据的来源。
CDCP语料库中,关系检测的F1值约为34%。
常见问题解答
什么是论证挖掘?
论证挖掘是人工智能的一个分支,它自动识别普通文本中的论证结构:哪些句子提出主张,哪些句子给出理由,以及每个理由是否支持或攻击其所附加的主张。输出的是一个结构化的图而不是摘要。
谁创立了论证挖掘?
没有单一的创始人。理论基础是斯蒂芬·图尔敏1958年的论证结构模型,随后由道格拉斯·沃尔顿的论证方案和詹姆斯·弗里曼的论证宏观结构描述进行了扩展。计算领域在2010年代形成,一旦注释语料库使其可测量。
为什么图尔敏的书引起争议?
因为这是一本关于推理的书,而不愿意涉及形式逻辑。图尔敏认为有效性是日常论证中的错误问题,而是描述了结构。专业逻辑学家在很大程度上拒绝了它;修辞学和传播学学者则采纳了它,并以此为基础建立了课程。
在图尔敏模型中,什么是担保?
证据是允许从你的领域转移到你的主张的原则。在“桥梁不安全,所以我们应该关闭它”中,证据是不安全的结构应该被关闭。证据几乎从不被明确表达,这正是自动提取论证困难的原因。
沃尔顿的论证方案是什么?
日常推理的重复模式——诉诸专家意见、类比论证、后果论证——每种模式都配有揭示其失败之处的关键问题。关键问题是实用的那一半:它们为你提供了一种测试论证的方法,而不仅仅是否定其结论。
为什么关系检测比寻找主张更困难?
因为关系依赖于句子中未包含的上下文,连接步骤通常未被陈述,而在注释数据中,分歧很少。已发布的基准显示,在同一语料库上,组件检测的F1分数约为73%,而关系检测的F1分数接近48%,在更困难的语料库上约为34%。
大型语言模型解决了论证挖掘问题吗?
他们消除了最大的实际障碍——在每个新领域都需要手工注释的语料库——这使得该技术可以用于普通的商业文本。但他们并没有弥补结构上的差距。决定什么与什么相连,以及连接的方向,仍然是困难的部分。
Argumentree Team
Decision Science
The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.
查看理论的应用
粘贴一份抄本并获取一个结构化的优缺点树——主张、支持它们的理由以及反对它们的论点。
