Книга, которая должна была закончить карьеру

Когда Стивен Тулмин опубликовал Использование аргументации в 1958 году, реакция профессиональных логиков была враждебной. Он написал книгу о рассуждении, которая отказалась быть о формальной логике, и ему сказали, по сути, что он сбился с пути. Позже Тулмин рассказал, что один из коллег стал называть её его анти-логической книгой.

Это не положило конец его карьере. То, что он сделал, — это нашел совершенно другую аудиторию. Кафедры риторики и коммуникации — особенно в Соединенных Штатах — заинтересовались книгой и разработали на ее основе учебные программы, потому что Тулмин сделал то, что формальная логика никогда не удосуживалась сделать. Он описал, как выглядит аргумент, когда его приводит реальный человек.

Шестьдесят с лишним лет спустя, если вы попросите машину прочитать стенограмму встречи и сказать, что обсуждалось, она будет использовать словарь Тулмина для ответа. Это история этой серии, и этот пост является её аркой: как философская книга, которую логики отвергли, стала спецификацией для задачи машинного обучения.

Что на самом деле изменил Тулмин

Формальная логика занимается валидностью: исходя из этих предпосылок, следует ли этот вывод? Это превосходный инструмент, но он почти не описывает то, что люди на самом деле говорят. Никто не спорит в силлогизмах.

Движение Тулмина заключалось в том, чтобы задать другой вопрос — не является ли это действительным, а как это построено. Он разбил реальный аргумент на шесть частей, и три из них выполняют основную работу:

• Утверждение — выдвигаемая позиция. То, что вы на самом деле просите кого-то принять.
• Основания — факты, представленные в поддержку. Доказательства, данные, пример.
• Гарантия — принцип, который лицензирует переход от оснований к требованию. Почти никогда не произносится вслух.

Ордер является интересным, и именно он делает анализ аргументов сложным, а не утомительным. Мост структурно ненадежен, поэтому мы должны его закрыть содержит скрытое предположение: что ненадежные конструкции должны быть закрыты. Никто не произносит это предложение. Все это предполагают. Машина, читающая текст, должна восстановить шаг, которого нет в тексте.

Остальные три части — поддержка, квалификатор, опровержение — занимаются хеджированием и исключениями. Вместе они описывают аргумент как структуру, а не как цепочку, и именно этот структурный подход сделал всю систему вычисляемой позже.

Уолтон и вопрос, который ломает аргумент

Если Тулмин дал полю его анатомию, то Дуглас Уолтон предоставил ему полевое руководство. Работая в 1990-х и 2000-х годах, Уолтон каталогизировал повторяющиеся паттерны повседневного рассуждения — обращение к мнению эксперта, аргумент по аналогии, аргумент из последствий, аргумент из знаков — как схемы аргументации.

Каталог полезен. Что делает его мощным, так это вторая половина: каждая схема сопровождается критическими вопросами, конкретными проблемами, которые показывают, где эта модель терпит неудачу. Для обращения к мнению экспертов: является ли этот человек действительно экспертом в этой области? Согласны ли другие эксперты? Соответствует ли утверждение имеющимся доказательствам?

Это единственная наиболее полезная вещь во всей традиции для любого, кто сидит на встрече, и ее применение ничего не стоит. Когда кто-то аргументирует с позиции авторитета, вам не обязательно не соглашаться с выводом. Вы задаете критический вопрос, который сам паттерн подразумевает. Это не агрессивно; это то, что требует аргумент.

Фримен и различие, которое сделало это вычислимым

Работа Джеймса Фримана 1991 года о макроструктуре аргумента добавила важный элемент для машин. Он провел четкую грань между двумя вещами, которые люди небрежно называют несогласием.

Вы можете атаковать заключение — утверждать, что оно ложное. Или вы можете атаковать вывод — принять все предложенные факты и отрицать, что из них следует заключение. Ваше исследование имеет недостатки и ваше исследование в порядке, но оно не показывает то, что вы думаете, что показывает — это совершенно разные действия, и рассматривать их как одно теряет большую часть информации в настоящем разногласии.

Фриман также разделил предпосылки, которые работают только вместе, на предпосылки, которые могут существовать отдельно — разница между аргументом, который рушится, если убрать одну опору, и тем, который просто становится слабее. Как только у вас есть эти различия, аргумент больше не является прозой. Это помеченный граф, и помеченный граф — это то, на чем компьютер может быть оценен.

Потом ничего не происходило двадцать лет

Теория была разработана к началу 1990-х годов. Вычислительная область появилась только в 2010-х, и причина этому не впечатляющая: не было ничего, с чем можно было бы сравнить.

Исследовательская область становится таковой, когда конкурирующие подходы можно сравнивать на одних и тех же данных. Для этого кому-то нужно было сесть с тысячами документов и вручную отметить, какие отрывки были утверждениями, какие - предпосылками, и какие поддерживали или атаковали что. Кристиан Стаб и Ирина Гуревич сделали это для убедительных эссе. Андреас Пельдсзус и Манфред Стеде создали корпус коротких аргументативных текстов специально для изучения структуры.

Эта работа должным образом освещена в следующем посте в этой серии. Здесь важно то, какую форму она выявила. Как только вы можете оценивать системы, вы можете увидеть, какие части сложны — и ответ был немедленным и с тех пор никогда не изменялся.

Найти претензии легко. Всё остальное — нет.

Опубликованные бенчмарки рассказывают последовательную историю. В корпусе убедительных эссе идентификация и маркировка аргументативных компонентов достигает примерно 73% F1. Определение того, как эти компоненты соотносятся друг с другом — что к чему прикрепляется и поддерживает ли это или атакует — находится на уровне около 48%. В корпусе данных общественных комментариев CDCP, созданном Джунсуком Паком и Клэр Карди, обнаружение отношений падает до примерно 34%.

Этот разрыв — это поле. Это не артефакт слабых моделей, и он пережил каждое изменение архитектуры с тех пор. Обнаружение steadily улучшалось. Отношения едва изменились.

Причины носят структурный, а не технический характер, и они являются предметом третьего поста в этой серии: несогласие редко встречается в данных, оно зависит от контекста, которого нет в предложении, а связующий шаг обычно не указан — гарантия Тулмина, по-прежнему отсутствующая, спустя шестьдесят лет.

Но разве это не просто обработка естественного языка?

Он использует ту же технику, поэтому возражение справедливо. Разница заключается в том, что восстанавливается.

Анализ настроений задает вопрос о том, как текст воспринимается. Резюмирование задает вопрос о том, что он говорит. Распознавание именованных сущностей задает вопрос о том, кто и что в нем присутствует. Все три аспекта касаются содержания. Добыча аргументов задает вопрос о структуре — какое предложение выполняет аргументативную работу по отношению к какому другому предложению и в каком направлении.

Это различие имеет практическое значение. Предложение может быть сформулировано отрицательно, поддерживая утверждение, к которому оно относится: давление временных рамок увеличивает риск усиливает аргумент о том, что проект рискован. Любая система, оценивающая тон, делает это неправильно каждый раз. Информация, которую извлекает аргументированная майнинг, не содержится в словах. Она заключается в отношениях между ними.

Что изменили большие модели, а что нет

Самая последняя глава — это та, которую все знают. Языковые модели общего назначения могут выполнять задачи по извлечению аргументов, не будучи предварительно обученными на аннотированном корпусе, что устраняет самое большое практическое препятствие, с которым когда-либо сталкивалась эта область: необходимость в тысячах вручную размеченных примеров для каждой новой области.

Это подлинная дискретность, и именно она сделала возможным использование аргументного майнинга на обычных бизнес-текстах, а не только на отобранных корпусах эссе. Это обсуждается в четвертом посте.

Что оно не сделало, так это не сократило разрыв. Структурные проблемы по-прежнему остаются структурными. Модель, которая прочитала весь интернет, все еще должна решить, была ли эта возражение направлено на ту причину или на вывод, стоящий за ней, и текст по-прежнему не говорит об этом.

Что шестьдесят лет этого говорит о ваших собственных аргументах

• Разногласие обычно заключается в ордере. Два человека, которые согласны по всем фактам и все же не согласны, оспаривают неявный принцип. Назовите его, и разговор станет короче.
• Атака на выводы не равнозначна атаке на факты. Определение того, что вы делаете — вслух — избавляет другого человека от необходимости защищать не то, что нужно.
• Каждое обращение к авторитету сопровождается своим собственным контрольным вопросом. Уолтон записал их. Использование их не является враждебностью; это шаблон, работающий так, как задумано.
• Структура — это то, что выживает. Через шесть месяцев никто не помнит формулировку. Им нужно знать, какое возражение было высказано и ответил ли кто-то на него.

Книга Анти-Логики

Критики Тулмина были правы в одном: Использование аргумента действительно не была книгой о формальной логике. Это была книга о том, как люди рассуждают, когда ставки реальны, предпосылки оспариваемы, и у никого нет времени на силлогизм.

Это оказалось более сложной и более полезной задачей. Каждая система, которая сегодня читает стенограмму и сообщает вам, что было заявлено, на каких основаниях и что было против этого, работает на основе его описания. Неплохо для книги против логики.

Серия извлечения аргументов

Пять постов о том, как машины научились читать аргументы — откуда возникла эта область, почему её сложные задачи сложны и как мы это применяем.