Два эксперта, один абзац, два разных ответа

Дайте двум обученным аннотаторам один и тот же абзац студенческого эссе и задайте простой вопрос: какое предложение является утверждением, а какие предложения являются его обоснованиями? Они часто будут не согласны. Не по теме, не по тому, хорош ли аргумент — а по тому, где он находится.

Это факт, который сформировал первое десятилетие вычислительной добычи аргументов, и его легко недооценить. Все, что происходит дальше, зависит от этого: вы не можете создать эталон для задачи, которую люди не могут выполнять последовательно, и вы не можете утверждать, что модель превосходит человеческие результаты в оценке, которую люди не разделяют.

Попробуйте сами на последней цепочке писем, в которой вы спорили. Отметить требование обычно легко. Отметить, к какому предложению было направлено каждое возражение, — вот где вы начнете колебаться, и это колебание является всей историей этого десятилетия.

Почему теория оставалась неиспользованной в течение двадцати лет

К началу 1990-х годов теоретический аппарат был завершен. Тулмин дал области ее анатомию, Уолтон — каталог моделей рассуждений, Фриман — различие между атакой на вывод и атакой на заключение. Как мы упоминали в первом посте этой серии, аргумент был переописан как помеченный граф.

Помеченный граф — это то, по чему компьютер может быть оценен — в принципе. На практике вам нужно что-то, с чем можно провести оценку. Без аннотированных данных две исследовательские группы, утверждающие разные результаты, не могут прийти к соглашению, и область, в которой результаты не могут быть сопоставлены, не является областью. Это просто набор демонстраций.

Таким образом, десятилетие, которое превратило извлечение аргументов в дисциплину, не было десятилетием алгоритмов. Это было десятилетие аннотационных руководств.

Три корпуса, которые определили задачу

Разные исследовательские группы аннотировали разные жанры, и выбор жанра оказался более важным, чем кто-либо изначально ожидал.

• Убедительные эссе (Стаб и Гуревич). Студенческие аргументативные эссе, аннотированные по утверждениям, предпосылкам и отношениям поддержки/атаки между ними. Структурированное письмо от людей, которые явно пытались четко аргументировать — это максимально благоприятный текст.
• Аргументативные микротексты (Peldszus & Stede). Короткие контролируемые тексты, специально созданные для изучения структуры аргументации, каждый из которых представляет собой компактный аргумент с преднамеренной формой. Маленькие, четкие и разработанные так, чтобы структурные вопросы имели ответы.
• Комментарии к публичному регулированию (Парк и Карди). Комментарии, представленные общественностью на консультации по регулированию в США. Реальные, неотредактированные, часто бессвязные — гораздо ближе к тексту, который на самом деле имеют организации.

Это прогрессия от чистоты к беспорядку — полезная вещь, на которую стоит обратить внимание. Производительность падает по мере продвижения вниз по списку, и она падает больше всего в отношении. Эссе были дружелюбным случаем, и даже там числа отношений были скромными.

Согласие между аннотаторами — это настоящий предел.

Отчеты по проектам аннотирования показывают, как часто независимые аннотаторы приходят к согласию, и в области извлечения аргументов это число не является сноской. Это потолок.

Если два обученных человека, следуя одним и тем же рекомендациям, лишь умеренно согласны относительно того, какая предпосылка относится к какому утверждению, то модель, оцененная по одному из них, не может быть значимо описана как превосходящая другого. Само измерение становится нестабильным еще до того, как это произойдет с моделью.

Согласие последовательно выше по компонентам, чем по отношениям — люди в основном согласны с тем, какое предложение является утверждением, и расходятся во мнениях о том, на что оно отвечает. Эта единственная асимметрия предсказала все, что позже покажут эталоны.

Руководящие принципы — это теория, приведенная в действие.

Аннотационные рекомендации звучат как канцелярская работа. Это ближе к спецификации. Каждая неопределенность, оставленная теорией, должна быть разрешена перед тем, как аннотаторы смогут начать, и каждое разрешение является настоящим обязательством.

Является ли риторический вопрос утверждением? Считается ли переформулировка в заключении новым компонентом или тем же самым? Когда предложение поддерживает два утверждения одновременно, оно относится к обоим, к ближайшему или к более общему? Если кто-то признает аргумент перед его опровержением, является ли это признание атакой на собственную позицию?

Ни один из этих вопросов не имеет очевидных ответов, и каждый корпус ответил на них немного по-разному. Вот почему модели плохо переносятся между корпусами: они отчасти изучают жанр, а отчасти — ответы одной команды на эти вопросы.

Но разве вы не могли просто аннотировать больше данных?

Это естественная реакция, и для обнаружения компонентов она в целом работала. Большее количество аннотированных диапазонов обеспечивало лучшее обнаружение диапазонов. Эта часть области steadily и предсказуемо улучшалась.

Для отношений это не так, и причина в структуре, а не в объеме. Отношения зависят от контекста вне предложения — что дорого аннотировать последовательно. Отношения несогласия редки, поэтому увеличение корпуса увеличивает дисбаланс вместе с ним. А соединяющий шаг часто не указан, поэтому аннотатор не отмечает что-то видимое в тексте; он отмечает свою реконструкцию этого.

Больше данных умножает все три проблемы, а не решает их. Этот аргумент является темой следующего поста.

Что осталось после десятилетия

Две вещи, обе все еще несущие.

Первое — это само определение задачи. Четырехчастное деление, с которого начинается каждая статья по аргументальному майнингу — найти компоненты, пометить их, связать их, классифицировать связи — является продуктом этих проектов аннотирования, а не философии. Тулмин никогда не предлагал конвейер.

Второе — это установленный эталон. Когда современная система сообщает число, она обычно ссылается на эссе или микротексты, аннотированные в этом десятилетии. Это стоит помнить при сравнении цифр в разных работах: одно и то же название метрики в двух разных корпусах — это не одно и то же измерение, и многие опубликованные сравнения тихо игнорируют это.

Что это значит за пределами лаборатории

• Если люди не могут согласовать, где находится спор, ни один инструмент не даст вам уверенности. Рассматривайте извлеченную структуру как черновик для исправления, а не как вердикт для принятия.
• Жанр важнее объема. Система, настроенная на аккуратные эссе, сталкивается с совершенно другой проблемой в стенограмме встречи, полной прерываний и незаконченных мыслей.
• Разногласия по поводу целей — это настоящий сигнал. Когда два человека считают, что возражение было направлено на разные вещи, именно в этом разрыве обычно и застревает решение.
• Сравнивайте эталонные числа только в рамках одного корпуса. Тот же показатель на другом наборе данных является другим измерением, как бы похожа ни была метка.

Где находится аргумент

Десятилетие аннотаций — это наименее гламурная часть этой истории и та часть, на которой основывается всё остальное. Ни одна модель, как бы большой она ни была, не может избежать того факта, что её табло было создано людьми, которые иногда не соглашались друг с другом относительно того, где находится аргумент.

Что является полезной вещью, которую стоит приносить на свои собственные встречи. Если найти аргумент сложно для двух обученных аннотаторов с письменными рекомендациями, то тот факт, что ваша команда продолжает пересматривать решение, не является проблемой дисциплины. Это та же проблема, но без рекомендаций.

Серия извлечения аргументов

Пять постов о том, как машины научились читать аргументы — откуда возникла эта область, почему её сложные задачи сложны и как мы это применяем.