Dua Ahli, Satu Paragraf, Dua Jawaban Berbeda

Berikan dua anotator terlatih paragraf yang sama dari esai siswa dan ajukan pertanyaan sederhana: kalimat mana yang merupakan klaim, dan kalimat mana yang merupakan alasan untuk itu? Mereka sering kali tidak setuju. Bukan tentang topik, bukan tentang apakah argumennya baik — tetapi tentang di mana letaknya.

Ini adalah fakta yang membentuk dekade pertama penambangan argumen komputasional, dan mudah untuk meremehkannya. Segala sesuatu yang berikutnya bergantung padanya: Anda tidak dapat membangun tolok ukur untuk tugas yang tidak dapat dilakukan orang secara konsisten, dan Anda tidak dapat mengklaim bahwa model mengalahkan kinerja manusia pada penilaian yang tidak dibagikan oleh manusia.

Cobalah sendiri pada utas email terakhir yang Anda argumenkan. Menandai klaim biasanya mudah. Menandai kalimat mana yang ditujukan untuk setiap keberatan adalah tempat Anda akan mulai ragu — dan keraguan itu adalah keseluruhan cerita dekade ini.

Mengapa Teori Tersebut Tidak Digunakan Selama Dua Puluh Tahun

Pada awal 1990-an, perangkat teoretisnya sudah lengkap. Toulmin telah memberikan anatomi bidang ini, Walton katalog pola penalarannya, Freeman perbedaan antara menyerang kesimpulan dan menyerang inferensi ke kesimpulan tersebut. Seperti yang kami bahas di pos pertama dalam seri ini, sebuah argumen telah dijelaskan ulang sebagai grafik berlabel.

Graf berlabel adalah sesuatu yang dapat dinilai oleh komputer — secara prinsip. Dalam praktiknya, Anda memerlukan sesuatu untuk dinilai. Tanpa data yang dianotasi, dua kelompok penelitian yang mengklaim hasil yang berbeda tidak memiliki cara untuk menyelesaikannya, dan sebuah bidang di mana hasil tidak dapat dibandingkan bukanlah sebuah bidang. Itu adalah kumpulan demo.

Jadi dekade yang mengubah penambangan argumen menjadi sebuah disiplin bukanlah dekade algoritma. Itu adalah dekade pedoman anotasi.

Tiga Korpora yang Mendefinisikan Tugas

Kelompok penelitian yang berbeda mengannotasi genre yang berbeda, dan pilihan genre ternyata lebih penting daripada yang diperkirakan siapa pun pada awalnya.

• Esai persuasif (Stab & Gurevych). Esai argumentatif siswa, dianotasi untuk klaim, premis, dan hubungan dukungan/serangan di antara mereka. Penulisan terstruktur oleh orang-orang yang secara eksplisit mencoba untuk berargumen dengan jelas — sebaik mungkin teks yang ada.
• Microteks argumentatif (Peldszus & Stede). Teks pendek yang dikendalikan secara khusus dibangun untuk mempelajari struktur argumen, masing-masing merupakan argumen ringkas dengan bentuk yang disengaja. Kecil, bersih, dan dirancang sehingga pertanyaan struktural memiliki jawaban.
• Komentar pembuatan peraturan publik (Park & Cardie). Komentar yang diajukan oleh publik kepada konsultasi regulasi AS. Nyata, tidak diedit, sering kali bertele-tele — jauh lebih dekat dengan teks yang sebenarnya dimiliki oleh organisasi.

Perkembangan dari bersih ke berantakan adalah hal yang berguna untuk diperhatikan. Kinerja menurun saat Anda bergerak ke bawah daftar, dan penurunannya paling signifikan pada hubungan. Esai-esai adalah kasus yang bersahabat, dan bahkan di sana angka hubungan cukup modest.

Kesepakatan Antar-Anotator Adalah Batasan Sebenarnya

Proyek anotasi melaporkan seberapa sering anotator independen setuju, dan dalam penambangan argumen, angka itu bukan catatan kaki. Itu adalah batas atas.

Jika dua manusia terlatih yang mengikuti pedoman yang sama hanya setuju secara moderat tentang premis mana yang terhubung dengan klaim mana, maka model yang dinilai terhadap salah satu dari mereka tidak dapat secara berarti digambarkan sebagai mengalahkan yang lain. Pengukuran itu sendiri menjadi tidak stabil sebelum modelnya.

Kesepakatan secara konsisten lebih tinggi pada komponen daripada pada hubungan — orang-orang sebagian besar sepakat tentang kalimat mana yang merupakan klaim, dan berbeda pendapat tentang apa yang dijawabnya. Asimetri tunggal itu memprediksi segala sesuatu yang akan ditunjukkan oleh tolok ukur kemudian.

Pedoman adalah Teori yang Diterapkan secara Operasional

Pedoman anotasi terdengar seperti pekerjaan administratif. Ini lebih dekat dengan spesifikasi. Setiap ambiguitas yang ditinggalkan oleh teori harus diselesaikan sebelum anotator dapat mulai, dan setiap resolusi adalah komitmen yang nyata.

Apakah pertanyaan retoris merupakan sebuah klaim? Apakah pernyataan ulang di kesimpulan dihitung sebagai komponen baru atau yang sama? Ketika sebuah kalimat mendukung dua klaim sekaligus, apakah itu terhubung ke keduanya, atau ke yang lebih dekat, atau ke yang lebih umum? Jika seseorang mengakui suatu poin sebelum membantahnya, apakah pengakuan tersebut merupakan serangan terhadap posisi mereka sendiri?

Tidak ada jawaban yang jelas untuk ini, dan setiap korpus menjawabnya dengan sedikit berbeda. Itulah sebabnya model tidak dapat ditransfer dengan baik antara korpus: mereka sebagian belajar sebuah genre, dan sebagian belajar jawaban satu tim untuk pertanyaan-pertanyaan tersebut.

Tapi bukankah Anda bisa hanya menandai lebih banyak data?

Ini adalah respons alami, dan untuk deteksi komponen, itu secara luas berhasil. Lebih banyak rentang yang dianotasi menghasilkan deteksi rentang yang lebih baik. Bagian dari bidang ini meningkat secara stabil dan dapat diprediksi.

Untuk hubungan, itu tidak, dan alasannya adalah struktural daripada masalah volume. Hubungan bergantung pada konteks di luar kalimat — yang mahal untuk dianotasi secara konsisten. Hubungan ketidaksepakatan jarang terjadi, jadi memperbesar korpus juga memperbesar ketidakseimbangan bersamanya. Dan langkah penghubung sering kali tidak dinyatakan, jadi anotator tidak menandai sesuatu yang terlihat dalam teks; mereka menandai rekonstruksi mereka terhadapnya.

Lebih banyak data justru memperburuk ketiga masalah tersebut daripada menyelesaikannya. Argumen itu adalah subjek dari posting berikutnya.

Apa yang Ditinggalkan Dekade Ini

Dua hal, keduanya masih dapat menahan beban.

Yang pertama adalah definisi tugas itu sendiri. Pembagian empat bagian yang sekarang dibuka oleh setiap makalah penambangan argumen — menemukan komponen, memberi label, menghubungkannya, mengklasifikasikan tautan — adalah produk dari proyek anotasi ini, bukan dari filosofi. Toulmin tidak pernah mengusulkan sebuah jalur kerja.

Yang kedua adalah standar acuan yang ditetapkan. Ketika sebuah sistem modern melaporkan sebuah angka, biasanya itu dilaporkan berdasarkan esai atau mikroteks yang dianotasi dalam dekade ini. Hal ini patut diingat saat membandingkan angka di berbagai makalah: nama metrik yang sama pada dua korpus yang berbeda bukanlah pengukuran yang sama, dan banyak perbandingan yang dipublikasikan dengan tenang mengabaikan hal itu.

Apa Artinya Ini di Luar Laboratorium

• Jika manusia tidak bisa sepakat di mana argumennya, tidak ada alat yang akan memberikan kepastian kepada Anda. Anggaplah struktur yang diekstrak sebagai draf untuk diperbaiki, bukan sebagai putusan untuk diterima.
• Genre lebih penting daripada volume. Sebuah sistem yang disesuaikan untuk esai yang rapi menghadapi masalah yang sangat berbeda dalam transkrip rapat yang penuh dengan interupsi dan pemikiran yang setengah jadi.
• Ketidaksepakatan tentang target adalah sinyal yang sebenarnya. Ketika dua orang berpikir bahwa keberatan ditujukan pada hal yang berbeda, celah itu biasanya adalah tempat di mana keputusan sebenarnya terhambat.
• Bandingkan angka tolok ukur hanya dalam sebuah korpus. Metrik yang sama pada dataset yang berbeda adalah pengukuran yang berbeda, meskipun labelnya terlihat mirip.

Di mana Argumennya Berada

Dekade anotasi adalah bagian yang paling tidak glamor dari cerita ini dan bagian di mana segala sesuatu yang lain bergantung. Tidak ada model, betapa pun besar, yang dapat menghindari fakta bahwa papan skor itu dibangun oleh orang-orang yang kadang-kadang tidak setuju satu sama lain tentang di mana letak argumen.

Ini adalah hal yang berguna untuk dibawa ke dalam pertemuan Anda sendiri. Jika menemukan argumen sulit bagi dua anotator terlatih dengan pedoman tertulis, fakta bahwa tim Anda terus-menerus memperdebatkan keputusan bukanlah masalah disiplin. Ini adalah masalah yang sama, tanpa pedoman.

Seri penambangan argumen

Lima pos tentang bagaimana mesin belajar membaca argumen — dari mana bidang ini berasal, mengapa masalah sulitnya sulit, dan bagaimana kami menerapkannya.