Argument Mining

From Toulmin to Transformers: How Argument Mining Became a Technology

AT
Argumentree Team
Decision Science
July 29, 2026
11 min baca
From Toulmin to Transformers: How Argument Mining Became a Technology

Dari Toulmin ke Transformers: Bagaimana Perlombongan Argumen Menjadi Sebuah Teknologi | Argumentree

Penggalian hujah adalah bidang AI yang secara automatik mengenal pasti tuntutan, alasan yang diberikan untuknya, dan sama ada setiap alasan menyokong atau menyerang apa yang dilampirkan padanya. Asasnya adalah falsafah dan bukannya pengiraan. Pada tahun 1958, Stephen Toulmin menerbitkan The Uses of Argument, yang memecahkan dengan logik formal dengan menerangkan bagaimana hujah harian sebenarnya dibina — tuntutan, alasan, jaminan, sokongan, kelayakan, bantahan. Ahli logik formal sebahagian besarnya menolak buku ini; buku itu mendapati audiennya di kalangan sarjana retorik dan komunikasi, dan perbendaharaan katanya masih merupakan perbendaharaan kata bidang tersebut. Douglas Walton kemudiannya mengkatalogkan corak berulang pemikiran harian sebagai skema hujahan, masing-masing dengan soalan kritikal yang mendedahkan di mana ia gagal. James Freeman membezakan antara menyerang kesimpulan dan menyerang inferens yang membawa kepadanya. Penggalian hujah menjadi tugas pengiraan yang boleh diukur hanya pada tahun 2010-an, apabila korpus yang dianotasi muncul — esei persuasif Christian Stab dan Iryna Gurevych, mikroteks hujahan Andreas Peldszus dan Manfred Stede. Model neural diikuti, dan model bahasa besar menghapuskan keperluan untuk korpus yang dianotasi secara manual dalam setiap domain baharu. Apa yang tidak berubah adalah bahagian mana yang sukar: mencari tuntutan sebahagian besarnya telah diselesaikan, dan memutuskan apa yang dilampirkan kepada apa, dan sama ada ia menyokong atau menyerang, tidak.

Share:
TL;DR

Sebuah buku falsafah yang ditolak oleh ahli logik pada tahun 1958 ternyata merupakan spesifikasi untuk tugas pembelajaran mesin yang tidak akan dicuba oleh sesiapa selama lima puluh tahun lagi.

  • Model Toulmin 1958 — tuntutan, alasan, jaminan — ditolak oleh ahli logik formal dan tetap menjadi kosa kata kerja dalam perlombongan hujah.
  • Walton mengkatalogkan bagaimana orang sebenarnya berdebat, dan melampirkan soalan-soalan kritikal kepada setiap corak yang menunjukkan di mana ia gagal.
  • Bidang ini menjadi boleh diukur pada tahun 2010-an, apabila korpus yang dianotasi membolehkan sistem yang bersaing dibandingkan pada teks yang sama.
  • Model bahasa besar telah menghapuskan halangan korpus — anda tidak lagi memerlukan ribuan contoh yang dianotasi secara manual bagi setiap domain.
  • Separuh yang sukar pula tidak pernah beranjak. Mencari dakwaan sebahagian besarnya telah diselesaikan; menentukan apa yang menyerang apa belum.

Buku yang sepatutnya mengakhiri sebuah kerjaya

Apabila Stephen Toulmin menerbitkan The Uses of Argument pada tahun 1958, sambutan daripada ahli logik profesional adalah tidak mesra. Beliau telah menulis sebuah buku tentang penaakulan yang enggan menjadi tentang logik formal, dan beliau diberitahu, secara efektif, bahawa beliau telah tersesat dari peta. Toulmin kemudian menceritakan bahawa seorang rakan sekerja mula memanggilnya sebagai buku anti-logiknya.

Ia tidak mengakhiri kerjayanya. Apa yang berlaku adalah ia menemui penonton yang sama sekali berbeza. Jabatan retorik dan komunikasi — terutamanya di Amerika Syarikat — mengambil buku itu dan membina kurikulum berdasarkan buku tersebut, kerana Toulmin telah melakukan sesuatu yang tidak pernah diambil peduli oleh logik formal. Dia telah menerangkan bagaimana rupa sebuah hujah apabila seseorang yang sebenar membuatnya.

Enam puluh tahun kemudian, jika anda meminta sebuah mesin untuk membaca transkrip mesyuarat dan memberitahu anda apa yang diperdebatkan, ia akan menggunakan kosa kata Toulmin untuk menjawab. Itulah cerita siri ini, dan pos ini adalah lengkungnya: bagaimana sebuah buku falsafah yang ditolak oleh ahli logik menjadi spesifikasi untuk tugas pembelajaran mesin.

Apa yang Sebenarnya Diubah oleh Toulmin

Logik formal berkaitan dengan kesahan: diberikan premis ini, adakah kesimpulan ini mengikuti? Ia adalah alat yang hebat dan ia hampir tidak menggambarkan apa-apa yang sebenarnya dikatakan oleh orang. Tiada siapa yang berdebat dalam silogisme.

Langkah Toulmin adalah untuk mengajukan soalan yang berbeza — bukan adakah ini sah tetapi bagaimana ini dibina. Dia membahagikan satu hujah sebenar kepada enam bahagian, dan tiga daripadanya melakukan kerja berat:

  • Tuntutan — kedudukan yang dikemukakan. Apa yang anda sebenarnya minta seseorang untuk terima.
  • Alasan — fakta yang diberikan sebagai sokongan. Bukti, data, contoh.
  • Waranti — prinsip yang membenarkan peralihan dari alasan kepada tuntutan. Hampir tidak pernah dinyatakan secara lisan.

Waran itu adalah yang menarik, dan ia adalah sebab mengapa perlombongan hujah sukar dan bukan membosankan. Jambatan itu tidak kukuh dari segi struktur, jadi kita harus menutupnya mengandungi premis tersembunyi: bahawa struktur yang tidak kukuh harus ditutup. Tiada siapa yang mengatakan ayat itu. Semua orang menganggapnya. Sebuah mesin yang membaca teks perlu membina semula langkah yang tidak terdapat dalam teks.

Tiga bahagian yang lain — sokongan, kelayakan, sanggahan — mengendalikan penghalusan dan pengecualian. Bersama-sama, mereka menggambarkan satu hujah sebagai satu struktur dan bukannya satu rantaian, dan pandangan struktur itulah yang menjadikan keseluruhan perkara boleh dikira kemudian.

Walton dan Soalan yang Memecahkan Pertikaian

Jika Toulmin memberikan anatomi kepada bidang tersebut, Douglas Walton memberikan panduan lapangan. Bekerja sepanjang tahun 1990-an dan 2000-an, Walton mengkatalogkan corak berulang dalam pemikiran harian — rayuan kepada pendapat pakar, hujah dari analogi, hujah dari akibat, hujah dari tanda — sebagai skema hujahan.

Katalog ini berguna. Apa yang menjadikannya kuat adalah separuh kedua: setiap skema disertakan dengan soalan kritikal, cabaran spesifik yang mendedahkan di mana corak itu gagal. Untuk menarik pendapat pakar: adakah orang ini benar-benar seorang pakar dalam bidang ini? Adakah pakar lain bersetuju? Adakah tuntutan itu konsisten dengan bukti?

Ini adalah perkara yang paling berguna dalam seluruh tradisi bagi sesiapa yang duduk dalam mesyuarat, dan ia tidak memerlukan sebarang kos untuk diterapkan. Apabila seseorang berhujah dari autoriti, anda tidak perlu tidak bersetuju dengan kesimpulan tersebut. Anda mengajukan soalan kritikal yang ditawarkan oleh pola itu sendiri. Ia tidak agresif; ia adalah apa yang diminta oleh hujah tersebut.

Freeman dan Perbezaan yang Menjadikannya Boleh Dikira

Karya James Freeman pada tahun 1991 mengenai makrostruktur hujah menambah elemen yang paling penting untuk mesin. Dia menarik garis tegas antara dua perkara yang orang panggil secara santai sebagai perselisihan.

Anda boleh menyerang sebuah kesimpulan — berargumen bahawa ia adalah salah. Atau anda boleh menyerang inferens — menerima setiap fakta yang ditawarkan dan menafikan bahawa kesimpulan itu mengikuti daripadanya. Kajian anda cacat dan kajian anda baik tetapi ia tidak menunjukkan apa yang anda fikir ia tunjuk adalah langkah yang sama sekali berbeza, dan menganggapnya sebagai satu kehilangan kebanyakan maklumat dalam perselisihan yang sebenar.

Freeman juga memisahkan premis yang hanya berfungsi bersama daripada premis yang berdiri sendiri — perbezaan antara hujah yang runtuh jika anda mengeluarkan satu kaki dan satu yang hanya menjadi lebih lemah. Setelah anda mempunyai perbezaan tersebut, hujah tidak lagi menjadi prosa. Ia adalah graf berlabel, dan graf berlabel adalah sesuatu yang boleh dinilai oleh komputer.

Kemudian Tiada Apa-Apa Berlaku Selama Dua Puluh Tahun

Teori itu telah ada sejak awal 1990-an. Bidang pengiraan tidak muncul sehingga tahun 2010-an, dan sebabnya tidak menarik: tiada apa yang boleh diukur.

Satu bidang penyelidikan menjadi bidang penyelidikan apabila pendekatan yang bersaing dapat dibandingkan pada data yang sama. Itu memerlukan seseorang untuk duduk dengan ribuan dokumen dan menandakan, secara manual, yang mana yang merupakan tuntutan, yang mana yang merupakan premis, dan yang mana yang menyokong atau menyerang yang mana. Christian Stab dan Iryna Gurevych melakukannya untuk esei persuasif. Andreas Peldszus dan Manfred Stede membina korpus teks argumen pendek khusus untuk mengkaji struktur.

Kerja itu dibincangkan dengan baik dalam pos seterusnya dalam siri ini. Apa yang penting di sini adalah bentuk yang ditunjukkannya. Setelah anda dapat menilai sistem, anda dapat melihat bahagian mana yang sukar — dan jawapannya adalah segera dan tidak pernah benar-benar berubah.

Soalan yang perlu ditanya dalam mesyuarat anda yang seterusnya

Apabila seseorang seterusnya berhujah dari autoriti — seorang perunding, penanda aras, satu kajian yang dinamakan — jangan cabar kesimpulan tersebut. Sebaliknya, tanyakan soalan Walton: adakah ini seorang pakar dalam perkara khusus ini, dan adakah pakar lain bersetuju? Perhatikan betapa seringnya tiada siapa yang telah menyemak.

Mencari tuntutan adalah mudah. Segala yang selepas itu tidak.

Penanda aras yang diterbitkan menceritakan kisah yang konsisten. Pada korpus esei persuasif, mengenal pasti dan melabel komponen argumen mencapai kira-kira 73% F1. Memutuskan bagaimana komponen tersebut berkaitan antara satu sama lain — apa yang terikat kepada apa, dan sama ada ia menyokong atau menyerang — berada di sekitar 48%. Pada korpus data komen awam CDCP yang dibina oleh Joonsuk Park dan Claire Cardie, pengesanan hubungan jatuh kepada sekitar 34%.

Jarak itu adalah bidang. Ia bukan artefak model yang lemah, dan ia telah bertahan dalam setiap perubahan seni bina sejak itu. Pengesanan meningkat secara berterusan. Hubungan hampir tidak berubah.

Sebab-sebabnya adalah struktur dan bukannya teknikal, dan ia adalah subjek pos ketiga dalam siri ini: persetujuan adalah jarang dalam data, ia bergantung kepada konteks yang tidak terkandung dalam ayat, dan langkah penghubung biasanya tidak dinyatakan — jaminan Toulmin, masih hilang, enam puluh tahun kemudian.

Tapi bukankah ini hanya Pemprosesan Bahasa Semulajadi?

Ia menggunakan mesin yang sama, jadi bantahan itu adalah adil. Perbezaannya terletak pada apa yang sedang dipulihkan.

Analisis sentimen bertanya bagaimana perasaan sebuah teks. Pemendekan bertanya apa yang dikatakannya. Pengenalan entiti bernama bertanya siapa dan apa yang muncul di dalamnya. Ketiga-tiganya berkaitan dengan kandungan. Perlombongan hujah bertanya tentang struktur — ayat mana yang melakukan kerja argumen terhadap ayat mana, dan ke arah mana.

Perbezaan itu mempunyai kelebihan praktikal. Sebuah ayat boleh dinyatakan secara negatif sambil menyokong tuntutan yang dilampirkan padanya: tekanan garis masa menambah risiko menguatkan hujah bahawa projek itu berisiko. Mana-mana sistem yang menilai berdasarkan nada akan salah faham itu, setiap kali. Hujah maklumat yang diperoleh melalui perlombongan tidak terletak pada kata-kata. Ia terletak pada hubungan antara mereka.

Apa yang Diubah oleh Model Besar, dan Apa yang Tidak Mereka Ubah

Bab terbaru adalah yang semua orang tahu. Model bahasa tujuan umum boleh melaksanakan tugas perlombongan hujah tanpa perlu dilatih pada korpus yang dianotasi terlebih dahulu, yang menghapuskan halangan praktikal terbesar yang pernah ada dalam bidang ini: keperluan untuk ribuan contoh yang dilabel secara manual untuk setiap domain baru.

Itu adalah suatu pemutusan yang sebenar, dan ia adalah apa yang menjadikan perlombongan hujah boleh digunakan pada teks perniagaan biasa dan bukan hanya pada korpus esei yang dikurasi. Ia dibincangkan dalam pos keempat.

Apa yang tidak dilakukannya adalah menutup jurang. Masalah struktur masih lagi masalah struktur. Sebuah model yang telah membaca seluruh internet masih perlu memutuskan sama ada bantahan ini ditujukan kepada alasan itu atau kepada kesimpulan di sebaliknya, dan teks itu masih tidak menyatakannya.

Apa yang Enam Puluh Tahun Ini Cadangkan Tentang Hujah Anda Sendiri

  • Waranti adalah tempat di mana perselisihan biasanya wujud. Dua orang yang bersetuju pada setiap fakta tetapi masih tidak bersetuju sedang mempertikaikan satu prinsip yang tidak dinyatakan. Namakan ia dan perbualan akan menjadi lebih pendek.
  • Menyerang inferens tidak sama dengan menyerang fakta. Memutuskan yang mana satu yang anda lakukan — dengan suara yang jelas — menyelamatkan orang lain daripada mempertahankan perkara yang salah.
  • Setiap rayuan kepada autoriti datang dengan soalan ujian tersendiri. Walton menuliskannya. Menggunakannya bukanlah permusuhan; ia adalah corak yang berfungsi seperti yang dimaksudkan.
  • Struktur adalah apa yang bertahan. Enam bulan kemudian tiada siapa yang ingat perkataan tersebut. Apa yang mereka perlukan adalah bantahan yang dibangkitkan dan sama ada sesiapa menjawabnya.

Buku Anti-Logik

Pengkritik Toulmin betul tentang satu perkara: The Uses of Argument sebenarnya bukanlah sebuah buku tentang logik formal. Ia adalah sebuah buku tentang bagaimana orang berfikir apabila taruhannya adalah nyata dan premisnya boleh dipertikaikan dan tiada siapa yang mempunyai masa untuk sebuah silogisme.

Itu ternyata menjadi masalah yang lebih sukar dan lebih berguna. Setiap sistem yang membaca transkrip hari ini dan memberitahu anda apa yang didakwa, atas alasan apa, dan apa yang dibantah terhadapnya berfungsi berdasarkan penerangannya. Tidak buruk untuk sebuah buku anti-logik.

Siri perlombongan hujah

Lima pos tentang bagaimana mesin belajar untuk membaca hujah — dari mana bidang ini berasal, mengapa masalah sukar adalah sukar, dan bagaimana kami mengaplikasikannya.

Soalan Lazim

Apa itu perlombongan hujah?

Penggalian hujah adalah cabang AI yang secara automatik mengenal pasti struktur hujahan di dalam teks biasa: ayat mana yang membuat tuntutan, yang memberikan alasan, dan sama ada setiap alasan menyokong atau menyerang tuntutan yang dilampirkan. Hasilnya adalah peta terstruktur dan bukannya ringkasan.

Siapa yang mengasaskan perlombongan hujah?

Tiada seorang pengasas tunggal. Kerja teori asas adalah model struktur hujah Stephen Toulmin pada tahun 1958, yang diperluas oleh skema argumentasi Douglas Walton dan penjelasan struktur makro hujah James Freeman. Bidang pengkomputeran terbentuk pada tahun 2010-an setelah korpus yang dianotasi menjadikannya boleh diukur.

Mengapa buku Toulmin menjadi kontroversi?

Kerana ia adalah sebuah buku tentang penaakulan yang menolak untuk menjadi tentang logik formal. Toulmin berpendapat bahawa kesahan adalah soalan yang salah untuk hujah sehari-hari, dan sebaliknya menerangkan struktur. Ahli logik profesional sebahagian besarnya menolaknya; para sarjana retorik dan komunikasi menerimanya dan membina kurikulum berdasarkan itu.

Apakah itu waran dalam model Toulmin?

Waran adalah prinsip yang membenarkan pergerakan dari alasan anda kepada tuntutan anda. Dalam "jambatan itu tidak selamat, jadi kita harus menutupnya", waran adalah bahawa struktur yang tidak selamat harus ditutup. Waran hampir tidak pernah dinyatakan secara lisan, yang merupakan sebab mengapa mengekstrak hujah secara automatik adalah sukar.

Apakah skema hujahan Walton?

Corak pemikiran harian yang berulang — merujuk kepada pendapat pakar, hujah dari analogi, hujah dari akibat — masing-masing dipadankan dengan soalan kritikal yang mendedahkan di mana corak itu gagal. Soalan kritikal adalah separuh yang praktikal berguna: ia memberikan anda cara untuk menguji hujah tanpa hanya menafikan kesimpulannya.

Mengapa pengesanan hubungan lebih sukar daripada mencari tuntutan?

Kerana hubungan bergantung kepada konteks yang tidak terkandung dalam ayat, langkah penghubung biasanya tidak dinyatakan, dan perselisihan jarang berlaku dalam data yang dianotasi. Penanda aras yang diterbitkan menunjukkan pengesanan komponen sekitar 73% F1 berbanding pengesanan hubungan hampir 48% pada korpus yang sama, dan sekitar 34% pada yang lebih sukar.

Adakah model bahasa besar menyelesaikan perlombongan hujah?

Mereka menghapuskan halangan praktikal terbesar — keperluan untuk korpus yang dianotasi secara manual dalam setiap domain baru — yang menjadikan teknologi ini boleh digunakan pada teks perniagaan biasa. Mereka tidak menutup jurang struktur. Menentukan apa yang terikat kepada apa, dan dalam arah mana, tetap menjadi bahagian yang sukar.

AT

Argumentree Team

Decision Science

The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.

Tukar perbincangan menjadi pokok hujah

Enam puluh tahun teori hujah, diterapkan pada transkrip mesyuarat anda yang seterusnya.

Mula percuma

Bacaan berkaitan