Argument Mining

How Argumentree Turns a Transcript Into an Argument Tree

AT
Argumentree Team
Decision Science
July 29, 2026
9 min baca
How Argumentree Turns a Transcript Into an Argument Tree

Bagaimana Argumentree Mengubah Transkrip Menjadi Pohon Argumen | Argumentree

Argumentree menggunakan penambangan argumen untuk mengubah transkrip atau dokumen yang tidak terstruktur menjadi pohon argumen pro dan kontra. Ekstraksi melakukan empat hal: menemukan rentang teks yang mengandung klaim atau alasan, memberi label pada masing-masing, menentukan alasan mana yang terkait dengan klaim mana, dan memutuskan apakah setiap tautan mendukung atau menyerang hal di atasnya. Dua pilihan desain membentuk output. Pertama, argumen dikelompokkan ke dalam kategori kata tunggal seperti Biaya, Risiko, Garis Waktu, atau Hukum, dan tepat satu argumen per kategori dipromosikan menjadi klaim utama kategori tersebut. Kedua, klaim utama tidak dipilih berdasarkan skor kepercayaan model itu sendiri. Kepercayaan mengukur seberapa yakin ekstraksi dilakukan, bukan seberapa sentral argumen tersebut, dan kepercayaan LLM yang diucapkan diketahui memiliki kalibrasi yang buruk. Sebagai gantinya, klaim utama dipilih dari beberapa sinyal sekaligus, yang terkuat di antaranya adalah sentralitas — seberapa banyak argumen lain yang terhubung dengannya — dan abstraksi, karena klaim utama adalah posisi umum sementara bukti pendukungnya adalah spesifik. Sebuah argumen yang mengandung persentase, angka mata uang, atau studi yang disebutkan diperlakukan sebagai bukti untuk klaim daripada klaim itu sendiri. Setiap argumen yang diekstraksi harus mengutip sumbernya secara verbatim; apa pun yang tidak dapat ditemukan dalam teks asli akan dihapus sebelum pohon ditampilkan. Output adalah draf untuk orang-orang untuk memperbaiki, mengatur ulang, dan menilai, bukan sebuah putusan.

Share:
TL;DR

Ekstraksi adalah setengah yang mudah. Setengah yang sulit adalah struktur — memutuskan apa yang menjadi poin utama, apa yang hanya merupakan bukti untuk itu, dan apa yang sebenarnya bertentangan dengan itu.

  • Argumen dikelompokkan ke dalam kategori kata tunggal — Biaya, Risiko, Garis Waktu, Hukum — dan tepat satu per kategori menjadi klaim utama kategori tersebut.
  • Klaim utama bukanlah yang paling diyakini oleh model. Ukuran kepercayaan mengukur kepastian ekstraksi, bukan pentingnya.
  • Klaim utama bersifat umum; bukti bersifat spesifik. Sebuah argumen yang menyertakan persentase atau studi yang disebutkan dianggap sebagai dukungan untuk klaim, bukan klaim itu sendiri.
  • Setiap argumen harus mengutip sumber kata demi kata. Apa pun yang tidak dapat ditemukan dalam teks asli akan dihapus sebelum Anda melihatnya.
  • Hasilnya adalah sebuah draf. Orang-orang mengoreksi, mengatur ulang, dan memberi penilaian — mesin membangun struktur, kelompok menjaga penilaian.

Jawaban yang Paling Percaya Diri Adalah yang Salah

Masukkan rapat anggaran sembilan puluh menit ke dalam mesin ekstraksi dan tanyakan argumen mana yang paling penting, dan seringkali ia akan memberikan Anda sebuah statistik. Sesuatu seperti "model keuangan memproyeksikan pengurangan 20% dalam pengeluaran operasional" — tepat, didukung bukti yang baik, dan model tersebut sangat yakin tentang hal itu.

Itu juga jawaban yang salah. Kalimat itu bukan argumennya. Itu adalah bukti untuk argumen yang dibuat seseorang empat puluh menit sebelumnya dan diungkapkan dengan jauh lebih longgar: kita harus mengonsolidasikan kedua tim karena itu akan menghemat uang. Kalimat yang samar adalah klaimnya. Yang tepat adalah yang mendukungnya.

Perbedaan ini adalah seluruh masalah dalam mengubah percakapan menjadi sebuah struktur, dan penting untuk diingat saat Anda membaca catatan rapat Anda sendiri. Kalimat-kalimat yang terlihat paling layak kutip biasanya adalah yang melakukan pekerjaan argumen paling sedikit.

Apa yang Harus Diperoleh dengan Benar oleh Ekstraksi

Penambangan argumen — bidang penelitian di balik ini, yang ditinjau oleh John Lawrence dan Chris Reed pada tahun 2019 — biasanya dibagi menjadi empat pekerjaan, dan semakin sulit seiring berjalannya waktu.

  • Temukan bagian-bagian argumentatif. Sebagian besar kalimat dalam pertemuan nyata adalah logistik, salam, atau pernyataan ulang. Hanya beberapa yang mengandung klaim atau alasan.
  • Label apa masing-masing bagian. Sebuah klaim adalah sebuah posisi. Sebuah premis adalah alasan untuk itu. Bukti adalah data di balik alasan tersebut. Kalimat yang sama bisa menjadi klaim dalam satu dokumen dan premis dalam dokumen lainnya.
  • Ketahui apa yang merespons apa. Sebuah alasan terikat pada klaim tertentu; sebuah keberatan terikat pada alasan tertentu. Inilah yang mengubah daftar menjadi pohon.
  • Putuskan untuk mendukung atau menyerang. Untuk setiap tautan: apakah ini memperkuat apa yang terhubung, atau melemahkannya?

Dua yang pertama sebagian besar telah teratasi. Dua yang terakhir belum, dan tolok ukur yang dipublikasikan menunjukkan kesenjangan dengan jelas: pada korpus esai persuasif yang dianotasi oleh Christian Stab dan Iryna Gurevych, deteksi komponen mencapai sekitar 73% F1 sementara deteksi hubungan berada di dekat 48%. Pada korpus CDCP yang dibangun oleh Joonsuk Park dan Claire Cardie, deteksi hubungan turun menjadi sekitar 34%.

Jadi keputusan desain yang menarik tidak terletak pada penemuan. Mereka ada dalam pengaturan — dan di situlah kategori berperan.

Mengapa Argumen Dikelompokkan ke Dalam Kategori

Diskusi yang nyata bukanlah tentang satu hal. Keputusan untuk mengonsolidasikan dua tim sekaligus berkaitan dengan biaya, dengan moral, dengan paparan hukum, dan dengan berapa lama waktu yang dibutuhkan. Itu adalah debat yang berbeda yang terjadi di ruangan yang sama, dan meratakannya menjadi satu daftar menghasilkan sesuatu yang tidak bisa dibaca oleh siapa pun.

Jadi setiap argumen yang diekstrak diberi label dengan kategori-satu-kata — Biaya, Risiko, Waktu, Hukum, Keamanan, Ruang Lingkup. Satu kata, dengan sengaja. Begitu kategori menjadi frasa, tema yang sama terpecah menjadi hampir duplikat: Dampak Anggaran dan Pertimbangan Biaya dan Risiko Keuangan adalah satu perdebatan yang mengenakan tiga topi, dan pohon itu terpecah menjadi cabang-cabang yang seharusnya menjadi satu.

Keterbatasan ditegakkan daripada diminta. Kategori dinormalisasi menjadi satu bentuk kanonik, dan sebuah kategori adalah properti dari puncak cabang — segala sesuatu di bawah klaim utama mewarisi kategori klaim utama tersebut. Sebuah argumen biaya tidak memperoleh anak dalam kategori Risiko; jika anak tersebut benar-benar tentang risiko, ia seharusnya berada di bawah klaim utama Risiko.

Satu Argumen Utama Per Kategori

Dalam setiap kategori, tepat satu argumen dipromosikan menjadi klaim utama — posisi sentral yang didukung atau diserang oleh segala sesuatu yang lain dalam kategori tersebut. Segala sesuatu yang lain dalam kategori tersebut menjadi anak dari klaim utama itu, secara langsung atau tidak langsung.

Ini adalah pilihan yang paling berpengaruh dalam seluruh proses. Jika benar, cabangnya akan terbaca seperti sebuah argumen: inilah posisi tentang biaya, berikut tiga alasan untuk itu, inilah keberatan terhadap alasan kedua. Jika salah, Anda akan mendapatkan inversi dari bagian atas artikel ini — sebuah statistik yang terletak di atas cabang dengan klaim yang seharusnya didukung tergantung di bawahnya seolah-olah itu adalah sebuah detail.

Pendekatan yang jelas tidak berhasil.

Jawaban yang intuitif adalah untuk mempromosikan argumen mana pun yang paling diyakini oleh model. Ini gagal, karena alasan yang patut dipahami.

Kepercayaan mengukur seberapa yakin ekstraksi tersebut menemukan argumen yang nyata. Ini tidak mengukur seberapa sentral argumen tersebut dalam debat. Statistik yang diungkapkan dengan jelas dengan sumber yang disebutkan adalah ekstraksi yang mudah dan memiliki kepercayaan tinggi. Kalimat yang samar dan bersifat hati-hati yang kebetulan merupakan tesis yang sebenarnya adalah ekstraksi yang sulit dan memiliki kepercayaan rendah. Peringkat berdasarkan kepercayaan secara sistematis mempromosikan bukti dan mendemote klaim.

Ada masalah kedua di bawah yang pertama. Pekerjaan oleh Saurav Kadavath dan rekan-rekannya di Anthropic menemukan bahwa kepercayaan yang diucapkan oleh model bahasa lebih terkalibrasi dengan baik dibandingkan dengan probabilitas token mentah — tetapi evaluasi selanjutnya telah berulang kali menunjukkan bahwa itu masih belum terkalibrasi dengan baik dalam istilah absolut. Ini adalah sinyal yang dapat digunakan. Ini bukan peringkat yang dapat diandalkan.

Apa yang Sebenarnya Memilih Klaim Utama

Alih-alih satu sinyal, beberapa sinyal digabungkan — dan yang terkuat di antaranya adalah struktural daripada linguistik.

  • Sentralitas. Berapa banyak argumen lain yang terhubung dengan yang ini? Klaim yang menjadi respons dari segala sesuatu hampir selalu merupakan klaim sentral. Ini adalah hal terdekat dengan sinyal yang dapat diandalkan, karena ini adalah sifat dari posisi argumen dalam debat daripada dari kata-katanya.
  • Keterabstrakan. Klaim utama bersifat umum; bukti bersifat spesifik. Ini langsung merujuk pada Toulmin: dalam penjelasannya tahun 1958, klaim adalah kesimpulan dan dasar adalah fakta konkret di bawahnya.
  • Bahasa argumentatif. Penanda wacana — oleh karena itu, masalah kunci adalah, saya akan berargumen — menandakan bahwa seorang pembicara menyatakan posisi daripada memberikan detail.
  • Keringkasan. Klaim utama cenderung singkat. Kalimat yang panjang biasanya mengandung kualifikasi, yang merupakan fungsi dari materi pendukung.
  • Posisi. Sinyal yang lemah, tetapi nyata: tesis cenderung muncul lebih awal.

Abstraksi diukur dengan mencari jejak spesifikasi. Persentase, jumlah mata uang, entitas yang terukur, frasa kutipan, institusi yang disebutkan — masing-masing membuat argumen kurang mungkin menjadi klaim utama, karena masing-masing adalah ciri khas dari dasar daripada kesimpulan. Pekerjaan jarak jauh meningkatkan produktivitas adalah sebuah klaim. Sebuah survei terhadap 500 pekerja menunjukkan 78% kepuasan adalah apa yang Anda katakan ketika seseorang bertanya mengapa.

Menggabungkan beberapa sinyal lemah lebih baik daripada mempercayai satu sinyal yang terlihat kuat — yang merupakan alasan yang sama mengapa kelompok dengan perspektif yang beragam mengungguli individu yang percaya diri, sebuah pola yang dijelajahi dalam mengapa keberagaman mengungguli kemampuan.

Cobalah ini pada pertemuan terakhirmu.

Ambil keputusan terakhir yang dibuat tim Anda. Dapatkah Anda menyebutkan argumen terkuat melawan keputusan itu — dan dapatkah Anda menyebutkan siapa yang mengemukakannya? Jika Anda tidak bisa, itu bukan masalah ingatan. Itu adalah masalah struktur: catatan Anda menangkap apa yang diputuskan tetapi tidak apa yang diperdebatkan, yang merupakan celah yang ingin ditutup oleh ekstraksi.

Tidak ada yang bertahan yang tidak ada dalam sumber.

Sebuah argumen yang terdengar masuk akal tetapi sebenarnya tidak pernah dibuat lebih buruk daripada yang hilang — itu adalah catatan palsu tentang apa yang dikatakan tim Anda. Jadi setiap argumen yang diekstrak membawa kata-kata persis dari mana asalnya, dan setiap argumen yang bukti kutipannya tidak dapat ditemukan dalam dokumen sumber akan dihapus sebelum pohon ditampilkan kepada siapa pun.

Ini tidak glamor dan ini adalah bagian yang membuat sisanya dapat digunakan. Sebuah pohon yang tidak dapat Anda lacak kembali ke transkrip adalah ringkasan dengan langkah tambahan.

Tapi bukankah ini hanya ringkasan dengan langkah tambahan?

Ini adalah keberatan yang jelas, dan jawabannya terletak pada apa yang masing-masing orang buang.

Sebuah ringkasan mengompresi. Ini memberi tahu Anda secara kasar apa yang dibahas dalam pertemuan dan, jika baik, apa yang diputuskan. Apa yang tidak dapat dipertahankan adalah bentuk ketidaksepakatan — bahwa keberatan spesifik ini diajukan terhadap alasan spesifik itu, bahwa itu dijawab, dan bahwa keberatan kedua tidak pernah diajukan. Ringkasan kehilangan bagian yang tepat yang penting ketika keputusan ditinjau kembali delapan bulan kemudian dan tidak ada yang bisa mengingat mengapa alternatif yang jelas ditolak.

Perbedaan ini juga memisahkan penambangan argumen dari analisis sentimen, yang mengukur sikap daripada penalaran. Sebuah kalimat dapat diungkapkan secara negatif sambil mendukung poin yang dilampirkan — "tekanan waktu menambah risiko" memperkuat klaim bahwa proyek tersebut berisiko. Nilai itu berdasarkan nada dan Anda akan mendapatkan hasil yang salah setiap kali.

Outputnya adalah sebuah draf, dan itulah intinya.

Apa yang dihasilkan dari ekstraksi adalah sebuah proposal: inilah yang kami pikirkan telah diperdebatkan, inilah bagaimana kami pikir itu saling terkait. Orang-orang kemudian memperbaikinya — mengatur ulang argumen yang terlampir pada klaim yang salah, memisahkan argumen yang menggabungkan dua poin, mempromosikan sesuatu yang salah dalam penilaian, dan menilai apa yang mereka anggap meyakinkan.

Pembagian itu disengaja. Membangun struktur dengan tangan adalah pekerjaan yang membosankan yang menghentikan tim untuk melakukannya sama sekali. Menilai apakah sebuah argumen itu baik — apakah buktinya valid, apakah asumsi yang tidak dinyatakan dapat diterima — tidaklah membosankan. Itu adalah pemikiran yang sebenarnya, dan itu tetap bersama kelompok.

Apa Artinya Jika Anda Membaca Catatan Rapat Anda Sendiri

  • Kalimat yang dapat dikutip biasanya bukanlah klaim. Kalimat yang tepat dan bersumber baik biasanya adalah bukti. Klaim yang mereka dukung seringkali lebih samar dan lebih mudah diabaikan.
  • Hitung apa yang melekat pada apa. Poin yang direspon oleh semua orang adalah poin yang penting, terlepas dari siapa yang mengatakannya dengan paling percaya diri.
  • Nama kategori-kategorinya. Jika Anda tidak dapat menyebutkan dua atau tiga tema yang terkait dengan suatu keputusan, diskusi tersebut tidak terstruktur — itu telah ditranskripsikan.
  • Cari keberatan yang tidak dijawab oleh siapa pun. Itu adalah hal yang paling berguna dalam catatan argumen mana pun, dan hal pertama yang dihancurkan oleh ringkasan datar.

Kalimat yang samar adalah argumennya.

Statistik itu bukanlah inti permasalahannya. Itu adalah jawaban untuk pertanyaan yang diajukan seseorang tentang klaim yang sudah dibuat — secara longgar, lebih awal, dan dalam jenis kalimat yang tidak pernah tercantum dalam notulen.

Menyusun sebuah diskusi berarti menempatkan kalimat itu kembali di atas cabang di mana seharusnya, dengan buktinya di bawahnya dan keberatannya terlampir pada alasan spesifik yang mereka sangkal. Itulah fungsi sebuah pohon. Dan inilah mengapa jawaban yang paling percaya diri sering kali adalah yang salah.

Seri penambangan argumen

Postingan ini membahas bagaimana kami menerapkan penambangan argumen. Sisa seri ini membahas dari mana bidang ini berasal dan mengapa masalah sulitnya sulit.

Pertanyaan yang Sering Diajukan

Bagaimana Argumentree mengubah transkrip menjadi pohon argumen?

Ini menerapkan penambangan argumen: menemukan rentang teks yang mengandung klaim atau alasan, memberi label pada masing-masing, menentukan alasan mana yang terkait dengan klaim mana, dan memutuskan apakah setiap tautan mendukung atau menyerang poin di atasnya. Hasilnya adalah pohon pro dan kontra yang kemudian ditinjau dan diperbaiki oleh orang-orang.

Apa itu kategori argumen dan mengapa kata tunggal?

Kategori mengelompokkan diskusi ke dalam debat terpisah — Biaya, Risiko, Garis Waktu, Hukum. Mereka dibatasi pada kata tunggal karena kategori yang panjang frasa memecah: Dampak Anggaran, Pertimbangan Biaya, dan Risiko Keuangan adalah satu debat yang mengenakan tiga topi, dan pohon tersebut bercabang menjadi cabang-cabang yang seharusnya menjadi satu.

Apa arti satu argumen utama per kategori?

Dalam setiap kategori, tepat satu argumen dipromosikan menjadi klaim pusat, dan semua yang lain dalam kategori itu terlampir di bawahnya. Inilah yang membuat sebuah cabang dapat dibaca sebagai argumen — sebuah posisi, alasan untuk itu, dan keberatan terhadap alasan-alasan tersebut — daripada sekadar daftar datar kalimat-kalimat terkait.

Mengapa argumen utama bukan hanya yang memiliki tingkat kepercayaan tertinggi?

Karena kepercayaan mengukur seberapa pasti ekstraksi itu, bukan seberapa sentral argumennya. Statistik yang diungkapkan dengan jelas adalah ekstraksi yang mudah dan memiliki kepercayaan tinggi; kalimat yang samar yang merupakan tesis sebenarnya adalah yang sulit. Peringkat berdasarkan kepercayaan secara sistematis mempromosikan bukti dan mendemotivasi klaim.

Apa bedanya ini dengan ringkasan pertemuan?

Ringkasan mengompresi dan memberi tahu Anda apa yang telah dibahas. Ini tidak dapat mempertahankan bentuk ketidaksepakatan — bahwa keberatan ini diajukan terhadap alasan itu, bahwa itu dijawab, dan bahwa yang lain tidak. Ringkasan kehilangan tepat bagian yang penting ketika keputusan ditinjau kembali nanti.

Apa yang menghentikan AI dari menciptakan argumen yang tidak pernah dibuat oleh siapa pun?

Setiap argumen yang diekstrak membawa kata-kata persis dari sumbernya, dan argumen mana pun yang bukti kutipannya tidak dapat ditemukan dalam dokumen sumber akan dihapus sebelum pohon ditampilkan. Sebuah argumen yang terdengar masuk akal tetapi tidak pernah dibuat lebih buruk daripada yang hilang.

Bisakah saya mengubah apa yang dihasilkan oleh ekstraksi?

Ya — itu adalah alur kerja yang dimaksudkan. Hasilnya adalah sebuah draf. Orang-orang mengubah argumen yang terlampir pada klaim yang salah, memisahkan poin yang digabungkan, mempromosikan sesuatu yang dinilai salah oleh sistem penilaian, dan menilai apa yang mereka anggap meyakinkan. Mesin membangun strukturnya; kelompok menjaga penilaian.

AT

Argumentree Team

Decision Science

The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.

Ubah pertemuan Anda berikutnya menjadi pohon argumen

Strukturkan alasan, bukan hanya catatan — sehingga keberatan yang tidak dijawab tetap terlihat dalam enam bulan.

Mulai gratis

Bacaan terkait