İki Uzman, Bir Paragraf, İki Farklı Cevap

İki eğitimli anotatöre bir öğrenci makalesinin aynı paragrafını verin ve basit bir soru sorun: hangi cümle iddiadır ve hangi cümleler bunun gerekçeleridir? Genellikle anlaşmazlık yaşayacaklardır. Konu hakkında değil, argümanın iyi olup olmadığı hakkında değil — nerede olduğu hakkında.

Bu, hesaplamalı argüman madenciliğinin ilk on yılını şekillendiren bir gerçektir ve bunu küçümsemek kolaydır. Aşağıdaki her şey buna bağlıdır: İnsanların tutarlı bir şekilde gerçekleştiremeyeceği bir görev için bir kıyaslama oluşturamazsınız ve insanlar arasında paylaşılmayan bir yargıda bir modelin insan performansını geride bıraktığını iddia edemezsiniz.

Son tartıştığınız e-posta dizisinde kendiniz deneyin. İddianın işaretlenmesi genellikle kolaydır. Her itirazın hangi cümleye yönelik olduğunu işaretlemek ise tereddüt etmeye başlayacağınız yerdir — ve o tereddüt, bu on yılın tamamını anlatır.

Teorinin Yirmi Yıl Boyunca Neden Kullanılmadığı

1990'ların başlarına gelindiğinde teorik yapı tamamlanmıştı. Toulmin alana anatomisini vermiş, Walton akıl yürütme kalıplarının kataloğunu sunmuş, Freeman ise bir sonuca saldırmak ile ona yapılan çıkarıma saldırmak arasındaki ayrımı yapmıştı. Bu serinin ilk yazısında ele aldığımız gibi, bir argüman etiketli bir grafik olarak yeniden tanımlanmıştı.

Etiketli bir grafik, bir bilgisayarın puanlanabileceği bir şeydir — prensipte. Pratikte, onu puanlamak için bir şeye ihtiyacınız var. Notlandırılmış veri olmadan, farklı sonuçlar iddia eden iki araştırma grubunun bunu çözmenin bir yolu yoktur ve sonuçların karşılaştırılamadığı bir alan bir alan değildir. Bu, bir dizi demo koleksiyonudur.

Yani, tartışma madenciliğini bir disiplin haline getiren on yıl, algoritmaların on yılı değildi. Bu, anotasyon kılavuzlarının on yılıydı.

Görevi Tanımlayan Üç Korpus

Farklı araştırma grupları farklı türleri etiketledi ve tür seçimi, başlangıçta beklenenden daha önemliydi.

• İkna edici denemeler (Stab & Gurevych). Öğrenci argüman denemeleri, iddialar, önermeler ve bunlar arasındaki destek/saldırı ilişkileri için notlandırılmıştır. Açıkça net bir şekilde tartışmaya çalışan kişiler tarafından yapılandırılmış yazılar — metnin alabileceği en olumlu hali.
• İkna edici mikro metinler (Peldszus & Stede). Argüman yapısını incelemek için özel olarak oluşturulmuş kısa kontrollü metinler, her biri kasıtlı bir şekle sahip kompakt bir argümandır. Küçük, temiz ve yapısal soruların cevapları olacak şekilde tasarlanmıştır.
• Kamusal kural oluşturma yorumları (Park & Cardie). Kamu tarafından ABD düzenleyici danışmalarına sunulan yorumlar. Gerçek, düzeltilmemiş, sık sık dağınık — organizasyonların gerçekten sahip olduğu metne çok daha yakın.

Temizden dağınığa olan bu ilerleme dikkat edilmesi gereken faydalı bir şeydir. Liste aşağıya doğru ilerledikçe performans düşer ve en çok ilişkilerde düşer. Makaleler dostane bir durumdu ve orada bile ilişki sayıları mütevazıydı.

Ara-Yorumcu Anlaşması Gerçek Tavanıdır

Açıklama projeleri, bağımsız açıklayıcıların ne sıklıkla hemfikir olduğunu raporlar ve argüman madenciliğinde bu sayı bir dipnot değildir. Bu, üst sınırdır.

Eğer aynı yönergeleri takip eden iki eğitimli insan, hangi önermenin hangi iddiaya bağlı olduğu konusunda yalnızca kısmen hemfikir oluyorsa, o zaman onlardan birine karşı puanlanan bir model, diğerini anlamlı bir şekilde yendiği söylenemez. Ölçüm kendisi, modelden önce dengesiz hale gelir.

Anlaşma, ilişkilerden ziyade bileşenler üzerinde sürekli olarak daha yüksektir — insanlar genellikle hangi cümlenin bir iddia olduğunu kabul eder ve bunun neye yanıt verdiği konusunda farklılık gösterir. Bu tek taraflı asimetri, daha sonra standartların göstereceği her şeyi öngördü.

Kılavuzlar Teoridir, Uygulamalı Hale Getirilmiştir

Bir anotasyon kılavuzu, idari bir iş gibi görünüyor. Bir spesifikasyona daha yakındır. Teorinin bıraktığı her belirsizlik, anotatörlerin başlamasından önce çözülmelidir ve her çözüm gerçek bir taahhüttür.

Bir retorik soru bir iddia mıdır? Sonuçta bir tekrar, yeni bir bileşen olarak mı yoksa aynı bileşen olarak mı sayılır? Bir cümle aynı anda iki iddiayı destekliyorsa, her ikisine mi bağlanır, yoksa daha yakına mı, yoksa daha genel olana mı? Birisi bir noktayı çürütmeden önce kabul ederse, bu kabul kendi pozisyonuna bir saldırı mı olur?

Bunların hiçbiri belirgin cevaplara sahip değil ve her bir derleme bunlara biraz farklı yanıtlar verdi. Bu nedenle modeller derlemeler arasında kötü bir şekilde transfer oluyor: kısmen bir tür öğreniyorlar ve kısmen de bir ekibin bu sorulara verdiği yanıtları öğreniyorlar.

Ama daha fazla veri anotlayamaz mısınız?

Bu, doğal bir tepkidir ve bileşen tespiti için genel olarak işe yaradı. Daha fazla anotasyonlu aralık, daha iyi aralık tespiti sağladı. Alanın bu kısmı sürekli ve öngörülebilir bir şekilde gelişti.

İlişkiler için bu geçerli değildir ve sebep yapısaldır, hacimle ilgili bir mesele değildir. İlişkiler, cümlenin dışındaki bağlama bağlıdır — bu da tutarlı bir şekilde anotasyon yapmayı pahalı hale getirir. Anlaşmazlık ilişkileri nadirdir, bu nedenle korpusun ölçeklenmesi dengesizliği de beraberinde getirir. Ve bağlayıcı adım sıklıkla belirtilmemiştir, bu nedenle anotatör metinde görünür bir şeyi işaretlememektedir; onlar bunun yeniden yapılandırmasını işaretlemektedir.

Daha fazla veri, bu üç sorunu çözmek yerine artırır. Bu argüman, bir sonraki yazının konusudur.

On Yılın Ardında Bıraktığı Şeyler

İki şey, her ikisi de hala yük taşıyor.

İlki, görev tanımının kendisidir. Artık her argüman madenciliği makalesinin başlangıcında yer alan dört parçalı ayrım — bileşenleri bul, etiketle, bağla, bağlantıları sınıflandır — bu anotasyon projelerinin bir ürünüdür, felsefenin değil. Toulmin asla bir süreç önerdi.

İkincisi, belirlenen kıyas noktasıdır. Modern bir sistem bir sayı bildirdiğinde, genellikle bu on yılda notlandırılmış denemeler veya mikro metinler üzerinde bildirimde bulunur. Bu, makaleler arasında rakamları karşılaştırırken hatırlanmaya değerdir: iki farklı derlemada aynı metrik adı, aynı ölçüm değildir ve birçok yayımlanmış karşılaştırma bunu sessizce göz ardı etmektedir.

Laboratuvar Dışında Bunun Anlamı

• İnsanlar tartışmanın nerede olduğu konusunda anlaşamazsa, hiçbir araç size kesinlik veremez. Çıkarılan yapıyı kabul edilecek bir hüküm değil, düzeltilecek bir taslak olarak değerlendirin.
• Tür, hacimden daha önemlidir. Düzenli makalelere göre ayarlanmış bir sistem, kesintilerle ve yarım kalmış düşüncelerle dolu bir toplantı transkriptinde çok farklı bir sorunla karşılaşır.
• Hedefler konusundaki anlaşmazlık gerçek sinyaldir. İki kişi bir itirazın farklı şeylere yönelik olduğunu düşündüğünde, o boşluk genellikle kararın gerçekten takıldığı yerdir.
• Sadece bir korpus içinde kıyaslama numaralarını karşılaştırın. Farklı bir veri setindeki aynı metrik, etiket ne kadar benzer görünürse görünsün, farklı bir ölçümdür.

Argümanın Nerede Olduğu

Notasyon on yılı, bu hikayenin en az göz alıcı kısmıdır ve diğer her şeyin dayandığı kısımdır. Ne kadar büyük olursa olsun, hiçbir model, bir argümanın nerede olduğu konusunda bazen birbirleriyle anlaşmazlık yaşayan insanlar tarafından inşa edilen puan tablosundan kaçamaz.

Kendi toplantılarınıza taşımak için faydalı bir şeydir. Yazılı bir kılavuzla iki eğitimli anotatör için argümanı bulmak zor ise, ekibinizin bir kararı tekrar tekrar tartışması bir disiplin sorunu değildir. Bu, kılavuz olmadan aynı sorundur.

Argüman madenciliği serisi

Makinelerin argümanları okumayı nasıl öğrendiğine dair beş gönderi — bu alanın nereden geldiği, zor problemlerinin neden zor olduğu ve bunu nasıl uyguladığımız.