Alanı Tanımlayan Kısıtlama Basitçe Uygulanmayı Durdurdu

Yirmi yıl boyunca, verilerimizde argüman madenciliği yapabilir miyiz? sorusunun cevabı başka bir soru oldu: Kaç bin belgenizin önce elle anotasyon yapılmasına izin vermeye hazırsınız ve kılavuzu kim yazacak?

Bu bir teknik detay değildi. Argüman madenciliğinin araştırma laboratuvarlarında kalmasının nedeni, duygu analizinin her üründe yer almasıydı. Anotasyon gereksinimi, her yeni alanı bir yapılandırma yerine bir proje haline getirdi ve bu serideki ikinci yazıda açıklandığı gibi, yönergeler bile uzmanlar arasında tartışmalıydı.

Sonra genel amaçlı dil modelleri geldi ve bu soru sorulmamaya başlandı. Artık daha önce hiç anotasyon yapılmamış bir alandaki bir toplantı transkriptine bir model yönlendirebilir ve kullanılabilir bir ilk taslak elde edebilirsiniz. Bu yeteneğin ürünlerde aniden ortaya çıkmasının nedenini merak ettiyseniz, işte bu sebeptir.

Sıfır Atış Tüm Hikayedir

Değişen spesifik şey, alanına özgü denetimin kaldırılmasıdır. Bir istemle yönlendirilen model, dil konusunda genel bir yetkinlik getirir ve bir iddianın ne olduğunu ve bir önermenin ne olduğunu, istemde, çıkarım zamanında belirtmek mümkündür.

İlişki temelli argüman madenciliği üzerine yayımlanan çalışmalar, birkaç örnekle yönlendirme ile genel amaçlı modellerin, birden fazla veri seti üzerinde ince ayar yapılmış kodlayıcı temel modellerle rekabet edebildiğini — ve bazı durumlarda onları geride bıraktığını bulmuştur. Tüm değerlendirme aparatının, anotasyonlu derlemelere karşı denetimli eğitim üzerine inşa edildiği bir alan için bu, gerçek bir kesintidir.

Üç pratik sonuç ortaya çıkıyor. Alan adaptasyonu yeniden eğitim yerine istem değiştirme haline geliyor. Uzun belgeler yönetilebilir hale geliyor, çünkü bağlam pencereleri büyüdü. Ve kanıt alanı bir açıklama taşıyabilir, çünkü modelden aynı çağrıda kendini haklı çıkarması istenebilir — bu, duyulandan daha önemli olduğu ortaya çıkıyor.

Hareket Etmeyen Üç Problem

Önceki yazıda her şey hala geçerli ve ölçeğin neden bunların hiçbirini ele almadığı konusunda net olmak önemlidir.

• Sınıf dengesizliği yazmanın bir özelliğidir, eğitimin değil. Bir dava oluşturan insanlar genellikle destekleyici cümleler yazar. Tüm interneti okumuş bir model de çoğunlukla anlaşmayı okumuştur.
• Bağlam bağımlılığı, görevin bir özelliğidir. Destek ve saldırı, cümle nitelikleri değil, ilişkileridir. Farklı bir üst cümle altında aynı cümle farklı bir etikete sahiptir ve dünya bilgisi bunun değişmesini sağlamaz.
• Belirtilmemiş gerekçe metnin bir özelliğidir. Eğer kanıtı sonuca bağlayan ilke asla yazılmadıysa, bu girdi içinde yoktur. Daha büyük bir model aynı eksik cümleyi okur.

Dördüncü, daha ince bir durum var. Akıcı bir model akıcı bir çıktı üretir, bu nedenle hataları iyi bir şekilde ifade edilmiş ve içsel olarak tutarlıdır. Bir kodlayıcıdan gelen yanlış bir ilişki etiketi gürültü gibi görünüyordu. Bir dil modelinden gelen yanlış bir ilişki etiketi ise bir argüman gibi görünür.

Yardım: Önce Neden Dediğini Yapmak Ne Anlama Geliyor

Bu modellerle mevcut en güvenilir iyileştirme neredeyse utanç verici derecede basit. Etiket öncesinde akıl yürütmeyi isteyin.

Bir modelin bir katkının ebeveynine ne yaptığını yazmasını gerektirmek — bu, yukarıdaki itirazı güçlendirir, çünkü bu itirazın geçerli olmasının başka bir nedenini sağlar — destek veya saldırı kararı vermeden önce, kararı ölçülebilir şekilde iyileştirir. Yazılı adım, ebeveyn ilişkisini modelin çalışma bağlamına zorlar, bu da cümlenin ifadesinin sağlamadığı tam olarak gereken bilgidir.

Bu, tamamen insana ait bir tekniğin makine versiyonudur. Bu nedenle steelmaning işe yarar: bir argümanın aslında ne yaptığını ifade etmek, onu yargılamadan önce, yargıyı değiştirir.

Peki, Argüman Madenciliği Çözüldü mü?

Hayır, geriye kalanların şekli artık her zamankinden daha net.

Pratikte çözülen şey erişimdir. Bugün herhangi bir kuruluş, birkaç yıl önce düşünülemezken, kendi metni üzerinde argüman madenciliği yapabilir. Bu gerçek ve büyük bir değişimdir.

Çözülemeyen şey yapı: hangi katkının hangisine yanıt verdiği ve hangi yönde, bağlayıcı ilke belirtilmediğinde ve verilerin herkesin — insan ve makine — anlaşma beklemesine neden olduğu durumlarda. Dürüst bir pozisyon, çıkarımın artık herhangi bir alanda iyi bir taslak ürettiğidir ve bir kişinin hala anlaşmazlıkları kontrol etmesi gerektiğidir. Bu, hiç kimsenin yapıyı inşa etmediği durumdan çok daha iyi bir iş bölümü.

Bunu Nasıl Kullanırsınız

• Güvene göre sıralamayın. Bu, önem değil, çıkarım kesinliğini ölçer ve sistematik olarak kanıtları iddiaların üzerinde teşvik eder.
• İlişkiyi sorun, duyguyu değil. Yararlı soru, bunun ebeveynine ne yaptığıdır — asla konuyla ilgili nasıl hissettiği değildir.
• Etiketi vermeden önce gerekçeyi haklı çıkarın. Yazılı gerekçe, ebeveyn ilişkisini bağlama oturtan şeydir ve hataları yakaladığınız yerdir.
• Değerlendirme zamanınızı anlaşmazlıklara harcayın. Modellerin en zayıf olduğu ve karar değerinin yoğunlaştığı yer burasıdır.

Daha İyi Bir Taslak, Bir Karar Değil

Argüman madenciliğini laboratuvarlarda tutan darboğaz ortadan kalktı ve geri gelmeyecek. Bu konuda net olmak önemli: bu, bir araştırma tekniği ile kendi toplantılarınıza uygulayabileceğiniz bir şey arasındaki farktır.

Ama 1958'de zor olan sorunlar şimdi de zor. Arama emri hala yazılmamış, anlaşmazlık hala nadir, ve etiket hala ifadelere değil, ebeveyne bağlı. Değişen şey, sorunu kimin yaşayacağı — ki, yirmi yıl boyunca anotatörleri bekleyen bir alan için bu yeterince büyük bir değişim.

Argüman madenciliği serisi

Makinelerin argümanları okumayı nasıl öğrendiğine dair beş gönderi — bu alanın nereden geldiği, zor problemlerinin neden zor olduğu ve bunu nasıl uyguladığımız.