Lokacin da LLMs suka hadu da Neman Tattaunawa: Menene ya canza da menene ba a canza ba | Argumentree

TL;DR

Matsalar bottleneck na corpus ta bace. Matsalolin tsarin ba su motsa ko inci guda — kuma sabuwa ta zo, tana sanye da kayan aikin mafita.

Hakan ya sa binciken muhawara yana buƙatar tarin bayanai da aka yi wa alama da hannu a kowanne fanni. Samfuran da aka tsara don amfani da gaba ɗaya ba sa buƙatar hakan, wanda ya sa ya zama mai amfani a kan rubutun kasuwanci na yau da kullum.
Binciken da aka wallafa ya gano cewa samfuran da aka tsara don amfanin gama-gari suna da gasa da, wani lokaci ma suna fi kyau, fiye da tushe na mai fassara da aka daidaita a kan rarraba dangantaka.
Rashin daidaito, dogaro da yanayi da kuma garanti da ba a faɗi ba sune halaye na harshe da aikin, ba na girman samfur ba.
Amfanin samfur yana da ingantaccen daidaito fiye da yawan yiwuwar asali amma har yanzu ba alamar jerin amintacce ba — sabuwar tuhuma, ba sabon kayan aiki ba.
Abin da ke taimakawa shine tilasta a bayyana dangantakar a cikin kalmomi kafin a sanya alamar.

Tsarin da ya bayyana fannin ya daina aiki kawai.

Tsawon shekaru ashirin, amsar tambayar shin za mu iya gudanar da binciken muhawara akan bayananmu? ita ce wata tambaya: nawa dubban takardunku kuke son a yi musu fassara da hannu na farko, kuma wa zai rubuta jagorar?

Wannan ba wani bayani na fasaha ba ne. Shi ne dalilin da ya sa binciken hujja ya tsaya a cikin dakunan bincike yayin da nazarin jin ra'ayi ya shiga cikin kowanne samfur. Bukatar yin alamar ta sanya kowanne sabon fanni zama wani aikin maimakon wani tsari, kuma kamar yadda post na biyu a cikin wannan jerin ya bayyana, ka'idojin kansu an yi musu jayayya ko a tsakanin kwararru.

Sai ga cewa an kawo samfuran harshe na gaba ɗaya kuma tambayar ta daina kasancewa. Yanzu zaka iya nuna ɗaya ga takardar shaidar taro a cikin fannin da ba a taɓa yin bayanin ba kuma ka sami amfani da shi a matsayin farko. Idan ka taɓa yin tunani kan dalilin da ya sa wannan ƙwarewar ta bayyana a cikin kayayyaki cikin gaggawa maimakon a hankali, wannan shine dalilin.

Zero-Shot shine dukan labarin.

Abin da ya canza a fili shine cire kulawar da ta shafi fannin. Samfurin da aka ba da umarni yana kawo kwarewa ta gaba ɗaya tare da harshe kuma ana iya gaya masa abin da ikirari yake da abin da tushe yake, a cikin umarnin, a lokacin fassara.

Ayyukan da aka buga akan hakar hujjoji bisa ga dangantaka sun gano samfuran da aka tsara don amfanin gaba ɗaya tare da ƙananan tambayoyi suna gasa da tushe masu inganci da aka daidaita a cikin tarin bayanai da yawa — kuma a wasu lokuta suna gaban su. Ga fannin da dukkanin tsarin tantawarsa aka gina bisa ga horo mai kulawa da bayanan da aka yi wa alama, wannan wani babban canji ne.

Hanyoyi guda uku masu amfani suna biyo baya. Canjin fanni yana zama canjin saƙo maimakon sake horarwa. Dogayen takardu suna zama masu sauƙin sarrafawa, saboda taga mahallin sun ƙaru. Kuma filin shaidar na iya ɗaukar bayani, saboda ana iya tambayar samfurin ya tabbatar da kansa a cikin wannan kira — wanda ya zama mai mahimmanci fiye da yadda yake ji.

Matsaloli Uku Da Ba Su Motsi Ba

Duk abin da ke cikin post ɗin da ya gabata har yanzu yana aiki, kuma yana da kyau a bayyana dalilin da ya sa girma ba ya magance kowanne daga cikinsu.

Rashin daidaito a cikin ajin yana daga cikin halayen rubutu, ba na horo ba. Mutanen da ke gina hujja yawanci suna rubuta jimloli masu goyon baya. Wani samfurin da ya karanta dukkanin intanet yawanci ya karanta yarjejeniyar ma.
Dogaro da mahallin wani abu ne na aikin. Tallafi da hari suna da alaƙa, ba halayen jumla ba. Jumla ɗaya a ƙarƙashin mahaifi daban tana da suna daban, kuma ba wani adadin ilimin duniya zai canza hakan.
Warrant ɗin da ba a faɗi ba yana daga cikin dukiyar rubutun. Idan ka'idar da ke haɗa hujja da ƙarshe ba a taɓa rubuta ta ba, ba ta cikin shigar. Babban samfur yana karanta wannan jumla da ba ta bayyana ba.

Akwai wani na hudu, wanda ya fi na farko laushi. Samfurin mai kyau yana samar da fitarwa mai kyau, don haka kuskurensa suna zuwa cikin kyakkyawan tsari da jituwa a cikin kansu. Alamar dangantaka mara kyau daga mai fassara tana kama da hayaniya. Alamar dangantaka mara kyau daga samfurin harshe tana kama da hujja.

Sabon Tashoshi: Dogaro da Tabbacin Kayan Aikin Kansa

Saboda waɗannan samfuran na iya bayar da rahoton yadda suke da tabbaci, yana da jan hankali a yi amfani da wannan lamba — don tsara hujjojin da aka fitar, don yanke shawarar waɗanne ne suka fi muhimmanci, don tantance abin da za a nuna.

Aikin da Saurav Kadavath da abokan aikinsa suka yi ya nuna cewa kimantawa ta hanyar magana tana da inganci fiye da yawan yiwuwar alamu na asali. Wannan sakamakon ana yawan ambata shi a matsayin izini don amincewa da lambar. Binciken da ya biyo baya ya kasance mai rauni: fiye da madadin ba yana nufin abin dogaro ba, kuma daidaito yana raguwa a inda kake bukata, a cikin lokuta masu wahala da na musamman.

Hakanan akwai kuskuren rukuni da ke ɓoye a cikin aikin. Amana tana auna yadda tabbaci samfurin ya kasance cewa ya sami hujja ta gaskiya. Ba ta faɗi komai game da ko wannan hujja tana muhimmanci ga muhawara. Kididdiga mai kyau kalmomi tana da sauƙi, tana da babban tabbaci; jumlar da aka yi wa kariya wacce ta kasance ainihin jigon magana tana da wahala. Tsarawa bisa ga amana yana inganta shaidar kuma yana rage ikirari — wanda shine ainihin gazawar post na ƙarshe a cikin wannan jerin ke buɗewa da shi.

Gwada shi akan takardar da ka sani sosai

Ka dauki taron da sakamakon sa ka ke tunawa da kyau kuma ka tambayi kowanne kayan aikin AI menene babban hujja. Idan ya ba ka mafi inganci, mafi shaidar jumla maimakon wacce ta yi tasiri a kan shawarar, ka ga yadda amincewa ta maye gurbin muhimmanci — kuma yanzu ka san kada ka yarda da wannan jerin.

Menene Taimako: Yin Sa Ya Ce Me Da Farko

Mafi ingancin ingantawa da ake da shi tare da waɗannan samfuran yana da sauƙi sosai. Nemi dalilin kafin alamar.

Bukatar samfurin ya rubuta abin da gudummawa ke yi ga mahaifinta — wannan yana karfafa hujjar da ke sama, saboda yana bayar da wani dalili da ya sa hujjar ta tsaya — kafin a yanke hukunci na goyon baya ko kai hari yana inganta hukuncin sosai. Matakin rubutun yana tilasta dangantakar mahaifi a cikin yanayin aiki na samfurin, wanda shine ainihin bayanin da kalmomin jumlar ba su bayar ba.

Wannan shine sigar na'ura ta wata hanya ta mutum sosai. Wannan shine dalilin da ya sa steelmanning ke aiki: bayyana abin da hujja ke yi a zahiri, kafin a yi hukunci akanta, yana canza hukuncin.

Shin an warware Matsalar Neman Tattaunawa?

A'a, kuma tsarin abin da ya rage yanzu ya fi bayyana fiye da yadda ya taba kasancewa.

Abin da aka warware, a cikin magana ta zahiri, shine samun damar shiga. Kowace ƙungiya na iya gudanar da binciken muhawara akan rubutun ta a yau ba tare da shirin fassara ba, wanda ba a yi tunanin hakan ba a shekaru da suka wuce. Wannan canji ne na gaske kuma mai girma.

Abin da ba a warware ba shine tsarin: wane gudummawa ke amsa wane, da kuma a wace hanya, lokacin da ka'idar haɗin ba a bayyana ba kuma bayanan sun horar da kowa — mutum da na'ura — su yi tsammanin jituwa. Matsayin gaskiya shine cewa fitarwa yanzu yana samar da kyakkyawan rubutu a kowanne fanni, kuma cewa mutum har yanzu yana da bukatar duba rashin jituwa. Wanne shine rarrabawa mai kyau fiye da wacce babu wanda ya gina tsarin kwata-kwata.

Yadda Ake Amfani da Wannan Ruwan Biyu

Kar a yi daraja bisa ga tabbaci. Yana auna tabbacin fitarwa, ba mahimmanci ba, kuma yana inganta shaidar fiye da ikirari a tsarin.
Tambayi dangantaka, ba ji dadin ba. Tambayar da ta dace ita ce abin da wannan ke yi ga mahaifinsa — ba ta yadda yake ji game da batun ba.
Sa ya tabbatar da lakabin kafin a ba shi. Dalilin da aka rubuta shine wanda ke sanya dangantakar iyaye a cikin mahallin, kuma inda zaka kama kuskure.
Ku kashe lokacin duba ku akan rashin jituwa. A nan ne samfuran suka fi rauni kuma inda darajar yanke shawara take taruwa.

Wani Kyakkyawan Tsari, Ba Hukunci Ba

Tushen matsalar da ta hana binciken muhawara a dakin gwaje-gwaje ya tafi, kuma ba zai dawo ba. Wannan yana da mahimmanci a fahimta: wannan shine bambanci tsakanin fasahar bincike da wani abu da zaka iya nuna a taron ka na kanka.

Amma matsalolin da suka kasance masu wahala a 1958 suna da wahala yanzu. Takardar izinin har yanzu ba a rubuta ta ba, rashin jituwa har yanzu yana da wuya, kuma lakabin har yanzu yana dogara ga uwa ko uba maimakon yadda aka tsara shi. Abin da ya canza shine wanda ke da matsalar — wanda, ga fannin da ya shafe shekaru ashirin yana jiran masu fassara, canji ne mai yawa.

Jerin hakikanin muhawara

Hanyoyi guda biyar akan yadda na'urori suka koyi karanta hujjoji — inda fannin ya fito, dalilin da ya sa matsalolinsa masu wahala suke da wahala, da yadda muke amfani da shi.

Daga Toulmin zuwa Transformers

Yadda littafin falsafa na 1958 da masu nazarin lissafi suka ƙi ya zama takamaiman aikin na'ura mai koyo.

Koyar da Na'urori Karanta Huɗa

Shekaru goma na tarin bayanai da aka yi wa alama da hannu wanda ya canza hakikanin binciken hujja daga ra'ayi zuwa aikin da za a iya auna.

Me yasa Ganewar Harin ke da Wahala?

Rikici yana da wuya a cikin bayanan kuma yana dogara da mahallin da jumlar ba ta ƙunsa ba.

Yadda Argumentree ke Fitar da Hujojji

Aiwatar da shi: rukuni na hujjoji, ikirarin babban guda a kowanne rukuni, da dalilin da ya sa amincewa ba shi da kyau a matsayin alamar matsayi.

Hanyoyin Koyo & Karatu na Ƙari

Lawrence, J., & Reed, C. (2019). Hako Huɗa: Bincike. Harshe na Kwamfuta, 45(4), 765–818.

Matsayin fannin kafin LLM — mai amfani a matsayin tushe wanda aka auna canjin.

Kadavath, S., da sauransu. (2022). Samfuran Harshe (Yawanci) Sun San Abinda Suke Sani. arXiv:2207.05221.

Maganar kimanta kai ta fi karfin yiwuwar alamu — sakamakon da aka fi karantawa a matsayin izinin yarda da lambar.

Stab, C., & Gurevych, I. (2017). Nazarin Tsarin Tattaunawa a cikin Rubutun Kira. Harshe na Kwamfuta, 43(3), 619–659.

Sakamakon gwaji na kulawa wanda aka kwatanta da hanyoyin LLM.

Toulmin, S. E. (1958). Amfanin Tattaunawa. Cambridge University Press.

Warrant — mataki wanda ba a rubuta ba wanda ma'auni ba ya bayar, saboda yana cikin rubutun maimakon daga samfurin.

Tambayoyi da ake yawan yi

Ta yaya manyan samfuran harshe suka canza hakar muhawara?

Sun cire bukatar samun tarin bayanai da aka yi wa hannu a kowanne sabon fanni. Wani samfurin mai amfani da umarni na gaba zai iya gano ikirari, tushe da dangantaka ba tare da bayanan horo na musamman ba, wanda ya canza hakikanin hakikanin daga wata hanya ta bincike zuwa wani abu da za a iya amfani da shi a kan rubutun kungiyoyi na yau da kullum.

Shin LLMs sun fi kyau fiye da samfuran da aka tsara sosai wajen hakar hujjoji?

A kan hakikanin binciken hujja bisa dangantaka, an gano a cikin kimantawa da aka buga cewa samfuran da aka tsara don amfanin gama gari suna gasa da kuma a wasu lokuta suna fi kyau fiye da tushe masu inganci da aka daidaita a cikin bayanai da yawa. Babban fa'idar aikace-aikace ita ce cewa ba sa buƙatar kowanne bayanan horo da aka yi wa alama don sabon fanni.

Wane matsaloli ne LLMs ba su warware ba?

Wannan guda uku na tsarin. Rashin daidaito a cikin ajin yana nuna yadda mutane ke rubutu maimakon yadda samfuran ke horarwa. Taimako da kai hari yana dogara ne akan uwa, ba kalmomin ba. Kuma korafe-korafe yawanci suna nufin wani dalili da ba a bayyana ba wanda ba ya cikin rubutun, don haka duk wani ƙarfin samfur ba ya bayar da shi.

Shin za ka iya dogara da maki tabbacin wani samfur?

Ba a matsayin alamar matsayi ba. Jin dadin magana yana da inganci fiye da yawan yiwuwar alamu amma yana ci gaba da zama mara inganci a cikin ma'auni na dindindin, kuma yana auna tabbacin fitarwa maimakon muhimmanci — don haka yin matsayi da shi yana inganta bayani mai kyau fiye da jimlolin da suka yi la'akari da hakikanin ikirari.

Me ke inganta rarrabewar dangantaka tare da LLMs?

Ana buƙatar samfurin ya bayyana, a cikin kalmomi, abin da gudummawa ke yi ga mahaifinta kafin ya yarda da alamar goyon baya ko kai hari. Matakin da aka rubuta yana tilasta dangantakar mahaifiya cikin mahallin aiki, wanda shine ainihin bayanin da kalmomin jumlar ba su bayar ba.

Shin binciken muhawara yanzu an warware matsalar ne?

An warware samun dama — kowace ƙungiya na iya gudanar da shi akan rubutunta ba tare da shirin fassara ba. Tsari ba haka bane. Yanke shawarar wane gudummawa ke amsa wane, da kuma a wace hanya, har yanzu yana da wahala, don haka fitarwa yana samar da kyakkyawan zane kuma mutum har yanzu yana duba sabani.

Argumentree Team

Decision Science

The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.

Wani zane da zaka iya gyarawa

Fitarwa yana samar da tsarin; kuna duba sabani. Liƙa takardar shaidar kuma ku ga rarraba aikin.

Menene hakar muhawara?

Shafin tunani don fannin — ayyuka, tarihin, da dalilin da ya sa dangantaka ke da wahala.

Daga Toulmin zuwa Transformers

Zoben duk fannin, daga littafin falsafa da aka ki yarda da shi na 1958 har zuwa yau.

Yadda Argumentree ke fitar da hujjoji

Rukuni, ikone babban ikon a kowanne rukuni, da dalilin da ya sa amincewa ba shine alamar matsayi mai kyau ba.

Gudanar da shi a kan takardar shaidarka ta kanka

Babu shirin bayani, babu tarin bayanai, babu horo — kawai itacen fa'ida da rashin fa'ida mai tsari don duba.

Fara kyauta

When LLMs Met Argument Mining: What Changed and What Didn't