Quando gli LLM hanno incontrato l'Argument Mining: Cosa è cambiato e cosa non è cambiato | Argumentree

TL;DR

Il collo di bottiglia del corpus è scomparso. I problemi strutturali non si sono mossi di un millimetro — e ne è arrivato uno nuovo, vestito da soluzione.

L'argomento mining richiedeva un corpus annotato a mano per ogni dominio. I modelli generali non lo fanno, ed è questo che lo ha reso utilizzabile su testi aziendali ordinari.
Le valutazioni pubblicate trovano che i modelli generali a richiesta siano competitivi e, a volte, migliori delle basi di riferimento degli encoder ottimizzati nella classificazione delle relazioni.
L'impatto, la dipendenza dal contesto e la garanzia non dichiarata sono proprietà del linguaggio e del compito, non della dimensione del modello.
La fiducia del modello è meglio calibrata rispetto alle probabilità grezze, ma non è ancora un segnale di ranking affidabile: una nuova trappola, non un nuovo strumento.
Ciò che aiuta è costringere la relazione a essere espressa a parole prima che l'etichetta venga assegnata.

Il vincolo che definiva il campo ha semplicemente smesso di applicarsi.

Per vent'anni, la risposta a possiamo eseguire l'argomentazione mining sui nostri dati? era un'altra domanda: quanti migliaia dei tuoi documenti sei disposto ad avere annotati a mano prima, e chi scriverà le linee guida?

Non era un dettaglio tecnico. Era il motivo per cui l'argomentazione mining è rimasta nei laboratori di ricerca mentre l'analisi del sentiment è stata implementata in ogni prodotto. Il requisito di annotazione ha reso ogni nuovo dominio un progetto piuttosto che una configurazione, e come il secondo post di questa serie descrive, le linee guida stesse erano contestate anche tra specialisti.

Poi sono arrivati i modelli di linguaggio di uso generale e la domanda ha smesso di essere posta. Ora puoi puntarne uno a una trascrizione di riunione in un dominio che nessuno ha mai annotato e ottenere un primo passaggio utilizzabile. Se ti sei mai chiesto perché questa capacità sia apparsa nei prodotti all'improvviso piuttosto che gradualmente, questa è la ragione.

Zero-Shot è tutta la storia

La cosa specifica che è cambiata è la rimozione della supervisione specifica per dominio. Un modello sollecitato porta una competenza generale con il linguaggio e può essere informato su cosa sia un'affermazione e cosa sia una premessa, nel prompt, al momento dell'inferenza.

Il lavoro pubblicato sul mining di argomenti basato sulle relazioni ha trovato modelli generali con prompting a pochi esempi competitivi rispetto ai baseline di encoder fine-tuned su più dataset — e in alcuni casi anche superiori. Per un campo il cui intero apparato di valutazione è stato costruito su un training supervisionato contro corpora annotati, si tratta di una vera discontinuità.

Tre conseguenze pratiche seguono. L'adattamento del dominio diventa cambio di prompt piuttosto che riaddestramento. Documenti lunghi diventano gestibili, perché le finestre di contesto sono cresciute. E il campo delle evidenze può portare una spiegazione, perché il modello può essere invitato a giustificarsi nella stessa chiamata — il che si rivela essere più importante di quanto sembri.

I Tre Problemi Che Non Si Sono Mossi

Tutto in il post precedente è ancora valido, ed è importante essere precisi sul motivo per cui la scala non affronta nulla di tutto ciò.

Il bilanciamento delle classi è una proprietà della scrittura, non dell'addestramento. Le persone che costruiscono un caso scrivono principalmente frasi di supporto. Un modello che ha letto tutto internet ha letto per lo più anche accordo.
La dipendenza dal contesto è una proprietà del compito. Supporto e attacco sono relazioni, non attributi della frase. La stessa frase sotto un genitore diverso ha un'etichetta diversa, e nessuna quantità di conoscenza del mondo cambia questo.
Il mandato non dichiarato è una proprietà del testo. Se il principio che collega le prove alla conclusione non è mai stato messo per iscritto, non è nell'input. Un modello più grande legge la stessa frase assente.

Ce n'è un quarto, più sottile. Un modello fluente produce output fluente, quindi i suoi errori arrivano ben formulati e internamente coerenti. Un'etichetta di relazione errata da un codificatore sembrava rumore. Un'etichetta di relazione errata da un modello linguistico sembra un argomento.

La Nuova Trappola: Fidarsi della Propria Sicurezza del Modello

Poiché questi modelli possono riportare quanto siano sicuri, è allettante utilizzare quel numero — per classificare gli argomenti estratti, per decidere quali siano importanti, per filtrare ciò che viene mostrato.

Il lavoro di Saurav Kadavath e colleghi ha dimostrato che l'autovalutazione verbalizzata è significativamente meglio calibrata rispetto alle probabilità dei token grezzi. Quel risultato è spesso citato come licenza per fidarsi del numero. Le valutazioni successive sono state costantemente meno incoraggianti: essere migliore dell'alternativa non è la stessa cosa che essere affidabile, e la calibrazione degrada esattamente dove ne hai bisogno, nei casi difficili e insoliti.

C'è anche un errore di categoria nascosto nella pratica. La fiducia misura quanto il modello fosse certo di aver trovato un vero argomento. Non dice nulla su se quell'argomento sia centrale nel dibattito. Una statistica formulata in modo chiaro è un'estrazione facile e ad alta fiducia; la frase cauta che si rivela essere la vera tesi è difficile. La classificazione per fiducia promuove le prove e declassa le affermazioni — che è precisamente il fallimento con cui l'ultimo post di questa serie si apre.

Provalo su una trascrizione che conosci bene.

Prendi un incontro il cui esito ricordi chiaramente e chiedi a qualsiasi strumento di intelligenza artificiale qual era l'argomento principale. Se ti fornisce la frase più precisa e meglio documentata invece di quella vaga che ha effettivamente guidato la decisione, hai appena visto la fiducia sostituirsi all'importanza — e ora sai di non dover fidarti di quel ranking.

Cosa significa Aiuto: Farlo dire perché prima

Il miglior miglioramento disponibile con questi modelli è quasi imbarazzantemente semplice. Chiedi il ragionamento prima dell'etichetta.

Richiedere a un modello di scrivere cosa fa un contributo per il suo genitore — questo rinforza l'obiezione sopra, perché fornisce un'altra ragione per cui quell'obiezione è valida — prima di impegnarsi in un verdetto di supporto o attacco migliora misurabilmente il verdetto. Il passaggio scritto costringe la relazione genitore nel contesto di lavoro del modello, che è esattamente l'informazione che la formulazione della frase non riesce a fornire.

Questa è la versione macchina di una tecnica profondamente umana. È per questo che lo steelmanning funziona: articolare cosa stia effettivamente facendo un argomento, prima di giudicarlo, cambia il giudizio.

Quindi, l'argomento del mining è risolto?

No, e la forma di ciò che rimane è ora più chiara di quanto non sia mai stata.

Ciò che è risolto, parlando in termini pratici, è l'accesso. Qualsiasi organizzazione può oggi eseguire l'argomento mining sui propri testi senza un programma di annotazione, cosa impensabile solo pochi anni fa. Questo è un cambiamento reale e significativo.

Ciò che non è risolto è la struttura: quale contributo risponde a quale, e in quale direzione, quando il principio di collegamento non è dichiarato e i dati hanno addestrato tutti — umani e macchine — ad aspettarsi un accordo. La posizione onesta è che l'estrazione ora produce una buona bozza in qualsiasi dominio, e che una persona deve ancora controllare i disaccordi. Che è una divisione del lavoro considerevolmente migliore rispetto a quella in cui nessuno ha costruito la struttura.

Come Usare Questo Bene

Non classificare per fiducia. Misura la certezza dell'estrazione, non l'importanza, e promuove sistematicamente le prove rispetto alle affermazioni.
Chiedi la relazione, non il sentimento. La domanda utile è cosa fa a chi lo ha creato — mai come si sente riguardo all'argomento.
Fai in modo che giustifichi l'etichetta prima di fornirla. La motivazione scritta è ciò che contestualizza la relazione genitoriale e dove puoi individuare errori.
Dedica il tuo tempo di revisione alle discrepanze. È lì che i modelli sono più deboli e dove si concentra il valore decisionale.

Una bozza migliore, non un verdetto

Il collo di bottiglia che ha tenuto il mining degli argomenti in laboratorio è scomparso e non tornerà. È importante essere chiari su questo: è la differenza tra una tecnica di ricerca e qualcosa che puoi utilizzare nelle tue riunioni.

Ma i problemi che erano difficili nel 1958 sono difficili anche ora. Il mandato è ancora non scritto, il disaccordo è ancora raro e l'etichetta dipende ancora dal genitore piuttosto che dalla formulazione. Ciò che è cambiato è chi ha il problema — il che, per un campo che ha trascorso vent'anni ad aspettare annotatori, è un cambiamento sufficiente.

La serie di estrazione degli argomenti

Cinque post su come le macchine hanno imparato a leggere argomenti — da dove proviene il campo, perché i suoi problemi difficili sono difficili e come lo applichiamo.

Da Toulmin a Transformers

Come un libro di filosofia del 1958, rifiutato dai logici, è diventato la specifica per un compito di apprendimento automatico.

Insegnare alle macchine a leggere argomenti

Il decennio dei corpora annotati a mano che ha trasformato l'argomentazione in un'idea in un compito misurabile.

Perché la rilevazione degli attacchi è così difficile

Il disaccordo è raro nei dati e dipende dal contesto che la frase non contiene.

Come Argumentree Estrae Argomenti

Applicandolo: categorie di argomenti, una rivendicazione principale per categoria e perché la fiducia è il segnale di ranking sbagliato.

Fonti e Ulteriori Letture

Lawrence, J., & Reed, C. (2019). Estrazione di Argomenti: Un'Indagine. Linguistica Computazionale, 45(4), 765–818.

Lo stato del campo pre-LLM — utile come base di riferimento rispetto alla quale viene misurato il cambiamento.

Kadavath, S., et al. (2022). I modelli linguistici (per lo più) sanno ciò che sanno. arXiv:2207.05221.

La valutazione di sé verbalizzata supera le probabilità dei token grezzi — il risultato viene spesso interpretato come una licenza per fidarsi del numero.

Stab, C., & Gurevych, I. (2017). Analisi delle strutture argomentative nei saggi persuasivi. Linguistica Computazionale, 43(3), 619–659.

I risultati del benchmark supervisionato contro cui vengono confrontati gli approcci LLM.

Toulmin, S. E. (1958). Gli usi dell'argomentazione. Cambridge University Press.

Il mandato — il passo non scritto che la scala non fornisce, perché è assente dal testo piuttosto che dal modello.

Domande Frequenti

In che modo i modelli di linguaggio di grandi dimensioni hanno cambiato l'estrazione di argomenti?

Hanno rimosso il requisito di un corpus annotato a mano in ogni nuovo dominio. Un modello generico sollecitato può identificare affermazioni, premesse e relazioni senza dati di addestramento specifici per il dominio, il che ha trasformato l'argomentazione in una tecnica di ricerca in qualcosa di utilizzabile su testi organizzativi ordinari.

Gli LLM sono migliori dei modelli fine-tuned nell'estrazione di argomenti?

Nella raccolta di argomenti basata sulle relazioni, le valutazioni pubblicate hanno trovato modelli generali di tipo prompt competitivi e, in alcuni casi, migliori rispetto ai baseline di encoder fine-tuned su più dataset. Il vantaggio pratico maggiore è che non necessitano affatto di dati di addestramento annotati per un nuovo dominio.

Quali problemi non hanno risolto i LLM?

I tre strutturali. L'imbalance di classe riflette come le persone scrivono piuttosto che come i modelli si addestrano. Il supporto rispetto all'attacco dipende dal genitore, non dalla formulazione. E le obiezioni spesso mirano a un warrant non dichiarato che è assente dal testo, quindi nessuna quantità di capacità del modello lo fornisce.

Puoi fidarti del punteggio di fiducia di un modello?

Non come segnale di ranking. La fiducia verbalizzata è meglio calibrata rispetto alle probabilità dei token grezzi, ma rimane inaffidabile in termini assoluti e misura la certezza di estrazione piuttosto che l'importanza — quindi il ranking basato su di essa promuove sistematicamente dettagli ben documentati rispetto alle frasi più vaghe che contengono le affermazioni reali.

Cosa migliora effettivamente la classificazione delle relazioni con i LLM?

Richiedere al modello di dichiarare, a parole, cosa fa un contributo per il suo genitore prima di impegnarsi in un'etichetta di supporto o attacco. Il passaggio scritto costringe la relazione genitoriale a entrare in un contesto operativo, che è esattamente l'informazione che la formulazione della frase non riesce a fornire.

L'argomento del mining degli argomenti è un problema risolto ora?

L'accesso è risolto: qualsiasi organizzazione può eseguirlo sul proprio testo senza un programma di annotazione. La struttura non lo è. Decidere quale contributo risponde a quale, e in quale direzione, rimane difficile, quindi l'estrazione produce una buona bozza e una persona rivede ancora i disaccordi.

Argumentree Team

Decision Science

The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.

Una bozza che puoi correggere

L'estrazione produce la struttura; tu rivedi i disaccordi. Incolla una trascrizione e osserva la divisione del lavoro.

Che cos'è l'argomentazione mining?

La pagina di riferimento per il campo — compiti, storia e perché le relazioni sono la parte difficile.