La classe che conta di più è quella di cui ce n'è di meno.

Nei corpora su cui i sistemi di estrazione di argomenti vengono addestrati e misurati, il disaccordo è raro. La stragrande maggioranza delle relazioni annotate è di supporto: questa ragione sostiene quella affermazione. Le relazioni di attacco — questa obiezione mina quella ragione — sono una piccola minoranza, in alcuni dataset sotto un decimo dei collegamenti etichettati.

Quel singolo fatto produce il modo di guasto più ostinato del campo. Un sistema che semplicemente prevede supporto ogni volta ha ragione la maggior parte delle volte, e qualsiasi modello che apprende da quella distribuzione assorbe lo stesso bias. Diventa accettabile.

Che è esattamente l'opposto del motivo per cui si dovrebbe implementare uno. Nessuno rivede una decisione sei mesi dopo chiedendosi su cosa tutti erano d'accordo. Vogliono l'obiezione — e l'obiezione è la classe su cui il modello ha meno fiducia e che è meno probabile che preveda.

Perché l'impatto dell'imbalance è peggiore qui che altrove

L'imbalance di classe è un problema ordinario di machine learning con rimedi ordinari di machine learning: ribilanciare la perdita, sovracampionare la classe rara, riportare punteggi medi macro piuttosto che l'accuratezza. Tutto ciò è prassi standard e tutto ciò aiuta in qualche modo.

Ciò che rende più difficile l'argomentazione è che l'imbalance non è un artefatto di campionamento che puoi correggere raccogliendo più dati. Riflette il modo in cui le persone scrivono. In un saggio persuasivo, l'autore sta costruendo un caso, quindi la maggior parte delle frasi supporta la tesi per design. Scalare il corpus scala anche l'imbalance.

Ecco perché i rapporti di campo macro-F1 e i punteggi separati per classe sono preferibili rispetto alla semplice accuratezza. Un modello che non prevede mai un attacco può mostrare un numero complessivo che sembra rispettabile, ma risulta inutile per lo scopo per cui lo volevi. Leggere solo il numero principale nasconde completamente il fallimento.

Il tono non è solo poco utile — è attivamente fuorviante

L'approccio intuitivo è guardare al linguaggio. Parole negative, attenuazioni, frasi avversarie — sicuramente questi segnalano un attacco.

Non lo fanno, e i controesempi non sono casi limite. Considera un'affermazione secondo cui un progetto è rischioso. La frase la pressione temporale aumenta il rischio è formulata negativamente e sostiene tale affermazione — fornisce un altro motivo per cui il progetto è rischioso. Ora considera i risparmi a lungo termine compensano l'investimento iniziale, allegata a un'affermazione secondo cui i costi sono proibitivi. Parole positive in tutto, e attacca l'affermazione.

Se qualcosa supporta o attacca è una proprietà della relazione, non della frase. La stessa frase attaccata a un genitore diverso cambia etichetta. Ecco perché l'analisi del sentiment, che è molto brava in ciò che fa, è lo strumento sbagliato: legge la frase, e la risposta non è nella frase.

L'Obiezione a un Passo Che Non È Mai Stato Scritto

Il terzo motivo è il più profondo e risale a Toulmin. Molte obiezioni reali non contestano affatto i fatti. Contestano l'<em>inferenza</em> — il principio non dichiarato che collega le prove alla conclusione.

Qualcuno cita uno studio che mostra un miglioramento della produttività del 13% e conclude che la politica dovrebbe essere adottata. L'obiezione è che la popolazione dello studio non assomigliava affatto a questa organizzazione. Nessun fatto è stato contestato. Ciò che è stato contestato è la giustificazione: che un risultato lì si trasferisca qui. Quel principio non appare da nessuna parte nel verbale, perché nessuno lo ha mai detto.

Come il primo post di questa serie ha trattato, la ricostruzione del warrant è stata l'intuizione centrale di Toulmin e rimane il problema meno risolto nel campo. Un sistema chiamato a classificare una relazione deve a volte ricostruire una proposizione che non è nel suo input e poi decidere se l'obiezione si rivolge a quella proposizione, all'evidenza o alla conclusione.

Ma sicuramente un modello più grande risolve questo?

Questa è l'aspettativa ragionevole, ed è stata parzialmente errata per un tempo sufficiente da essere interessante.

Scale aiuta con la conoscenza e la fluidità, e ha davvero migliorato l'argomentazione — quella storia è il prossimo post di questa serie. Ma nessuno dei tre problemi sopra è un problema di conoscenza. L'imbalance è una proprietà di come le persone scrivono. La dipendenza dal contesto è una proprietà della definizione del compito. La garanzia mancante è una proprietà del testo.

Un modello più grande che legge lo stesso trascritto non trova ancora alcuna frase che enunci il principio di cui ha bisogno, continua a vedere principalmente accordo in qualunque cosa sia stato sintonizzato e deve ancora decidere a quale dei tre obiettivi plausibili fosse rivolta un'obiezione. La capacità è aumentata; la struttura del problema non è cambiata.

Cosa Aiuta Davvero

• Valuta le classi separatamente. Un singolo numero principale consente a un modello che non prevede mai disaccordo di sembrare competente. L'F1 per classe rende il fallimento visibile immediatamente.
• Chiedi del genitore, mai dell'argomento. L'unica domanda che produce un'etichetta corretta è cosa fa questo contributo alla cosa direttamente sopra di esso.
• Rendi esplicito il ragionamento prima del verdetto. Forzare una giustificazione scritta della relazione prima di impegnarsi a sostenere o attaccare mette in evidenza l'errore mentre può ancora essere colto.
• Tieni un umano coinvolto per la classe rara. Il disaccordo è dove i modelli sono più deboli e dove il valore è più alto — proprio il luogo dove dedicare attenzione alla revisione.

La classe utile è quella rara

Tutto riguardo ai dati spinge un sistema verso l'accordo. La distribuzione lo premia, la formulazione lo inganna verso di esso, e il passo cruciale di collegamento è frequentemente assente dal testo completamente.

E l'unica cosa di cui avevi realmente bisogno era l'obiezione a cui nessuno ha risposto. Ecco perché questo è il problema più difficile nell'argomentazione, e perché vale la pena fare uno sforzo: la classe rara è la classe utile.

La serie di estrazione degli argomenti

Cinque post su come le macchine hanno imparato a leggere argomenti — da dove proviene il campo, perché i suoi problemi difficili sono difficili e come lo applichiamo.