A restrição que definiu o campo simplesmente deixou de se aplicar.

Por vinte anos, a resposta para podemos realizar mineração de argumentos em nossos dados? foi outra pergunta: quantos milhares de seus documentos você está disposto a ter anotados manualmente primeiro, e quem escreverá as diretrizes?

Isso não foi um detalhe técnico. Foi a razão pela qual a mineração de argumentos permaneceu em laboratórios de pesquisa enquanto a análise de sentimentos foi incorporada em todos os produtos. A exigência de anotação fez com que cada novo domínio se tornasse um projeto em vez de uma configuração, e como o segundo post desta série descreveu, as diretrizes em si foram contestadas até mesmo entre especialistas.

Então, os modelos de linguagem de propósito geral chegaram e a pergunta deixou de ser feita. Agora você pode apontar um para a transcrição de uma reunião em um domínio que ninguém nunca anotou e obter uma primeira versão utilizável. Se você já se perguntou por que essa capacidade apareceu nos produtos de repente em vez de gradualmente, essa é a razão.

Zero-Shot é toda a história

A coisa específica que mudou é a remoção da supervisão específica de domínio. Um modelo solicitado traz uma competência geral com a linguagem e pode ser informado sobre o que é uma afirmação e o que é uma premissa, no prompt, no momento da inferência.

Trabalhos publicados sobre mineração de argumentos baseada em relações encontraram modelos de propósito geral com prompting de poucos exemplos competitivos em relação a bases de referência de codificadores ajustados em múltiplos conjuntos de dados — e em alguns casos, à frente deles. Para um campo cujo todo aparato de avaliação foi construído com treinamento supervisionado contra corpora anotados, isso representa uma verdadeira descontinuidade.

Três consequências práticas seguem. A adaptação de domínio torna-se troca de prompt em vez de re-treinamento. Documentos longos tornam-se tratáveis, porque as janelas de contexto cresceram. E o campo de evidência pode carregar uma explicação, porque o modelo pode ser solicitado a se justificar na mesma chamada — o que acaba sendo mais importante do que parece.

Os Três Problemas Que Não Se Moveram

Tudo no post anterior ainda se aplica, e vale a pena ser preciso sobre o porquê a escala não aborda nada disso.

• O desequilíbrio de classes é uma propriedade da escrita, não do treinamento. As pessoas que constroem um argumento geralmente escrevem frases de apoio. Um modelo que leu toda a internet leu principalmente concordância também.
• A dependência de contexto é uma propriedade da tarefa. Apoio e ataque são relações, não atributos de sentença. A mesma sentença sob um pai diferente tem um rótulo diferente, e nenhuma quantidade de conhecimento do mundo muda isso.
• A garantia não declarada é uma propriedade do texto. Se o princípio que liga a evidência à conclusão nunca foi escrito, ele não está na entrada. Um modelo maior lê a mesma frase ausente.

Há um quarto, mais sutil. Um modelo fluente produz uma saída fluente, então seus erros chegam bem formulados e internamente consistentes. Um rótulo de relação errado de um codificador parecia ruído. Um rótulo de relação errado de um modelo de linguagem parece um argumento.

O Que Faz Ajuda: Fazendo Dizer Por Que Primeiro

A melhoria mais confiável disponível com esses modelos é quase embaraçosamente simples. Peça o raciocínio antes do rótulo.

Exigir que um modelo escreva o que uma contribuição faz para seu pai — isso reforça a objeção acima, porque fornece outra razão pela qual a objeção se sustenta — antes de se comprometer com um veredicto de apoio ou ataque melhora mensuravelmente o veredicto. A etapa escrita força a relação parental a entrar no contexto de trabalho do modelo, que é exatamente a informação que a redação da frase não consegue fornecer.

Esta é a versão da máquina de uma técnica completamente humana. É por isso que steelmanning funciona: articular o que um argumento está realmente fazendo, antes de julgá-lo, muda o julgamento.

Então, a Mineração de Argumentos está resolvida?

Não, e a forma do que resta agora está mais clara do que nunca.

O que está resolvido, falando praticamente, é o acesso. Qualquer organização pode realizar mineração de argumentos sobre seu próprio texto hoje sem um programa de anotação, o que era impensável há alguns anos. Essa é uma mudança real e significativa.

O que não está resolvido é a estrutura: qual contribuição responde a qual, e em qual direção, quando o princípio de conexão não é declarado e os dados treinaram todos — humanos e máquinas — a esperar concordância. A posição honesta é que a extração agora produz um bom rascunho em qualquer domínio, e que uma pessoa ainda precisa verificar as discordâncias. O que é uma divisão de trabalho consideravelmente melhor do que aquela em que ninguém construiu a estrutura.

Como Usar Este Poço

• Não classifique por confiança. Isso mede a certeza da extração, não a importância, e promove sistematicamente evidências em vez de alegações.
• Peça pela relação, não pelo sentimento. A pergunta útil é o que isso faz ao seu pai — nunca como ele se sente sobre o assunto.
• Faça com que justifique o rótulo antes de entregá-lo. O raciocínio escrito é o que coloca a relação parental em contexto, e é onde você encontra erros.
• Gaste seu tempo de revisão nas discordâncias. É onde os modelos são mais fracos e onde o valor da decisão está concentrado.

Um Rascunho Melhor, Não um Veredicto

O gargalo que mantinha a mineração de argumentos no laboratório desapareceu, e não voltará. Isso merece ser visto com clareza: é a diferença entre uma técnica de pesquisa e algo que você pode aplicar em suas próprias reuniões.

Mas os problemas que eram difíceis em 1958 ainda são difíceis agora. O mandado ainda não está escrito, o desacordo ainda é raro, e o rótulo ainda depende do pai em vez da formulação. O que mudou é quem tem o problema — o que, para um campo que passou vinte anos esperando por anotadores, é mudança suficiente.

A série de mineração de argumentos

Cinco postagens sobre como as máquinas aprenderam a ler argumentos — de onde veio o campo, por que seus problemas difíceis são difíceis e como o aplicamos.