그 분야를 정의했던 제약이 단순히 적용되지 않게 되었다.

20년 동안 우리 데이터에 대해 주장을 추출할 수 있을까?라는 질문에 대한 대답은 또 다른 질문이었습니다: 당신의 문서 중 몇 천 개를 먼저 수작업으로 주석을 달도록 할 의향이 있으며, 누가 가이드라인을 작성할 것인가?

그것은 기술적인 세부사항이 아니었습니다. 그것은 주장이 채굴이 연구실에 머물렀던 이유였고, 감정 분석이 모든 제품에 배포된 이유였습니다. 주석 요구 사항은 각 새로운 도메인을 구성 설정이 아닌 프로젝트로 만들었고, 이 시리즈의 두 번째 게시물에서 설명했듯이, 가이드라인 자체가 전문가들 사이에서도 논란이 있었습니다.

그때 범용 언어 모델이 등장하면서 그 질문은 더 이상 제기되지 않았습니다. 이제는 아무도 주석을 달지 않은 분야의 회의록에 모델을 적용하여 유용한 초안을 얻을 수 있습니다. 이 기능이 갑자기 제품에 등장한 이유가 궁금했다면, 그것이 그 이유입니다.

제로샷이 전체 이야기다

변경된 구체적인 사항은 도메인 특정 감독의 제거입니다. 프롬프트된 모델은 언어에 대한 일반적인 능력을 가지고 있으며, 추론 시 프롬프트에서 주장과 전제가 무엇인지 지시받을 수 있습니다.

관계 기반 주장을 채굴에 대한 발표된 연구는 여러 데이터셋에서 미세 조정된 인코더 기준선과 경쟁할 수 있는 몇 가지 샷 프롬프트를 가진 범용 모델을 발견했습니다. 경우에 따라 이들보다 앞서는 경우도 있습니다. 주로 주석이 달린 말뭉치에 대한 감독 학습을 기반으로 구축된 평가 장치가 있는 분야에서, 이는 진정한 단절입니다.

세 가지 실질적인 결과가 따른다. 도메인 적응은 재훈련이 아니라 프롬프트 전환이 된다. 긴 문서가 처리 가능해지는데, 이는 컨텍스트 윈도우가 커졌기 때문이다. 그리고 증거 필드는 설명을 담을 수 있는데, 이는 모델이 같은 호출에서 스스로를 정당화하도록 요청할 수 있기 때문이다 — 이는 생각보다 더 중요하다.

움직이지 않은 세 가지 문제

이전 게시물의 모든 내용이 여전히 적용되며, 규모가 그것을 해결하지 못하는 이유에 대해 정확하게 설명하는 것이 중요합니다.

• 클래스 불균형은 훈련의 속성이 아니라 글쓰기의 속성입니다. 사례를 만드는 사람들은 주로 지지하는 문장을 씁니다. 전체 인터넷을 읽은 모델은 주로 동의하는 내용도 읽었습니다.
• 맥락 의존성은 작업의 속성입니다. 지원과 공격은 관계이며, 문장 속성이 아닙니다. 다른 부모 아래의 동일한 문장은 다른 레이블을 가지며, 어떤 양의 세계 지식도 그것을 변경하지 않습니다.
• 명시되지 않은 보증은 텍스트의 속성입니다. 증거와 결론을 연결하는 원칙이 결코 기록되지 않았다면, 그것은 입력에 없습니다. 더 큰 모델은 동일한 부재 문장을 읽습니다.

네 번째, 더 미묘한 것이 있습니다. 유창한 모델은 유창한 출력을 생성하므로 그 오류는 잘 표현되고 내부적으로 일관성이 있습니다. 인코더에서 잘못된 관계 레이블은 잡음처럼 보였습니다. 언어 모델에서 잘못된 관계 레이블은 주장의 형태로 보입니다.

도움: 먼저 왜라고 말하게 하기

이 모델들로 가능한 가장 신뢰할 수 있는 개선은 거의 부끄러울 정도로 간단합니다. 레이블 전에 이유를 요청하세요.

기여가 부모에게 무엇을 하는지를 모델이 작성하도록 요구하는 것은 위의 반대 의견을 강화합니다. 이는 그 반대 의견이 유지되는 또 다른 이유를 제공하기 때문입니다. 지원 또는 공격 판결에 대한 결정을 내리기 전에 이 과정을 거치는 것은 판결을 측정 가능하게 개선합니다. 작성된 단계는 부모 관계를 모델의 작업 맥락으로 강제하며, 이는 문장의 표현이 제공하지 못하는 정확한 정보입니다.

이것은 철저히 인간적인 기법의 기계 버전입니다. 이것이 스틸맨닝이 효과적인 이유입니다: 주장을 판단하기 전에 그것이 실제로 무엇을 하고 있는지를 명확히 하는 것은 판단을 변화시킵니다.

그렇다면 논증 채굴은 해결된 건가요?

아니요, 남아 있는 것의 형태는 이제 그 어느 때보다 더 명확해졌습니다.

실질적으로 해결된 것은 접근성입니다. 오늘날 어떤 조직이든 자신의 텍스트에 대해 주장을 추출하는 작업을 주석 프로그램 없이 수행할 수 있으며, 이는 몇 년 전에는 상상할 수 없었던 일입니다. 이는 실제로 크고 중요한 변화입니다.

해결되지 않은 것은 구조입니다: 어떤 기여가 어떤 것에 응답하며, 어떤 방향으로 나아가는지, 연결 원칙이 명시되지 않고 데이터가 모든 사람 — 인간과 기계 — 에게 합의를 기대하도록 훈련되었을 때. 솔직한 입장은 이제 추출이 어떤 분야에서든 좋은 초안을 생성하며, 여전히 사람이 이견을 확인해야 한다는 것입니다. 이는 아무도 구조를 전혀 구축하지 않은 경우보다 훨씬 더 나은 노동 분담입니다.

이것을 잘 사용하는 방법

• 신뢰도로 순위를 매기지 마세요. 이는 중요성이 아니라 추출 확실성을 측정하며, 체계적으로 주장을 넘어 증거를 우선시합니다.
• 관계에 대해 물어보세요, 감정에 대해선 아닙니다. 유용한 질문은 이것이 부모에게 어떤 영향을 미치는가입니다 — 주제에 대한 감정은 결코 중요하지 않습니다.
• 라벨을 주기 전에 정당화하세요. 작성된 이유는 부모 관계를 맥락에 맞게 설정하며, 오류를 발견하는 곳입니다.
• 검토 시간을 이견에 할애하세요. 그곳이 모델이 가장 약한 부분이며 결정 가치가 집중되는 곳입니다.

더 나은 초안, 판결이 아니다

실험실에서 주장을 채굴하는 것을 가로막던 병목 현상이 사라졌고, 다시 돌아오지 않을 것입니다. 이것은 분명히 인식할 가치가 있습니다: 연구 기법과 자신의 회의에 적용할 수 있는 것의 차이입니다.

하지만 1958년에 어려웠던 문제들은 지금도 어렵습니다. 영장은 여전히 작성되지 않았고, 의견 불일치는 여전히 드물며, 라벨은 여전히 문구보다는 부모에게 의존합니다. 변화한 것은 누가 그 문제를 가지게 되는가입니다. 이는 주석 작성자를 20년 동안 기다려온 분야에 있어 충분한 변화입니다.

주장 채굴 시리즈

기계가 주장을 읽는 방법을 배운 다섯 가지 게시물 — 이 분야의 기원, 어려운 문제들이 왜 어려운지, 그리고 우리가 이를 어떻게 적용하는지.