가장 중요한 수업은 가장 적은 수업이다.

주장 채굴 시스템이 훈련되고 측정되는 말뭉치에서는 이견이 드뭅니다. 주석이 달린 관계의 압도적인 대부분은 지지 관계입니다: 이 이유는 그 주장을 뒷받침합니다. 반박 관계 — 이 반대는 그 이유를 약화시킵니다 — 는 소수에 불과하며, 일부 데이터셋에서는 레이블이 붙은 링크의 10분의 1도 되지 않습니다.

그 단일 사실은 이 분야에서 가장 고질적인 실패 모드를 만들어냅니다. 매번 지원을 예측하는 시스템은 대부분의 경우 맞으며, 그 분포에서 학습하는 어떤 모델도 동일한 편향을 흡수합니다. 그것은 수용적이 됩니다.

그것은 당신이 하나를 배포하는 이유와 정확히 반대입니다. 아무도 6개월 후에 모든 사람이 무엇에 동의했는지 궁금해하며 결정을 다시 검토하지 않습니다. 그들은 이의 제기를 원합니다 — 그리고 이의 제기는 모델이 가장 자신이 없고 예측할 가능성이 가장 낮은 클래스입니다.

왜 불균형이 다른 곳보다 여기서 더 심각한가

클래스 불균형은 일반적인 머신러닝 문제이며 일반적인 머신러닝 해결책이 있습니다 — 손실의 가중치를 조정하고, 희귀 클래스를 오버샘플링하며, 정확도 대신 매크로 평균 점수를 보고합니다. 이 모든 것은 표준 관행이며, 모두 어느 정도 도움이 됩니다.

주장 채굴을 더 어렵게 만드는 것은 불균형이 더 많은 데이터를 수집함으로써 수정할 수 있는 샘플링 인공물이 아니라는 점입니다. 이는 사람들이 글을 쓰는 방식을 반영합니다. 설득력 있는 에세이에서 저자는 주장을 구축하고 있으므로 대부분의 문장은 의도적으로 주제를 지지합니다. 말뭉치를 확장하면 불균형도 함께 확장됩니다.

이것이 바로 현장 보고서가 원시 정확도보다 매크로-F1과 클래스별 점수를 따로 제공하는 이유입니다. 공격을 전혀 예측하지 않는 모델은 원하는 용도에는 쓸모가 없으면서도 그럴듯한 전체 수치를 기록할 수 있습니다. 헤드라인 수치만 읽는 것은 실패를 완전히 숨깁니다.

톤은 단순히 도움이 되지 않는 것이 아니라, 적극적으로 오해를 불러일으킨다.

직관적인 접근법은 언어를 살펴보는 것입니다. 부정적인 단어, 완곡한 표현, 적대적인 문구 — 분명히 이것들은 공격을 신호합니다.

그들은 그렇지 않으며, 반례는 극단적인 경우가 아닙니다. 프로젝트가 위험하다는 주장을 고려해 보십시오. 문장 일정 압박이 위험을 더한다는 부정적으로 표현되어 있으며 그 주장을 지지합니다 — 이는 프로젝트가 위험한 또 다른 이유를 제공합니다. 이제 장기적인 절감이 초기 투자를 상쇄할 것이다를 고려해 보십시오. 이는 비용이 엄청나다는 주장에 붙어 있습니다. 긍정적인 단어가 전반에 걸쳐 사용되며, 이는 그 주장을 공격합니다.

무언가가 지지하는지 공격하는지는 관계의 속성이지 문장의 속성이 아닙니다. 다른 부모에 붙어 있는 동일한 문장은 그 레이블을 뒤집습니다. 이것이 바로 감정 분석이 매우 잘하는 작업이지만 잘못된 도구인 이유입니다: 감정 분석은 문장을 읽고, 그 답은 문장에 있지 않기 때문입니다.

기록되지 않은 단계에 대한 이의 제기

세 번째 이유는 가장 깊은 이유이며, 이는 툴민으로 거슬러 올라갑니다. 많은 실제 반대 의견은 사실을 전혀 논쟁하지 않습니다. 그들은 <em>추론</em> — 증거와 결론을 연결하는 명시되지 않은 원칙을 논쟁합니다.

누군가 13% 생산성 향상을 보여주는 연구를 인용하며 그 정책이 채택되어야 한다고 결론짓습니다. 반대 의견은 연구 대상 집단이 이 조직과는 전혀 다르다는 것입니다. 어떤 사실도 도전받지 않았습니다. 도전받은 것은 보증입니다: 그곳의 결과가 여기로 전이된다는 것입니다. 그 원칙은 전사 어디에도 나타나지 않는데, 왜냐하면 아무도 그렇게 말하지 않았기 때문입니다.

이 시리즈의 첫 번째 게시물에서 다룬 바와 같이, 보증 재구성은 툴민의 중심 통찰이었으며 여전히 이 분야에서 가장 해결되지 않은 문제로 남아 있습니다. 관계를 분류하도록 요청받은 시스템은 때때로 입력에 없는 명제를 재구성해야 하며, 그 다음에 반대가 그 명제, 증거 또는 결론을 겨냥하는지 결정해야 합니다.

하지만 더 큰 모델이 이 문제를 해결할 수 있지 않을까요?

이것은 합리적인 기대이며, 흥미로울 만큼 오랫동안 부분적으로 잘못되어 왔습니다.

스케일은 지식과 유창성에 도움을 주며, 실제로 주장을 추출하는 데 개선을 가져왔습니다 — 그 이야기는 이 시리즈의 다음 게시물입니다. 그러나 위의 세 가지 문제 중 어느 것도 지식 문제는 아닙니다. 불균형은 사람들이 글을 쓰는 방식의 특성입니다. 맥락 의존성은 작업 정의의 특성입니다. 누락된 보증은 텍스트의 특성입니다.

더 큰 모델이 같은 전사를 읽어도 여전히 필요한 원칙을 명시하는 문장을 찾지 못하고, 여전히 조정된 내용에 대한 동의가 대부분이며, 여전히 세 가지 그럴듯한 목표 중 어떤 것에 반대가 향했는지를 결정해야 한다. 능력은 향상되었지만, 문제의 구조는 변하지 않았다.

실제로 도움이 되는 것

• 수업을 별도로 점수 매기세요. 단일 헤드라인 숫자는 불일치를 예측하지 않는 모델이 유능해 보이게 합니다. 클래스별 F1 점수는 실패를 즉시 드러냅니다.
• 부모에 대해 물어보세요, 주제에 대해서는 절대 묻지 마세요. 올바른 레이블을 생성하는 유일한 질문은 이 기여가 바로 위의 것에 무엇을 하는가입니다.
• 판결 전에 추론을 명확히 하십시오. 지지하거나 공격하기로 결정하기 전에 관계에 대한 서면 정당화를 강요하면 오류를 드러내어 여전히 잡을 수 있을 때 이를 포착할 수 있습니다.
• 희귀 클래스에 인간을 포함시키세요. 이견은 모델이 가장 약한 부분이며 가치가 가장 높은 곳입니다 — 바로 검토의 주의를 기울여야 할 장소입니다.

유용한 수업은 드문 수업이다.

데이터에 관한 모든 것이 시스템을 합의로 이끕니다. 분포는 이를 보상하고, 표현은 이를 오도하며, 중요한 연결 단계는 종종 텍스트에서 완전히 누락됩니다.

그리고 당신이 실제로 필요했던 한 가지는 아무도 대답하지 않은 반대 의견이었습니다. 이것이 주장을 채굴하는 데 가장 어려운 문제인 이유이며, 노력할 가치가 있는 이유입니다: 드문 클래스가 유용한 클래스입니다.

주장 채굴 시리즈

기계가 주장을 읽는 방법을 배운 다섯 가지 게시물 — 이 분야의 기원, 어려운 문제들이 왜 어려운지, 그리고 우리가 이를 어떻게 적용하는지.