Dạy máy đọc lập luận: Thập kỷ của các tập hợp chú thích | Argumentree
Khai thác lập luận đã tồn tại như một lý thuyết trong nhiều thập kỷ trước khi trở thành một nhiệm vụ tính toán có thể đo lường. Điều thay đổi nó là việc chú thích: mọi người ngồi xuống với hàng ngàn tài liệu và đánh dấu, bằng tay, những đoạn nào là tuyên bố, đoạn nào là tiền đề, và đoạn nào hỗ trợ hoặc tấn công đoạn nào. Christian Stab và Iryna Gurevych đã chú thích các bài luận thuyết phục theo cách này, tạo ra tập dữ liệu thường được gọi là AAEC. Andreas Peldszus và Manfred Stede đã xây dựng một tập dữ liệu các vi văn bản lập luận ngắn nhằm nghiên cứu cấu trúc lập luận. Joonsuk Park và Claire Cardie đã chú thích các bình luận công khai được gửi đến quy trình lập pháp của Mỹ, một thể loại lộn xộn hơn nhiều. Khó khăn không chỉ nằm ở nỗ lực gán nhãn — mà là ở chỗ các người chú thích không đồng ý về việc một lập luận là gì, và một nhiệm vụ mà con người không thể đồng ý không thể được đánh giá một cách đáng tin cậy. Do đó, sự đồng thuận giữa các người chú thích trở thành người gác cổng của toàn bộ lĩnh vực: nó xác định trần thực tế về hiệu suất của máy móc, vì một mô hình không thể được đo lường là nhất quán hơn so với việc chú thích mà nó được đánh giá. Các tập dữ liệu cũng tiết lộ sự bất đối xứng vĩnh viễn của lĩnh vực này — việc xác định các thành phần lập luận đã chứng tỏ khả thi, trong khi việc xác định các mối quan hệ giữa chúng thì không.
Bạn không thể dạy một cỗ máy tìm kiếm lập luận cho đến khi con người có thể đồng ý về việc lập luận là gì. Điều đó hóa ra là phần khó khăn, và nó đã định hình mọi thứ mà lĩnh vực này đo lường sau đó.
- Khai thác lập luận chỉ trở thành một lĩnh vực thực sự khi mọi người chú thích thủ công hàng nghìn tài liệu — các tuyên bố, giả thuyết và các liên kết giữa chúng.
- Các nhà chú thích không đồng ý, đặc biệt là về các mối quan hệ. Sự đồng thuận giữa các nhà chú thích trở thành người gác cổng, vì nó giới hạn mức độ mà bất kỳ mô hình nào có thể được đánh giá.
- Ba tập hợp dữ liệu đã định hình thập kỷ: bài luận thuyết phục, văn bản lập luận ngắn, và bình luận về quy định công — từ sạch đến bừa bộn.
- Mỗi tập hợp dữ liệu đều là một thể loại. Một mô hình được đào tạo trên các bài luận của sinh viên không thể chuyển giao sang một biên bản cuộc họp, và trong một thời gian dài, không ai có một tập hợp dữ liệu biên bản cuộc họp.
- Các tập hợp đã phơi bày sự bất đối xứng vĩnh viễn: việc tìm các thành phần là khả thi, nhưng việc tìm các mối quan hệ thì không.
Hai chuyên gia, một đoạn văn, hai câu trả lời khác nhau
Hãy đưa cho hai người chú thích đã được đào tạo cùng một đoạn văn trong bài luận của sinh viên và đặt một câu hỏi đơn giản: câu nào là tuyên bố, và câu nào là lý do cho nó? Họ thường sẽ không đồng ý. Không phải về chủ đề, không phải về việc lập luận có tốt hay không — mà là về vị trí của nó.
Đây là sự thật đã hình thành thập kỷ đầu tiên của khai thác lập luận tính toán, và thật dễ để đánh giá thấp. Mọi thứ phía dưới đều phụ thuộc vào nó: bạn không thể xây dựng một tiêu chuẩn cho một nhiệm vụ mà con người không thể thực hiện một cách nhất quán, và bạn không thể tuyên bố một mô hình vượt trội hơn hiệu suất của con người trong một phán đoán mà con người không chia sẻ.
Hãy thử làm điều đó trên chuỗi email cuối cùng mà bạn đã tranh luận. Việc đánh dấu yêu cầu thường là dễ dàng. Việc đánh dấu câu nào mà mỗi phản đối nhắm đến là nơi bạn sẽ bắt đầu do dự — và sự do dự đó là toàn bộ câu chuyện của thập kỷ này.
Tại sao lý thuyết này không được sử dụng trong hai mươi năm?
Đến đầu những năm 1990, bộ khung lý thuyết đã hoàn chỉnh. Toulmin đã cung cấp cho lĩnh vực này cấu trúc của nó, Walton đã đưa ra danh mục các mẫu lý luận, Freeman đã phân biệt giữa việc tấn công một kết luận và tấn công suy luận dẫn đến nó. Như chúng tôi đã đề cập trong bài viết đầu tiên trong loạt bài này, một lập luận đã được mô tả lại như một đồ thị có nhãn.
Một đồ thị có nhãn là thứ mà một máy tính có thể được chấm điểm — về nguyên tắc. Trong thực tế, bạn cần một cái gì đó để so sánh với nó. Nếu không có dữ liệu được chú thích, hai nhóm nghiên cứu tuyên bố kết quả khác nhau sẽ không có cách nào để giải quyết vấn đề, và một lĩnh vực mà kết quả không thể so sánh được thì không phải là một lĩnh vực. Nó chỉ là một tập hợp các bản trình diễn.
Vậy thập kỷ đã biến khai thác lập luận thành một ngành học không phải là thập kỷ của các thuật toán. Đó là một thập kỷ của các hướng dẫn chú thích.
Ba tập hợp dữ liệu đã định nghĩa nhiệm vụ
Các nhóm nghiên cứu khác nhau đã chú thích các thể loại khác nhau, và sự lựa chọn thể loại quan trọng hơn những gì mọi người ban đầu mong đợi.
- Bài luận thuyết phục (Stab & Gurevych). Các bài luận tranh luận của sinh viên, được chú thích cho các tuyên bố, giả định và mối quan hệ hỗ trợ/công kích giữa chúng. Viết có cấu trúc bởi những người rõ ràng đang cố gắng lập luận một cách rõ ràng — gần như là văn bản tốt nhất có thể.
- Văn bản vi mô lập luận (Peldszus & Stede). Các văn bản ngắn được kiểm soát xây dựng đặc biệt để nghiên cứu cấu trúc lập luận, mỗi văn bản là một lập luận ngắn gọn với hình dạng có chủ đích. Nhỏ gọn, rõ ràng và được thiết kế để các câu hỏi cấu trúc có câu trả lời.
- Bình luận về quy định công khai (Park & Cardie). Bình luận được công chúng gửi đến các cuộc tham vấn quy định của Mỹ. Thực tế, chưa chỉnh sửa, thường lan man — gần gũi hơn với văn bản mà các tổ chức thực sự có.
Sự tiến triển từ sạch sẽ đến bừa bộn là điều hữu ích để nhận ra. Hiệu suất giảm khi bạn di chuyển xuống danh sách, và nó giảm nhiều nhất ở các mối quan hệ. Các bài tiểu luận là trường hợp thân thiện, và ngay cả ở đó, số liệu về mối quan hệ cũng khiêm tốn.
Sự Thỏa Thuận Giữa Các Người Ghi Chú Là Trần Thực Sự
Các dự án chú thích báo cáo tần suất mà các chú thích viên độc lập đồng ý, và trong khai thác lập luận, con số đó không phải là một chú thích. Nó là giới hạn tối đa.
Nếu hai con người được đào tạo theo cùng một hướng dẫn chỉ đồng ý một cách vừa phải về việc giả thuyết nào gắn liền với tuyên bố nào, thì một mô hình được chấm điểm dựa trên một trong số họ không thể được mô tả một cách có ý nghĩa là vượt trội hơn người kia. Chính việc đo lường trở nên không ổn định trước khi mô hình trở nên như vậy.
Sự đồng thuận thường cao hơn về các thành phần so với các mối quan hệ — mọi người chủ yếu đồng ý về câu nào là một tuyên bố, và khác biệt về việc nó đang phản hồi điều gì. Sự bất đối xứng đơn lẻ đó đã dự đoán mọi thứ mà các tiêu chuẩn sau này sẽ cho thấy.
Chạy bài kiểm tra chú thích trên đội của bạn.
Lấy một chuỗi email về quyết định và yêu cầu hai đồng nghiệp, riêng biệt, đánh dấu sự phản đối mạnh mẽ nhất và cho biết lý do cụ thể mà nó nhắm đến. Nếu họ chọn các mục tiêu khác nhau, sự bất đồng của bạn chưa bao giờ liên quan đến sự thật — và không có công cụ tóm tắt nào sẽ làm nổi bật điều đó, vì các tóm tắt ghi lại những gì đã được nói chứ không phải những gì nó nhắm đến.
Các Hướng dẫn là lý thuyết, được đưa vào thực tiễn.
Một hướng dẫn chú thích nghe có vẻ như công việc văn thư. Nó gần giống như một đặc tả. Mọi sự mơ hồ mà lý thuyết để lại đều phải được giải quyết trước khi người chú thích có thể bắt đầu, và mỗi sự giải quyết là một cam kết thực sự.
Câu hỏi tu từ có phải là một tuyên bố không? Việc diễn đạt lại trong kết luận có được coi là một thành phần mới hay vẫn là thành phần cũ? Khi một câu hỗ trợ hai tuyên bố cùng một lúc, nó gắn với cả hai, hay với cái gần hơn, hay với cái tổng quát hơn? Nếu ai đó nhượng bộ một điểm trước khi phản biện, thì sự nhượng bộ đó có phải là một cuộc tấn công vào vị trí của chính họ không?
Không có câu trả lời rõ ràng cho những điều này, và mỗi tập hợp dữ liệu đã trả lời chúng một cách hơi khác nhau. Đó là lý do tại sao các mô hình chuyển giao kém giữa các tập hợp dữ liệu: chúng một phần học một thể loại, và một phần học câu trả lời của một nhóm cho những câu hỏi đó.
Nhưng bạn không thể chỉ chú thích thêm dữ liệu sao?
Đó là phản ứng tự nhiên, và đối với việc phát hiện thành phần, nó hoạt động khá hiệu quả. Nhiều khoảng được chú thích hơn đã tạo ra việc phát hiện khoảng tốt hơn. Phần đó của lĩnh vực đã cải thiện một cách ổn định và có thể dự đoán được.
Đối với các mối quan hệ, điều này không xảy ra, và lý do là do cấu trúc chứ không phải do khối lượng. Các mối quan hệ phụ thuộc vào ngữ cảnh bên ngoài câu — điều này tốn kém để chú thích một cách nhất quán. Các mối quan hệ bất đồng là hiếm, vì vậy việc mở rộng tập hợp dữ liệu cũng làm tăng sự mất cân bằng đi kèm. Và bước kết nối thường không được nêu rõ, vì vậy người chú thích không đánh dấu điều gì có thể nhìn thấy trong văn bản; họ đang đánh dấu sự tái cấu trúc của nó.
Dữ liệu nhiều hơn làm tăng cả ba vấn đề thay vì giải quyết chúng. Lập luận đó là chủ đề của bài viết tiếp theo.
Những gì thập kỷ để lại
Hai thứ, cả hai đều vẫn chịu lực.
Đầu tiên là định nghĩa nhiệm vụ chính nó. Sự phân chia bốn phần mà mọi bài báo khai thác lập luận hiện nay đều bắt đầu với — tìm các thành phần, gán nhãn cho chúng, liên kết chúng, phân loại các liên kết — là sản phẩm của những dự án chú thích này, chứ không phải của triết học. Toulmin chưa bao giờ đề xuất một quy trình.
Thứ hai là bộ chuẩn được thiết lập. Khi một hệ thống hiện đại báo cáo một con số, nó thường báo cáo trên các bài luận hoặc văn bản ngắn được chú thích trong thập kỷ này. Điều đó đáng nhớ khi so sánh các số liệu giữa các tài liệu: cùng một tên chỉ số trên hai tập dữ liệu khác nhau không phải là cùng một phép đo, và rất nhiều so sánh đã được công bố lặng lẽ bỏ qua điều đó.
Điều này có ý nghĩa gì bên ngoài phòng thí nghiệm
- Nếu con người không thể đồng ý về nơi tranh luận, không công cụ nào sẽ mang lại cho bạn sự chắc chắn. Hãy coi cấu trúc đã trích xuất như một bản nháp để chỉnh sửa, chứ không phải là một phán quyết để chấp nhận.
- Thể loại quan trọng hơn khối lượng. Một hệ thống được điều chỉnh cho các bài luận gọn gàng gặp phải một vấn đề rất khác trong một biên bản cuộc họp đầy những sự gián đoạn và những suy nghĩ chưa hoàn thành.
- Sự bất đồng về mục tiêu là tín hiệu thực sự. Khi hai người nghĩ rằng một sự phản đối nhắm vào những điều khác nhau, khoảng cách đó thường là nơi mà quyết định thực sự bị kẹt.
- So sánh các số liệu chuẩn chỉ trong một tập hợp. Cùng một chỉ số trên một tập dữ liệu khác là một phép đo khác, bất kể nhãn trông giống nhau đến mức nào.
Nơi cuộc tranh luận diễn ra
Thập kỷ ghi chú là phần kém hấp dẫn nhất của câu chuyện này và là phần mà mọi thứ khác dựa vào. Không có mô hình nào, dù lớn đến đâu, thoát khỏi thực tế rằng bảng điểm của nó được xây dựng bởi những người đôi khi không đồng ý với nhau về vị trí của một lập luận.
Điều này là một điều hữu ích để mang vào các cuộc họp của riêng bạn. Nếu việc tìm kiếm lập luận là khó khăn đối với hai người chú thích đã được đào tạo với một hướng dẫn bằng văn bản, thì việc nhóm của bạn liên tục tái thảo luận một quyết định không phải là vấn đề kỷ luật. Đó là cùng một vấn đề, nhưng không có hướng dẫn.
Chuỗi khai thác lập luận
Năm bài viết về cách mà máy móc học để đọc lập luận — lĩnh vực này bắt nguồn từ đâu, tại sao những vấn đề khó của nó lại khó, và chúng ta áp dụng nó như thế nào.
Cách một cuốn sách triết học năm 1958 bị các nhà logic học từ chối đã trở thành đặc tả cho một nhiệm vụ học máy.
Sự bất đồng là hiếm trong dữ liệu và phụ thuộc vào ngữ cảnh mà câu không chứa.
Mô hình zero-shot đã loại bỏ nút thắt của tập hợp dữ liệu và để lại các vấn đề cấu trúc đúng vị trí của chúng.
Áp dụng nó: các loại lập luận, một tuyên bố chính cho mỗi loại, và tại sao sự tự tin là tín hiệu xếp hạng sai.
Nguồn & Tài liệu tham khảo thêm
Dự án chú thích bài luận thuyết phục và các hướng dẫn của nó — tập hợp tài liệu đã làm cho nhiệm vụ trở nên có thể đo lường.
Việc phân tích đầy đủ của cùng một tập hợp, với các kết quả thành phần và quan hệ thường được trích dẫn từ đó.
Hiện thực hóa mô hình Freeman cho việc khai thác lập luận tự động — cầu nối từ lý thuyết đến sơ đồ chú thích.
Tập hợp ý kiến về quy định công khai của CDCP — thực tế, lộn xộn và khó hơn nhiều so với các bài luận.
Cuộc khảo sát đã tổng hợp thập kỷ — định nghĩa nhiệm vụ, tập hợp dữ liệu và thực hành đánh giá.
Câu hỏi thường gặp
Corpus khai thác lập luận là gì?
Một bộ sưu tập tài liệu trong đó mọi người đã đánh dấu bằng tay cấu trúc lập luận: những phần nào là tuyên bố, những phần nào là giả thuyết, và giả thuyết nào hỗ trợ hoặc tấn công tuyên bố nào. Đây là điều cho phép các hệ thống cạnh tranh được so sánh trên cùng một dữ liệu, điều này biến một ý tưởng thành một lĩnh vực nghiên cứu.
AAEC corpus là gì?
Corpus Bài Luận Chứng Minh Được Chú Thích, được xây dựng bởi Christian Stab và Iryna Gurevych từ các bài luận thuyết phục của sinh viên. Nó chú thích các thành phần lập luận và mối quan hệ giữa chúng, và vẫn là một trong những tiêu chuẩn chuẩn mực cho việc khai thác lập luận.
Tại sao sự đồng thuận giữa các người chú thích lại quan trọng đến vậy?
Bởi vì nó đặt ra giới hạn cho việc đo lường. Nếu hai con người được đào tạo theo cùng một hướng dẫn không đồng ý về việc giả thuyết nào gắn liền với tuyên bố nào, một mô hình được chấm điểm dựa trên một trong số họ không thể được chứng minh có ý nghĩa là vượt trội hơn so với người kia. Việc đánh giá trở nên không ổn định trước khi mô hình trở nên như vậy.
Tại sao các mô hình được đào tạo trên một tập dữ liệu lại hoạt động kém hơn trên tập dữ liệu khác?
Bởi vì mỗi tập hợp văn bản là một thể loại cộng với một bộ quyết định hướng dẫn. Bài luận của sinh viên được cấu trúc và có chủ đích; các bình luận công khai thì lan man. Một mô hình học được phần nào thể loại và phần nào học được câu trả lời của một nhóm chú thích cho các trường hợp mơ hồ, và không có sự chuyển giao nào diễn ra một cách rõ ràng.
Bạn có thể chú thích thêm dữ liệu để sửa chữa việc phát hiện mối quan hệ không?
Nó đã giúp phát hiện thành phần một cách đáng kể và phát hiện quan hệ ít hơn nhiều. Các quan hệ phụ thuộc vào ngữ cảnh ngoài câu, các quan hệ không đồng ý là hiếm, vì vậy việc mở rộng tập dữ liệu cũng làm tăng sự mất cân bằng, và bước kết nối thường không được nêu rõ — vì vậy người chú thích đang đánh dấu một sự tái cấu trúc thay vì một cái gì đó có thể nhìn thấy.
Những tập hợp dữ liệu nào được sử dụng làm tiêu chuẩn ngày nay?
Các bài luận thuyết phục và các văn bản lập luận vi mô vẫn là phổ biến nhất, với các tập hợp bình luận công khai được sử dụng cho việc đánh giá khó khăn và phức tạp hơn. Bởi vì mỗi loại sử dụng các quyết định chú thích khác nhau, cùng một tên chỉ số giữa hai tập hợp không phải là cùng một phép đo — một nguồn thường xuyên gây ra sự so sánh sai lệch.
Argumentree Team
Decision Science
The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.
Bỏ qua bước chú thích
Dán một bản sao và nhận một cây ưu nhược điểm có cấu trúc mà bạn có thể chỉnh sửa — bản nháp là tự động, nhưng quyết định vẫn thuộc về bạn.
Trang tham khảo cho lĩnh vực — nhiệm vụ, lịch sử và lý do tại sao các mối quan hệ lại là phần khó khăn.
Quá trình phát triển của toàn bộ lĩnh vực, từ một cuốn sách triết học bị từ chối năm 1958 đến ngày nay.
Những gì các tập dữ liệu tiết lộ về sự bất đồng, và tại sao nhiều dữ liệu hơn không giải quyết được vấn đề này.
Biến một cuộc thảo luận thành một cây lập luận
Lập luận có cấu trúc từ các bản sao của bạn — không cần hướng dẫn chú thích.
Bắt đầu miễn phí