خبيران، فقرة واحدة، إجابتان مختلفتان

أعطِ اثنين من المعلقين المدربين نفس فقرة من مقال طالب واطلب منهم سؤالاً بسيطاً: أي جملة هي الادعاء، وأي الجمل هي الأسباب لذلك؟ غالباً ما سيختلفون. ليس حول الموضوع، وليس حول ما إذا كانت الحجة جيدة أم لا — بل حول مكانها.

هذه هي الحقيقة التي شكلت العقد الأول من تعدين الحجج الحاسوبية، ومن السهل التقليل من شأنها. كل شيء يعتمد عليها: لا يمكنك بناء معيار لمهمة لا يمكن للناس أداؤها بشكل متسق، ولا يمكنك الادعاء بأن نموذجًا يتفوق على أداء البشر في حكم لا يتشاركه البشر.

جرب ذلك بنفسك في آخر سلسلة رسائل إلكترونية كنت تجادل فيها. عادةً ما يكون تحديد الادعاء سهلاً. لكن تحديد الجملة التي كان كل اعتراض موجهًا إليها هو المكان الذي ستبدأ فيه بالت hesitating — وهذه الت hesitating هي القصة الكاملة لهذه العقد.

لماذا ظلت النظرية غير مستخدمة لمدة عشرين عامًا

بحلول أوائل التسعينيات، كان الجهاز النظري مكتملًا. قدم تولمين للحقبة تشريحها، ووولتون قدم فهرس أنماط الاستدلال، وفريمان قدم التمييز بين مهاجمة الاستنتاج ومهاجمة الاستنتاج إليه. كما تناولنا في المنشور الأول في هذه السلسلة، تم إعادة وصف الحجة كرسوم بيانية معنونة.

الرسم البياني المسمى هو شيء يمكن تقييمه بواسطة الكمبيوتر - من حيث المبدأ. في الممارسة العملية، تحتاج إلى شيء لتقييمه ضده. بدون بيانات مشروحة، لا تستطيع مجموعتان بحثيتان تدعيان نتائج مختلفة تسوية الأمر، وحقبة لا يمكن فيها مقارنة النتائج ليست حقبة. إنها مجموعة من العروض التوضيحية.

لذا فإن العقد الذي حول استخراج الحجج إلى تخصص لم يكن عقدًا من الخوارزميات. بل كان عقدًا من إرشادات التوضيح.

المجموعات الثلاث التي عرّفت المهمة

قامت مجموعات بحثية مختلفة بتعليق أنواع أدبية مختلفة، وكان لاختيار النوع أهمية أكبر مما توقعه أي شخص في البداية.

• المقالات الإقناعية (ستاب وغوريفيتش). مقالات طلابية جدلية، مشروحة من حيث الادعاءات، والمقدمات، وعلاقات الدعم/الهجوم بينها. كتابة منظمة من قبل أشخاص كانوا يحاولون بوضوح تقديم حججهم — بقدر ما يمكن أن تكون النصوص مواتية.
• نصوص جدلية صغيرة (بيلدسز وستييد). نصوص قصيرة محكومة تم بناؤها خصيصًا لدراسة هيكل الحجة، كل واحدة منها حجة مضغوطة بشكل متعمد. صغيرة، نظيفة، ومصممة بحيث تكون للأسئلة الهيكلية إجابات.
• تعليقات الجمهور على القواعد التنظيمية (بارك وكاردي). تعليقات مقدمة من الجمهور إلى الاستشارات التنظيمية الأمريكية. حقيقية، غير محررة، وغالبًا ما تكون متشعبة — أقرب بكثير إلى النص الذي تمتلكه المنظمات فعليًا.

إن التقدم من النظيف إلى الفوضوي هو الشيء المفيد الذي يجب ملاحظته. تنخفض الأداء كلما انتقلت لأسفل القائمة، وتنخفض بشكل أكبر في العلاقات. كانت المقالات هي الحالة الودية، وحتى هناك كانت أرقام العلاقات متواضعة.

اتفاقية المعلقين هي السقف الحقيقي

تقرير مشاريع التعليق يوضح مدى توافق المعلقين المستقلين، وفي استخراج الحجج، فإن هذا الرقم ليس هامشًا. إنه السقف.

إذا اتفق شخصان مدربان يتبعان نفس الإرشادات بشكل معتدل فقط حول أي فرضية تتعلق بأي ادعاء، فلا يمكن وصف نموذج تم تقييمه ضد أحدهما بشكل ذي معنى بأنه يتفوق على الآخر. تصبح القياسات نفسها غير مستقرة قبل أن يصبح النموذج كذلك.

الاتفاق يكون دائمًا أعلى على المكونات منه على العلاقات - يتفق الناس في الغالب على أي جملة هي ادعاء، ويختلفون حول ما تستجيب له. تلك اللامساواة الوحيدة توقعت كل ما ستظهره المعايير لاحقًا.

الإرشادات هي النظرية، تم تفعيلها

تبدو إرشادات التعليق كعمل إداري. إنها أقرب إلى المواصفات. يجب حل كل غموض تركته النظرية قبل أن يتمكن المعلقون من البدء، وكل حل هو التزام حقيقي.

هل السؤال البلاغي هو ادعاء؟ هل يُعتبر إعادة صياغة في الخاتمة مكونًا جديدًا أم نفس المكون؟ عندما تدعم جملة ادعاءين في آن واحد، هل ترتبط بكليهما، أم بالأقرب، أم بالأكثر عمومية؟ إذا اعترف شخص ما بنقطة قبل دحضها، هل يُعتبر الاعتراف هجومًا على موقفه الخاص؟

لا توجد إجابات واضحة لأي من هذه، وقد أجابت كل مجموعة نصوص عليها بشكل مختلف قليلاً. لهذا السبب تنتقل النماذج بشكل سيء بين المجموعات النصية: لأنها تتعلم جزئيًا نوعًا أدبيًا، وجزئيًا تتعلم إجابات فريق واحد على تلك الأسئلة.

لكن ألا يمكنك فقط إضافة تعليقات على المزيد من البيانات؟

إنها الاستجابة الطبيعية، وبالنسبة لاكتشاف المكونات فقد عملت بشكل عام. إنتاج مزيد من النطاقات المعلّمة أدى إلى تحسين اكتشاف النطاقات. لقد تحسنت تلك الجزء من المجال بشكل مستمر وقابل للتنبؤ.

بالنسبة للعلاقات، لم يحدث ذلك، والسبب هيكلية بدلاً من كونه مسألة حجم. تعتمد العلاقات على السياق خارج الجملة — وهو ما يكلف الكثير لتوثيقه بشكل متسق. علاقات الاختلاف نادرة، لذا فإن توسيع مجموعة البيانات يزيد من عدم التوازن معها. والخطوة الربط غالبًا ما تكون غير مذكورة، لذا فإن المعلق لا يحدد شيئًا مرئيًا في النص؛ بل يقوم بتحديد إعادة بنائه له.

تزيد المزيد من البيانات من تعقيد المشكلات الثلاث بدلاً من حلها. هذه الحجة هي موضوع المقالة التالية.

ماذا تركت العقدة وراءها

شيئان، كلاهما لا يزال يحمل الوزن.

الأول هو تعريف المهمة نفسها. التقسيم المكون من أربعة أجزاء الذي تفتتح به كل ورقة بحثية في استخراج الحجج الآن — العثور على المكونات، تصنيفها، ربطها، تصنيف الروابط — هو نتاج هذه المشاريع التوضيحية، وليس من الفلسفة. لم يقترح تولمين أبداً خط أنابيب.

الثاني هو مجموعة المعايير المحددة. عندما يبلغ نظام حديث عن رقم، فإنه عادة ما يكون قد أبلغ عنه في مقالات أو نصوص صغيرة تم التعليق عليها في هذا العقد. من المهم تذكر ذلك عند مقارنة الأرقام عبر الأوراق: نفس اسم المقياس على مجموعتين مختلفتين ليس نفس القياس، والعديد من المقارنات المنشورة تتجاهل ذلك بهدوء.

ما يعنيه هذا خارج المختبر

• إذا لم يتمكن البشر من الاتفاق على مكان الجدال، فلن يمنحك أي أداة اليقين. اعتبر الهيكل المستخرج مسودة للتصحيح، وليس حكماً يجب قبوله.
• النوع أهم من الحجم. نظام مُعد على مقالات مرتبة يواجه مشكلة مختلفة تمامًا في نص اجتماع مليء بالانقطاعات والأفكار غير المكتملة.
• الخلاف حول الأهداف هو الإشارة الحقيقية. عندما يعتقد شخصان أن الاعتراض كان موجهًا لأشياء مختلفة، فإن تلك الفجوة هي عادةً المكان الذي تتعثر فيه القرار فعليًا.
• قارن أرقام المعايير فقط ضمن مجموعة بيانات. نفس المقياس على مجموعة بيانات مختلفة هو قياس مختلف، مهما كانت تشابه التسمية.

أين الحجة موجودة

عقد التوضيح هو أقل جزء لامع في هذه القصة وهو الجزء الذي يعتمد عليه كل شيء آخر. لا يوجد نموذج، مهما كان كبيرًا، ينجو من حقيقة أن لوح النتائج الخاص به تم بناؤه بواسطة أشخاص كانوا أحيانًا يختلفون مع بعضهم البعض حول مكان وجود الحجة.

وهو شيء مفيد أن تحمله إلى اجتماعاتك الخاصة. إذا كان من الصعب العثور على الحجة لم annotators مدربين اثنين مع إرشادات مكتوبة، فإن حقيقة أن فريقك يستمر في إعادة النظر في قرار ما ليست مشكلة انضباط. إنها نفس المشكلة، بدون الإرشادات.

سلسلة استخراج الحجج

خمسة منشورات حول كيفية تعلم الآلات لقراءة الحجج — من أين جاء هذا المجال، ولماذا تعتبر مشكلاته الصعبة صعبة، وكيف نطبق ذلك.