दो विशेषज्ञ, एक पैराग्राफ, दो अलग-अलग उत्तर

दो प्रशिक्षित एनोटेटर्स को एक छात्र निबंध का एक ही पैराग्राफ दें और एक सरल प्रश्न पूछें: कौन सा वाक्य दावा है, और कौन से वाक्य इसके लिए कारण हैं? वे अक्सर असहमत होंगे। विषय के बारे में नहीं, यह नहीं कि तर्क अच्छा है या नहीं — बल्कि यह कि यह कहाँ है।

यह वह तथ्य है जिसने कंप्यूटेशनल तर्क खनन के पहले दशक को आकार दिया, और इसे कम आंकना आसान है। इसके बाद की हर चीज इस पर निर्भर करती है: आप किसी ऐसे कार्य के लिए बेंचमार्क नहीं बना सकते जिसे लोग लगातार नहीं कर सकते, और आप यह नहीं कह सकते कि एक मॉडल मानव प्रदर्शन को उस निर्णय पर हरा देता है जिसे मानव साझा नहीं करते।

अपने आप इसे उस अंतिम ईमेल थ्रेड पर आजमाएं जिसमें आपने बहस की थी। दावे को चिह्नित करना आमतौर पर आसान होता है। यह चिह्नित करना कि प्रत्येक आपत्ति किस वाक्य पर लक्षित थी, वह जगह है जहां आप संकोच करने लगेंगे — और वह संकोच इस दशक की पूरी कहानी है।

यह सिद्धांत बीस वर्षों तक क्यों अप्रयुक्त रहा

1990 के प्रारंभ तक सैद्धांतिक ढांचा पूरा हो चुका था। टौल्मिन ने क्षेत्र को इसकी संरचना दी, वॉल्टन ने तर्क के पैटर्न की सूची दी, और फ्रीमैन ने निष्कर्ष पर हमले और उस पर पहुंचने के तर्क के बीच का अंतर बताया। जैसा कि हमने इस श्रृंखला के पहले पोस्ट में कवर किया, एक तर्क को एक लेबल वाले ग्राफ के रूप में फिर से वर्णित किया गया था।

एक लेबल वाला ग्राफ ऐसा है जिस पर एक कंप्यूटर को स्कोर किया जा सकता है — सिद्धांत में। प्रैक्टिस में, आपको इसके खिलाफ स्कोर करने के लिए कुछ चाहिए। बिना एनोटेटेड डेटा के, दो शोध समूह जो अलग-अलग परिणामों का दावा करते हैं, इसे सुलझाने का कोई तरीका नहीं है, और एक ऐसा क्षेत्र जहां परिणामों की तुलना नहीं की जा सकती, वह एक क्षेत्र नहीं है। यह डेमो का एक संग्रह है।

तो वह दशक जिसने तर्क खनन को एक अनुशासन में बदल दिया, वह एल्गोरिदम का दशक नहीं था। यह एनोटेशन दिशानिर्देशों का दशक था।

तीन कॉर्पोरा जिन्होंने कार्य को परिभाषित किया

विभिन्न शोध समूहों ने विभिन्न शैलियों को एनोटेट किया, और शैली का चयन किसी ने भी प्रारंभ में जितना सोचा था, उससे अधिक महत्वपूर्ण था।

• प्रेरक निबंध (स्टैब और गुर्विच)। छात्र तर्कसंगत निबंध, जो दावों, पूर्वधारणाओं और उनके बीच समर्थन/हमला संबंधों के लिए टिप्पणी किए गए हैं। उन लोगों द्वारा संरचित लेखन जो स्पष्ट रूप से स्पष्ट रूप से तर्क करने की कोशिश कर रहे थे - यह पाठ के लिए लगभग उतना ही अनुकूल है जितना हो सकता है।
• विवादात्मक सूक्ष्मपाठ (Peldszus & Stede). छोटे नियंत्रित पाठ जो विशेष रूप से तर्क संरचना का अध्ययन करने के लिए बनाए गए हैं, प्रत्येक एक संक्षिप्त तर्क है जिसमें एक जानबूझकर आकार होता है। छोटे, साफ, और इस तरह से डिज़ाइन किए गए हैं कि संरचनात्मक प्रश्नों के उत्तर मिल सकें।
• सार्वजनिक नियम निर्माण टिप्पणियाँ (पार्क और कार्डी)। अमेरिकी नियामक परामर्शों के लिए जनता द्वारा प्रस्तुत टिप्पणियाँ। वास्तविक, संपादित नहीं, अक्सर बेतरतीब — वास्तव में संगठनों के पास जो पाठ होता है, उसके बहुत करीब।

स्वच्छ से अस्तव्यस्त की यह प्रगति ध्यान देने के लिए उपयोगी है। जैसे-जैसे आप सूची में नीचे जाते हैं, प्रदर्शन गिरता है, और यह रिश्तों पर सबसे अधिक गिरता है। निबंध मित्रवत मामले थे, और यहां तक कि वहां भी रिश्तों के आंकड़े मामूली थे।

इंटर-एनोटेटर सहमति असली सीमा है

एनोटेशन परियोजनाएँ रिपोर्ट करती हैं कि स्वतंत्र एनोटेटर्स कितनी बार सहमत होते हैं, और तर्क खनन में वह संख्या एक फुटनोट नहीं है। यह एक सीमा है।

यदि दो प्रशिक्षित मानव जो समान दिशानिर्देशों का पालन कर रहे हैं, यह केवल मध्यम रूप से सहमत होते हैं कि कौन सा पूर्वधारणा किस दावे से जुड़ी है, तो एक मॉडल जो उनमें से एक के खिलाफ स्कोर किया गया है, उसे दूसरे को हराने के रूप में अर्थपूर्ण तरीके से नहीं बताया जा सकता। माप स्वयं मॉडल से पहले अस्थिर हो जाता है।

समझौता घटकों पर संबंधों की तुलना में लगातार अधिक है - लोग ज्यादातर इस बात पर सहमत होते हैं कि कौन सा वाक्य एक दावा है, और इस बात पर भिन्नता होती है कि यह किस चीज़ का जवाब दे रहा है। यह एकल विषमता ने भविष्यवाणी की कि बेंचमार्क बाद में क्या दिखाएंगे।

निर्देश सिद्धांत हैं, जिन्हें क्रियान्वित किया गया है।

एक एनोटेशन गाइडलाइन क्लेरिकल काम की तरह लगती है। यह एक स्पेसिफिकेशन के करीब है। हर अस्पष्टता जो सिद्धांत ने खुली छोड़ी है, उसे एनोटेटर्स के शुरू करने से पहले हल करना होगा, और प्रत्येक समाधान एक वास्तविक प्रतिबद्धता है।

क्या एक रेटोरिकल प्रश्न एक दावा है? क्या निष्कर्ष में पुनःव्याख्या एक नया घटक मानी जाती है या वही पुराना? जब एक वाक्य एक साथ दो दावों का समर्थन करता है, तो क्या यह दोनों से जुड़ता है, या निकटतम से, या अधिक सामान्य से? यदि कोई किसी बिंदु को खंडन करने से पहले स्वीकार करता है, तो क्या यह स्वीकार उनके अपने स्थिति पर एक हमला है?

इनमें से किसी के भी स्पष्ट उत्तर नहीं हैं, और प्रत्येक कॉर्पस ने उन्हें थोड़ा अलग तरीके से उत्तर दिया। यही कारण है कि मॉडल कॉर्पोरा के बीच खराब तरीके से स्थानांतरित होते हैं: वे आंशिक रूप से एक शैली को सीख रहे हैं, और आंशिक रूप से उन प्रश्नों के उत्तर देने वाली एक टीम के उत्तरों को सीख रहे हैं।

लेकिन क्या आप बस अधिक डेटा को एनोटेट नहीं कर सकते?

यह स्वाभाविक प्रतिक्रिया है, और घटक पहचान के लिए यह व्यापक रूप से काम किया। अधिक एनोटेटेड स्पैन ने बेहतर स्पैन पहचान उत्पन्न की। इस क्षेत्र का वह हिस्सा लगातार और पूर्वानुमानित रूप से सुधरा।

संबंधों के लिए ऐसा नहीं हुआ, और इसका कारण संरचनात्मक है न कि मात्रा का मामला। संबंध वाक्य के बाहर के संदर्भ पर निर्भर करते हैं — जिसे लगातार एनोटेट करना महंगा है। असहमति संबंध दुर्लभ होते हैं, इसलिए कॉर्पस को बढ़ाने से असंतुलन भी बढ़ता है। और जोड़ने वाला कदम अक्सर स्पष्ट नहीं होता, इसलिए एनोटेटर कुछ ऐसा नहीं चिह्नित कर रहा है जो पाठ में दिखाई दे; वे इसके पुनर्निर्माण को चिह्नित कर रहे हैं।

अधिक डेटा सभी तीन समस्याओं को हल करने के बजाय उन्हें बढ़ा देता है। वह तर्क अगले पोस्ट का विषय है।

जिसे दशक पीछे छोड़ गया

दो चीजें, दोनों अभी भी लोड-बेयरिंग हैं।

पहला कार्य परिभाषा स्वयं है। चार-भाग का विभाजन जो हर तर्क-खनन पेपर अब शुरू करता है — घटकों को ढूंढना, उन्हें लेबल करना, उन्हें लिंक करना, लिंक को वर्गीकृत करना — ये सभी एनोटेशन परियोजनाओं का उत्पाद हैं, न कि दर्शन का। टौल्मिन ने कभी एक पाइपलाइन का प्रस्ताव नहीं रखा।

दूसरा मानक सेट है। जब एक आधुनिक प्रणाली एक संख्या रिपोर्ट करती है, तो यह आमतौर पर इस दशक में एनोटेटेड निबंधों या माइक्रोटेक्स्ट पर रिपोर्ट कर रही होती है। यह आंकड़ों की तुलना करते समय याद रखने योग्य है: दो अलग-अलग कॉर्पस पर एक ही मैट्रिक नाम एक ही माप नहीं है, और बहुत से प्रकाशित तुलना चुपचाप इसे नजरअंदाज कर देते हैं।

यह प्रयोगशाला के बाहर का क्या मतलब है

• यदि मनुष्य यह सहमत नहीं हो सकते कि विवाद कहाँ है, तो कोई उपकरण आपको निश्चितता नहीं देगा। निकाली गई संरचना को एक मसौदा मानें जिसे सुधारना है, न कि एक निर्णय जिसे स्वीकार करना है।
• शैली मात्रा से अधिक महत्वपूर्ण है। एक प्रणाली जो सुव्यवस्थित निबंधों पर ट्यून की गई है, वह एक बैठक के प्रतिलेख में व्यवधानों और अधूरे विचारों से भरे एक बहुत अलग समस्या का सामना करती है।
• लक्ष्यों के बारे में असहमति असली संकेत है। जब दो लोग सोचते हैं कि एक आपत्ति अलग-अलग चीजों पर लक्षित थी, तो वह अंतर आमतौर पर वही होता है जहाँ निर्णय वास्तव में अटका होता है।
• एक कॉर्पस के भीतर केवल बेंचमार्क नंबरों की तुलना करें। किसी अन्य डेटा सेट पर वही मेट्रिक एक अलग माप है, चाहे लेबल कितना भी समान क्यों न दिखे।

जहाँ तर्क है

एनोटेशन का दशक इस कहानी का सबसे कम ग्लैमरस हिस्सा है और यही वह हिस्सा है जिस पर बाकी सब कुछ निर्भर करता है। कोई भी मॉडल, चाहे वह कितना भी बड़ा हो, इस तथ्य से नहीं बच सकता कि इसका स्कोरबोर्ड उन लोगों द्वारा बनाया गया था जो कभी-कभी एक-दूसरे से इस बारे में असहमत होते थे कि तर्क कहाँ था।

यह एक उपयोगी चीज है जिसे अपने मीटिंग्स में ले जाना चाहिए। यदि दो प्रशिक्षित एनोटेटर्स के लिए एक लिखित दिशा-निर्देश के साथ तर्क खोजना कठिन है, तो यह तथ्य कि आपकी टीम एक निर्णय को फिर से बहस कर रही है, एक अनुशासन समस्या नहीं है। यह वही समस्या है, बिना दिशा-निर्देश के।

तर्क खनन श्रृंखला

पाँच पोस्ट इस बारे में कि मशीनों ने तर्क पढ़ना कैसे सीखा — यह क्षेत्र कहाँ से आया, इसके कठिन समस्याएँ कठिन क्यों हैं, और हम इसे कैसे लागू करते हैं।