چگونه Argumentree یک متن را به درخت استدلال تبدیل میکند | Argumentree
آرگومنتری از استخراج استدلال برای تبدیل یک متن یا سند غیرساختاریافته به یک درخت استدلال موافق و مخالف استفاده میکند. استخراج چهار کار انجام میدهد: پیدا کردن بخشهای متنی که ادعاها یا دلایل را حمل میکنند، برچسبگذاری اینکه هر کدام چیست، مشخص کردن اینکه کدام دلیل به کدام ادعا مربوط میشود و تصمیمگیری درباره اینکه آیا هر لینک از آنچه بالای آن است حمایت میکند یا به آن حمله میکند. دو انتخاب طراحی خروجی را شکل میدهند. اول، استدلالها در دستههای تککلمهای مانند هزینه، ریسک، زمانبندی یا قانونی گروهبندی میشوند و دقیقاً یک استدلال در هر دسته به عنوان ادعای اصلی آن دسته ارتقا مییابد. دوم، ادعای اصلی توسط نمره اعتماد خود مدل انتخاب نمیشود. اعتماد میزان اطمینان از استخراج را اندازهگیری میکند، نه اینکه استدلال چقدر مرکزی است و اعتماد LLM کلامی بهخوبی کالیبره نشده است. در عوض، ادعای اصلی از چندین سیگنال بهطور همزمان انتخاب میشود که قویترین آن مرکزی بودن است — اینکه چند استدلال دیگر به آن متصل هستند — و انتزاعی بودن، زیرا یک ادعای اصلی یک موضع کلی است در حالی که شواهد پشتیبان آن خاص هستند. یک استدلال حاوی درصد، رقم ارزی یا یک مطالعه نامبرده به عنوان شواهد برای یک ادعا در نظر گرفته میشود نه خود ادعا. هر استدلال استخراجشده باید منبع را بهطور دقیق نقل کند؛ هر چیزی که نتواند در متن اصلی پیدا شود قبل از نمایش درخت حذف میشود. خروجی یک پیشنویس برای اصلاح، تغییر والد و ارزیابی افراد است، نه یک حکم.
استخراج نیمه آسان است. نیمه سخت ساختار است — تصمیمگیری درباره اینکه نکته اصلی چیست، چه چیزی فقط شواهدی برای آن است و چه چیزی در واقع علیه آن استدلال میکند.
- استدلالها در دستههای تککلمهای گروهبندی میشوند — هزینه، ریسک، زمانبندی، قانونی — و دقیقاً یکی از هر دسته به ادعای اصلی آن دسته تبدیل میشود.
- ادعای اصلی آن نیست که مدل بیشترین اطمینان را درباره آن داشت. معیارهای اطمینان، قطعیت استخراج را اندازهگیری میکنند، نه اهمیت را.
- ادعاهای اصلی کلی هستند؛ شواهد خاص هستند. یک استدلال که شامل درصد یا یک مطالعه نامبرده باشد به عنوان پشتیبانی برای یک ادعا در نظر گرفته میشود، نه خود ادعا.
- هر استدلال باید منبع را کلمه به کلمه نقل کند. هر چیزی که در متن اصلی یافت نشود قبل از اینکه آن را ببینید حذف میشود.
- نتیجه یک پیشنویس است. مردم آن را اصلاح میکنند، دوباره والدین میشوند و امتیاز میدهند — ماشین ساختار را میسازد، گروه قضاوت را حفظ میکند.
مطمئنترین پاسخ، پاسخ اشتباهی بود
یک جلسه بودجه نود دقیقهای را به یک موتور استخراج وارد کنید و از آن بپرسید کدام استدلال بیشترین اهمیت را داشت، و اغلب یک آمار به شما میدهد. چیزی شبیه به "مدل مالی کاهش 20 درصدی در هزینههای عملیاتی را پیشبینی میکند" — دقیق، با شواهد خوب، و مدل در مورد آن بسیار مطمئن است.
این همچنین پاسخ اشتباهی است. آن جمله استدلال نیست. این شواهدی برای استدلالی است که کسی چهل دقیقه قبل مطرح کرده و به طور بسیار مبهمی بیان کرده است: ما باید دو تیم را ادغام کنیم زیرا این کار هزینهها را کاهش میدهد. جمله مبهم ادعا است. جمله دقیق است که آن را پشتیبانی میکند.
این تمایز کل مشکل تبدیل یک گفتگو به یک ساختار است و ارزش دارد که در ذهن داشته باشید دفعه بعد که یادداشتهای جلسه خود را میخوانید. جملاتی که بیشتر قابل نقل به نظر میرسند معمولاً آنهایی هستند که کمترین کار استدلالی را انجام میدهند.
آنچه استخراج باید درست انجام دهد
استخراج استدلال — زمینه تحقیقاتی که جان لارنس و کریس رید در سال ۲۰۱۹ به آن پرداختهاند — معمولاً به چهار کار تقسیم میشود و هرچه پیش بروید، سختتر میشود.
- بخشهای استدلالی را پیدا کنید. بیشتر جملات در یک جلسه واقعی مربوط به لجستیک، سلام و احوالپرسی یا بازگویی هستند. تنها برخی از آنها ادعا یا دلیلی را منتقل میکنند.
- هر بخش را برچسبگذاری کنید. یک ادعا یک موضع است. یک مقدمه دلیلی برای آن است. شواهد دادههایی هستند که پشت دلیل قرار دارند. یک جمله میتواند در یک سند یک ادعا و در سند دیگر یک مقدمه باشد.
- تشخیص دهید که چه چیزی به چه چیزی پاسخ میدهد. یک دلیل به یک ادعای خاص مربوط میشود؛ یک اعتراض به یک دلیل خاص مربوط میشود. این چیزی است که یک لیست را به یک درخت تبدیل میکند.
- تصمیم بگیرید که حمایت کنید یا حمله کنید. برای هر پیوند: آیا این چیزی را که به آن متصل است تقویت میکند یا تضعیف میکند؟
دو مورد اول به طور عمده حل شدهاند. دو مورد آخر حل نشدهاند و معیارهای منتشر شده به وضوح این فاصله را نشان میدهند: در مجموعه مقالات قانعکننده که کریستین استاب و ایریا گورویچ آن را حاشیهنویسی کردهاند، شناسایی مؤلفهها به حدود ۷۳٪ F1 میرسد در حالی که شناسایی روابط نزدیک به ۴۸٪ است. در مجموعه CDCP که جونسوک پارک و کلر کاردی ساختهاند، شناسایی روابط به حدود ۳۴٪ کاهش مییابد.
بنابراین تصمیمات طراحی جالب در پیدا کردن نیستند. آنها در ساختاردهی هستند — و اینجاست که دستهبندیها وارد میشوند.
چرا استدلالها به دستهها تقسیم میشوند
یک بحث واقعی درباره یک موضوع نیست. تصمیم به ادغام دو تیم همزمان به هزینه، روحیه، ریسک قانونی و مدت زمان لازم مربوط میشود. اینها مباحث متفاوتی هستند که در یک اتاق در حال انجاماند و فشرده کردن آنها به یک لیست چیزی تولید میکند که هیچکس نمیتواند آن را بخواند.
بنابراین هر استدلال استخراجشده با یک دستهبندی تککلمهای علامتگذاری میشود — هزینه، ریسک، زمانبندی، قانونی، امنیت، دامنه. تککلمه، بهطور عمدی. به محض اینکه دستهبندیها به عبارات تبدیل شوند، همان تم به تکههای نزدیک به تکرار تقسیم میشود: تأثیر بودجه و ملاحظات هزینه و ریسک مالی یک بحث هستند که سه کلاه بر سر دارند و درخت به شاخههایی تقسیم میشود که باید یکی میبودند.
محدودیت به جای درخواست، اعمال میشود. دستهها به یک فرم استاندارد نرمالسازی میشوند و یک دسته خاصیتی از بالای یک شاخه است — هر چیزی که زیر یک ادعای اصلی قرار دارد، دسته آن ادعای اصلی را به ارث میبرد. یک استدلال هزینه فرزندی در دسته ریسک به دست نمیآورد؛ اگر فرزند واقعاً درباره ریسک باشد، باید زیر ادعای اصلی ریسک قرار گیرد.
یک استدلال اصلی برای هر دسته
در هر دسته، دقیقاً یک استدلال به عنوان ادعای اصلی ارتقا مییابد — موضع مرکزی که همه چیزهای دیگر در آن دسته از آن حمایت میکنند یا به آن حمله میکنند. همه چیزهای دیگر در دسته به طور مستقیم یا غیرمستقیم فرزند آن میشوند.
این مهمترین انتخاب در کل فرآیند است. اگر درست انجام شود، شاخه مانند یک استدلال خوانده میشود: اینجا موضع در مورد هزینه است، اینجا سه دلیل برای آن وجود دارد، اینجا اعتراض به دلیل دوم است. اگر اشتباه انجام شود، معکوس شدن از بالای این مقاله را خواهید داشت — یک آمار در بالای یک شاخه با ادعایی که قرار بود از آن حمایت کند، بهطور معلق زیر آن مانند یک جزئیات قرار دارد.
رویکرد واضح کارساز نیست
پاسخ شهودی این است که هر کدام از استدلالهایی را که مدل بیشترین اطمینان را درباره آن داشت، ترویج کنیم. این کار شکست میخورد، به دلیلی که ارزش درک کردن دارد.
اعتماد به نفس اندازهگیری میکند که چقدر استخراج انجام شده، به این نتیجه رسیده است که یک استدلال واقعی پیدا شده است. این اندازهگیری نمیکند که آن استدلال چقدر به بحث مرکزی است. یک آمار با کلمات واضح و منبع نامدار یک استخراج آسان و با اعتماد به نفس بالا است. یک جمله مبهم و محافظهکار که بهطور تصادفی پایاننامه واقعی است، یک استخراج سخت و با اعتماد به نفس پایین است. رتبهبندی بر اساس اعتماد به نفس بهطور سیستماتیک شواهد را ترفیع میدهد و ادعا را تنزل میدهد.
یک مشکل دوم زیر مشکل اول وجود دارد. کار سواراو کادوات و همکارانش در آنتروپیک نشان داد که اعتماد به نفس کلامی مدلهای زبانی بهتر از احتمالهای خام توکنها کالیبره شده است — اما ارزیابیهای بعدی به طور مکرر نشان داده است که هنوز هم در شرایط مطلق به خوبی کالیبره نشده است. این یک سیگنال قابل استفاده است. این یک رتبهبندی قابل اعتماد نیست.
چه چیزی در واقع ادعای اصلی را انتخاب میکند
به جای یک سیگنال، چندین سیگنال ترکیب میشوند — و قویترین آنها ساختاری است نه زبانی.
- مرکزی بودن. چندین استدلال دیگر به این یکی وابسته است؟ ادعایی که همه چیز به آن پاسخ میدهد تقریباً همیشه ادعای مرکزی است. این نزدیکترین چیز به یک سیگنال قابل اعتماد است، زیرا این یک ویژگی از موقعیت استدلال در مناظره است نه از wording آن.
- انتزاع. ادعاهای اصلی کلی هستند؛ شواهد خاص هستند. این یکی به طور مستقیم به تولمین مربوط میشود: در توضیح او در سال 1958، ادعا نتیجهگیری است و مبنای آن حقایق عینی زیر آن است.
- زبان استدلالی. نشانگرهای گفتمان — بنابراین، مسئله کلیدی این است، من استدلال میکنم — نشان میدهند که گوینده در حال بیان یک موضع است نه ارائه یک جزئیات.
- اختصار. ادعاهای مرکزی معمولاً کوتاه هستند. یک جمله طولانی معمولاً شامل شرایطی است که مواد پشتیبان انجام میدهند.
- موقعیت. یک سیگنال ضعیف، اما واقعی: این تزها معمولاً زود ظاهر میشوند.
انتزاع با جستجوی نشانههای خاص بودن اندازهگیری میشود. یک درصد، یک مبلغ ارزی، یک موجودیت کمی، یک عبارت ارجاعی، یک نهاد نامبرده — هر یک باعث میشود که یک استدلال کمتر احتمال داشته باشد که ادعای اصلی باشد، زیرا هر یک نشانهای از مبنا به جای نتیجه است. کار از راه دور بهرهوری را افزایش میدهد یک ادعا است. یک نظرسنجی از 500 کارگر نشان داد که 78% رضایت دارند چیزی است که شما میگویید وقتی کسی از شما میپرسد چرا.
ترکیب چندین سیگنال ضعیف بهتر از اعتماد به یک سیگنال قوی به نظر میرسد — که همان دلیلی است که یک گروه با دیدگاههای متنوع از یک فرد مطمئن بهتر عمل میکند، الگویی که در چرا تنوع بر توانایی برتری دارد بررسی شده است.
این را در آخرین جلسه خود به تنهایی امتحان کنید
آخرین تصمیمی که تیم شما گرفت را در نظر بگیرید. آیا میتوانید تنها قویترین استدلال علیه آن را نام ببرید — و آیا میتوانید بگویید که چه کسی آن را مطرح کرد؟ اگر نمیتوانید، این یک مشکل حافظه نیست. این یک مشکل ساختاری است: ثبت شما آنچه را که تصمیمگیری شده است ثبت کرده اما آنچه را که استدلال شده است ثبت نکرده، که دقیقاً شکافی است که استخراج سعی در پر کردن آن دارد.
هیچ چیزی که در منبع نیست زنده نمیماند
یک استدلال که به نظر منطقی میرسد اما هرگز واقعاً مطرح نشده بدتر از یک استدلال گمشده است — این یک ثبت نادرست از آنچه تیم شما گفته است. بنابراین هر استدلال استخراج شده شامل عین عبارت اصلی است که از آن آمده و هر استدلالی که شواهد نقل شدهاش در سند منبع قابل یافتن نباشد قبل از اینکه درخت به کسی نشان داده شود، حذف میشود.
این غیرجذاب است و بخشی است که بقیه را قابل استفاده میکند. درختی که نمیتوانید آن را به متن اصلی پیوند دهید، خلاصهای با مراحل اضافی است.
اما آیا این فقط خلاصهسازی با مراحل اضافی نیست؟
این یک اعتراض واضح است و پاسخ در این است که هر یک چه چیزی را دور میریزد.
یک خلاصه فشرده میشود. به شما به طور کلی میگوید که جلسه چه موضوعاتی را پوشش داده و اگر خوب باشد، چه تصمیمی گرفته شده است. آنچه نمیتواند حفظ کند، شکل اختلاف نظر است — اینکه این اعتراض خاص علیه آن دلیل خاص مطرح شده، اینکه به آن پاسخ داده شده و اینکه یک اعتراض دوم هرگز مطرح نشده است. خلاصهها دقیقاً بخشی را از دست میدهند که در زمان بازبینی تصمیم هشت ماه بعد مهم است و هیچکس نمیتواند به یاد بیاورد که چرا گزینه واضح رد شده است.
این تمایز همچنین استخراج استدلال را از تحلیل احساسات جدا میکند، که به جای استدلال، نگرش را اندازهگیری میکند. یک جمله میتواند به صورت منفی بیان شود در حالی که از نقطه نظری که به آن متصل است حمایت میکند — "فشار زمان به ریسک اضافه میکند" ادعایی را که پروژه پرخطر است تقویت میکند. اگر این را بر اساس لحن امتیازدهی کنید، هر بار به اشتباه به نتیجه میرسید.
خروجی یک پیشنویس است و این خود نکته است
آنچه از استخراج به دست میآید یک پیشنهاد است: اینجا آنچه را که فکر میکنیم استدلال شده است، اینجا نحوهای که فکر میکنیم با هم مرتبط است. سپس مردم آن را اصلاح میکنند — استدلالی را که به ادعای نادرست متصل شده بود دوباره والدین میکنند، یکی را که دو نکته را ادغام کرده بود تقسیم میکنند، چیزی را که امتیازدهی اشتباه کرده بود ترویج میدهند و آنچه را که قانعکننده مییابند ارزیابی میکنند.
این تقسیم عمدی است. ساختن ساختار به صورت دستی کار خستهکنندهای است که مانع از انجام آن توسط تیمها میشود. قضاوت در مورد اینکه آیا یک استدلال خوب است یا نه — اینکه آیا شواهد معتبر است، آیا فرض نانوشته قابل قبول است — خستهکننده نیست. این همان تفکر واقعی است و با گروه باقی میماند.
این به چه معناست اگر شما در حال خواندن سوابق جلسه خود هستید
- خط قابل نقل معمولاً ادعا نیست. جملات دقیق و با منبع معتبر معمولاً شواهد هستند. ادعایی که آنها از آن حمایت میکنند معمولاً مبهمتر و آسانتر برای نادیده گرفتن است.
- شمارش کنید که چه چیزی به چه چیزی متصل است. نکتهای که بقیه به آن پاسخ دادند، نکتهای بود که اهمیت داشت، صرفنظر از اینکه چه کسی آن را با اعتماد به نفس بیشتری بیان کرد.
- نام دستهها را بگویید. اگر نمیتوانید بگویید که یک تصمیم درباره کدام دو یا سه موضوع بوده است، بحث ساختار نیافته است — بلکه فقط رونویسی شده است.
- به دنبال اعتراضی باشید که هیچکس به آن پاسخ نداده است. این مفیدترین چیز در هر رکورد استدلال است و اولین چیزی است که یک خلاصه ساده آن را نابود میکند.
جمله مبهم استدلال بود
آمار هرگز موضوع اصلی نبود. این پاسخ به سوالی بود که کسی درباره ادعایی که قبلاً مطرح شده بود پرسیده بود — به طور کلی، زود و در نوع جملهای که هرگز به صورت صورتجلسه ثبت نمیشود.
ساختاردهی به یک بحث به معنای قرار دادن آن جمله در بالای شاخهای است که به آن تعلق دارد، با شواهد زیر آن و اعتراضات متصل به دلایل خاصی که آنها را مورد مناقشه قرار میدهند. این همان هدف درخت است. و به همین دلیل است که پاسخهای بسیار مطمئن اغلب نادرست هستند.
سری استخراج استدلال
این پست به بررسی نحوه استفاده ما از استخراج استدلال میپردازد. بقیه سریال به منشاء این حوزه و اینکه چرا مسائل دشوار آن دشوار هستند، میپردازد.
چگونه یک کتاب فلسفی از سال 1958 که منطقدانان آن را رد کردند، به مشخصات یک وظیفه یادگیری ماشین تبدیل شد.
دههای از مجموعههای متنی با حاشیهنویسی دستی که استخراج استدلال را از یک ایده به یک وظیفه قابل اندازهگیری تبدیل کرد.
اختلاف در دادهها نادر است و به زمینهای بستگی دارد که جمله شامل آن نمیشود.
مدلهای بدون نمونهبرداری گلوگاههای متنی را حذف کردند و مشکلات ساختاری را دقیقاً در جایی که بودند باقی گذاشتند.
منابع و مطالعه بیشتر
بررسی استاندارد از این حوزه — تعریف وظایف، روشها و مسائل باز.
مجموعهی حاشیهنویسیشدهای که استخراج استدلال را به یک وظیفه قابل اندازهگیری تبدیل کرد و منبع ارقام F1 مؤلفه/رابطهای که در اینجا ذکر شده است.
مدل ادعا/مبنای/ضمانت — منبع اصلی که ادعاها عمومی و مبناها خاص هستند.
مجموعه داده CDCP که نمرات شناسایی رابطه در آن حدود 34% F1 است — در انتهای سختتر دامنه منتشر شده.
در مورد اعتماد به مدلهای کلامی — بهتر از احتمالهای خام، اما هنوز سیگنال رتبهبندی قابل اعتمادی نیست.
سوالات متداول
چگونه Argumentree یک متن را به یک درخت استدلال تبدیل میکند؟
این به استخراج استدلال مربوط میشود: پیدا کردن بخشهای متنی که شامل ادعاها یا دلایل هستند، برچسبگذاری اینکه هر کدام چیست، مشخص کردن اینکه کدام دلیل به کدام ادعا مربوط میشود و تصمیمگیری درباره اینکه آیا هر لینک از نقطه بالایی حمایت میکند یا به آن حمله میکند. نتیجه یک درخت موافق و مخالف است که مردم سپس آن را بررسی و اصلاح میکنند.
دستهبندیهای استدلال چیست و چرا کلمات تکی؟
دستهبندیها یک بحث را به مباحث جداگانهاش تقسیم میکنند — هزینه، ریسک، زمانبندی، قانونی. آنها به کلمات تکواژهای محدود شدهاند زیرا دستهبندیهای طولانیتر باعث تکهتکه شدن میشوند: تأثیر بودجه، ملاحظات هزینه و ریسک مالی یک بحث هستند که سه نقش را به عهده دارند و درخت به شاخههایی تقسیم میشود که باید یکی میبودند.
یک استدلال اصلی در هر دسته به چه معناست؟
در هر دسته، دقیقاً یک استدلال به عنوان ادعای مرکزی ارتقا مییابد و همه چیزهای دیگر در آن دسته به آن متصل میشوند. این چیزی است که یک شاخه را به عنوان یک استدلال قابل خواندن میسازد — یک موضع، دلایل آن و اعتراضات به آن دلایل — نه یک لیست مسطح از جملات مرتبط.
چرا استدلال اصلی فقط نمیتواند آن استدلالی باشد که بالاترین اعتماد را دارد؟
زیرا اعتماد به نفس میزان اطمینان از استخراج را اندازهگیری میکند، نه اینکه چقدر استدلال مرکزی است. یک آمار با کلمات واضح یک استخراج آسان و با اعتماد به نفس بالا است؛ در حالی که جمله مبهمی که پایاننامه واقعی است، استخراج دشواری است. رتبهبندی بر اساس اعتماد به نفس به طور سیستماتیک شواهد را ترفیع میدهد و ادعاها را تنزل میدهد.
این چگونه با خلاصهسازی جلسه متفاوت است؟
یک خلاصه فشرده میکند و به شما میگوید چه چیزی پوشش داده شده است. این نمیتواند شکل اختلاف را حفظ کند — اینکه این اعتراض علیه آن دلیل مطرح شده، اینکه به آن پاسخ داده شده و اینکه دیگری پاسخ داده نشده است. خلاصهها دقیقاً بخشی را از دست میدهند که در زمان بازبینی یک تصمیم بعداً مهم است.
چه چیزی مانع از این میشود که هوش مصنوعی استدلالهایی را اختراع کند که هیچکس مطرح نکرده است؟
هر استدلال استخراج شده شامل عبارات دقیقی است که از آن آمده است و هر استدلالی که شواهد نقل شدهاش در سند منبع قابل یافتن نباشد قبل از نمایش درخت حذف میشود. استدلالی که به نظر منطقی میرسد اما هرگز مطرح نشده بدتر از یک استدلال گمشده است.
آیا میتوانم آنچه که استخراج تولید کرده است را تغییر دهم؟
بله — این روند مورد نظر است. خروجی یک پیشنویس است. افراد استدلالهای متصل به ادعای نادرست را دوباره والدینگذاری میکنند، نقاط ادغامشده را تقسیم میکنند، چیزی را که امتیازدهی اشتباه کرده است ترفیع میدهند و آنچه را که قانعکننده مییابند ارزیابی میکنند. ماشین ساختار را میسازد؛ گروه قضاوت را حفظ میکند.
Argumentree Team
Decision Science
The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.
آن را در کارنامه خود ببینید
یک متن جلسه را بچسبانید و یک درخت مزایا و معایب ساختار یافته دریافت کنید که میتوانید آن را اصلاح، ارزیابی و توسعه دهید.
جلسه بعدی خود را به یک درخت استدلال تبدیل کنید
استدلال را ساختاردهی کنید، نه فقط سوابق را — تا اعتراضی که هیچکس به آن پاسخ نداد، هنوز هم در شش ماه آینده قابل مشاهده باشد.
شروع رایگان