Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

دانشمندی که می‌خواست جمعیت را احمق نشان دهد

بهترین بخش از مشهورترین آزمایش در هوش جمعی این است که به گونه‌ای طراحی شده بود — حداقل در روح — تا خلاف آنچه را که پیدا کرد، ثابت کند.

تا سال ۱۹۰۶، فرانسیس گالتون یکی از موفق‌ترین دانشمندان در بریتانیا بود. او پسرعموئی از چارلز داروین بود، مفاهیم آماری همبستگی و رگرسیون به میانگین را پیشگام کرد، نقشه آب و هوا را اختراع کرد و شناسایی اثر انگشت را بر پایه علمی قرار داد. او همچنین — و این برای داستان مهم است — به قضاوت مردم عادی به شدت شک داشت. گالتون معتقد بود که هوش در یک الیت وراثتی کوچک متمرکز است؛ او اصطلاح “ژن‌پروری” را ابداع کرد و دهه‌ها به ترویج آن پرداخت، میراثی که امروز به حق محکوم شده و از نحوه برخورد او با این سوال جدایی ناپذیر است. وقتی او ابزارهای آماری خود را بر روی یک جمعیت متمرکز کرد، انتظار داشت که ناتوانی آن را مستند کند.

بنابراین وقتی گالتون ۸۴ ساله در پاییز ۱۹۰۶ از نمایشگاه دام و طیور غرب انگلستان در پلایموث عبور کرد و با یک مسابقه وزن‌سنجی مواجه شد، یک مجموعه داده غیرقابل مقاومت را دید. اینجا یک جمعیت بود — برخی متخصص، بیشتر نه — که صدها قضاوت عددی مستقل درباره یک موضوع واقعی انجام می‌دادند، با یک هزینه ورودی کوچک برای حفظ صداقت و یک جایزه برای حفظ انگیزه. همانطور که او بعداً در Nature نوشت، متوسط رقابت‌کننده احتمالاً به اندازه یک رای‌دهنده متوسط برای قضاوت درباره شایستگی‌های بیشتر مسائل سیاسی که در آن رای می‌دهد، مناسب بود. تشبیه به دموکراسی کل نکته بود. گالتون انتظار داشت که vox populi — صدای مردم — خود را شرمنده کند.

یک نمایشگاه محلی، یک گاو چاق و ۷۸۷ بلیط شش پنس

مکانیسم مسابقه ساده بود و — همانطور که اکنون می‌دانیم — به طور تصادفی نزدیک به طراحی آزمایشی ایده‌آل بود. یک گاو زنده در معرض نمایش بود. برای شش پنس، هر کسی می‌توانست یک کارت مهر شده و شماره‌دار بخرد، نام و آدرس خود را روی آن بنویسد و تخمین خود از وزن گاو پس از ذبح و آماده‌سازی — عدد تجاری معنادار و سوالی سخت‌تر از وزن زنده حیوان — را ثبت کند. دقیق‌ترین تخمین‌ها جوایزی را به دست آوردند.

سه ویژگی از این تنظیم شایسته توجه است، زیرا هر یک به یک شرط که تحقیقات بعدی نشان می‌دهد برای دقت جمعی ضروری است، مربوط می‌شود. اول، هزینه شش پنس، شوخی‌های عملی خالص را فیلتر کرد — مردم در بازی سرمایه‌گذاری داشتند. دوم، هر کارت به صورت خصوصی پر شد: هیچ نمایش دستی، هیچ حراج‌کننده‌ای که یک توافق در حال اجرا را اعلام کند، هیچ پیشتاز قابل مشاهده‌ای برای کپی کردن وجود نداشت. قضاوت‌ها مستقل بودند. سوم، جمعیت واقعاً مختلط بود: قصاب‌ها و کشاورزان با تخصص حرفه‌ای در کنار کارمندان و خانواده‌هایی که، به گفته گالتون، تحت تأثیر خیال لحظه بودند، ایستاده بودند. قضاوت‌ها متنوع بودند.

پس از مسابقه، گالتون کارت‌ها را قرض گرفت. از حدود ۸۰۰، سیزده کارت غیرقابل خواندن یا معیوب بودند، که ۷۸۷ تخمین معتبر باقی ماند. او آنها را مرتب کرد، جدول‌بندی کرد، توزیع آنها را ترسیم کرد و کمیت‌های آنها را محاسبه کرد — یک کار آماری کامل، که در Nature در ۷ مارس ۱۹۰۷ تحت عنوان “Vox Populi” (گالتون، ف، Nature، ۷۵، ۴۵۰–۴۵۱) منتشر شد.

نتیجه‌ای که او را شگفت‌زده کرد

حد وسط تخمین — آنچه اکنون به آن حد وسط می‌گوییم — ۱۲۰۷ پوند بود. گاو، ذبح و آماده‌سازی شده، ۱۱۹۸ پوند وزن داشت. رأی جمعی جمعیت نه پوند خطا داشت: خطایی در حدود ۰.۸%، نزدیک‌تر از تخمین‌های کارشناسان دام در محل.

گالتون — به اعتبار واقعی‌اش به عنوان یک دانشمند — نتیجه را به طور مستقیم گزارش کرد. “این نتیجه، به نظر من، بیشتر به اعتبار قضاوت دموکراتیک نسبت به آنچه ممکن بود انتظار رود، اعتبار می‌بخشد” نوشت. از مردی که تمام عمرش را صرف استدلال کرده بود که قضاوت صحیح یک هدیه وراثتی نادر است، این جمله یک تسلیم علمی آرام است: داده‌ها پیشی گرفته بودند.

داستان در مکاتباتی که بعداً انجام شد بهتر شد. خوانندگان Nature نوشتند و در پاسخ او (“جعبه رأی”، Nature، ۷۵، ۵۰۹) گالتون اذعان کرد که میانگین حسابی تمام ۷۸۷ تخمین ۱۱۹۷ پوند بود — یک پوند خطا از وزن واقعی. یک قرن بعد، اقتصاددان کنت والیس (“بازنگری در مسابقه پیش‌بینی فرانسیس گالتون”، ۲۰۱۴) به داده‌های اصلی و تبادل‌های اطراف آن بازگشت و اصول داستانی را که جیمز سورویکی مشهور کرده بود، تأیید کرد. خطای یک پوند در میانگین معمولاً امروز نقل می‌شود؛ خطای نه پوند در حد وسط آن چیزی است که گالتون واقعاً با آن شروع کرد. هر دو شگفت‌انگیز هستند.

حد وسط یا میانگین؟ انتخاب آماری گالتون هنوز هم مهم است

چرا گالتون حد وسط را ترجیح داد؟ استدلال او به وضوح سیاسی بود: حد وسط ارزشی است که اکثریت جمعیت در رأی‌گیری تأیید می‌کنند. هر ارزش دیگری توسط کسانی که آن را بیش از حد بالا یا پایین می‌دانستند، رد می‌شود. به عبارت دیگر، حد وسط رأی دموکراتیک جمعیت است — که دقیقاً سوالی بود که او برای آزمایش آن تعیین کرده بود.

اما یک استدلال آماری درون استدلال سیاسی پنهان است و هنوز هم امروز تدریس می‌شود. حد وسط یک آمار مقاوم است: چند تخمین غیرمنطقی — کسی که برای خنده ۱۰,۰۰۰ پوند می‌نویسد — به سختی آن را جابجا می‌کند، در حالی که میانگین می‌تواند به طور دلخواهی توسط یک نقطه دورافتاده کشیده شود. از طرف دیگر، میانگین از اطلاعات بیشتری در داده‌ها استفاده می‌کند و، زمانی که خطاها به طور تقریبی متقارن و مستقل هستند، آنها را به طور مؤثرتری خنثی می‌کند. جمعیت گالتون به اندازه کافی خوب رفتار کرد که هر دو کار کرد: حد وسط ۹ پوند خطا داشت، میانگین ۱ پوند. در جمعیت‌های نامنظم‌تر — نظرسنجی‌های آنلاین، فروم‌های بدون نظارت — استحکام حد وسط غالباً پیروز می‌شود. انتخاب مکانیزم تجمیع شما یک تصمیم درباره میزان اعتمادی است که به دمی‌های جمعیت خود دارید.

چرا میانگین‌گیری کار می‌کند: حساب خطای خنثی‌سازی

در نتیجه گالتون هیچ راز و رمزی وجود ندارد. هر تخمین را می‌توان به عنوان ارزش واقعی به علاوه یک خطا در نظر گرفت. اگر خطاها مستقل و در دو طرف حقیقت پراکنده باشند — برخی قصاب‌ها بیش از حد تخمین می‌زنند، برخی کمتر — آنگاه جمع کردن تخمین‌ها به طور قابل توجهی بسیاری از خطاها را خنثی می‌کند در حالی که سیگنال مشترک جمع می‌شود. هر چه خطاها متنوع‌تر و مستقل‌تر باشند، بیشتر خنثی می‌شوند.

اسکات پیج بعداً شهود را به عنوان نظریه پیش‌بینی تنوع (پیج، تفاوت، ۲۰۰۷) فرموله کرد: برای خطای مربعی، خطای جمعی برابر با میانگین خطای فردی منهای تنوع پیش‌بینی‌ها است. این یک هویت ریاضی است، نه یک ادعای تجربی — که آن را بسیار مفید می‌کند. یک جمعیت به اندازه‌ای که اعضای آن با یکدیگر اختلاف نظر دارند، از میانگین خود پیشی می‌گیرد. تنوع یک مزیت نیست؛ به طور ریاضی، کل مزیت است. یک جمعیت از کلون‌ها از تجمیع هیچ سودی نمی‌برد.

همین منطق بیش از یک قرن قبل از گالتون برای سوالات بله/خیر به جای مقادیر کشف شده بود. مارکیز کاندورسه در سال ۱۷۸۵ ثابت کرد که اگر هر رأی‌دهنده حتی کمی بیشتر از شانس درست باشد و رأی‌دهندگان به طور مستقل قضاوت کنند، احتمال اینکه اکثریت درست باشد با رشد گروه به سمت قطعیت می‌رود. ما آن داستان را — و راه‌های دراماتیک شکست نظریه زمانی که فرضیات آن شکسته می‌شود — در قطعه همراه خود درباره نظریه هیئت منصفه کاندورسه روایت می‌کنیم.

از پاورقی به چارچوب: چهار شرط سورویکی

برای بیشتر قرن بیستم، گاو گالتون یک کنجکاوی آماری بود. این در سال ۲۰۰۴ تغییر کرد، زمانی که جیمز سورویکی حکمت جمعیت را با داستان پلایموث آغاز کرد و یک قرن شواهد — از بازارهای سهام تا موتورهای جستجو — را جمع‌آوری کرد که جمعیت‌ها می‌توانند به طور سیستماتیک هوشمند باشند. به طور حیاتی، سورویکی ادعا نکرد که جمعیت‌ها همیشه عاقل هستند. او چهار شرطی را شناسایی کرد که نمایشگاه گالتون به طور تصادفی برآورده کرد و هر جمعیت عاقل به طور عمدی به آنها نیاز دارد:

هر یک از شرایط را حذف کنید و جمعیت نه تنها لبه خود را از دست می‌دهد — بلکه می‌تواند به طور فعال بدتر از اعضای خود شود، زیرا تجمیع سپس یک تعصب مشترک را تقویت می‌کند به جای اینکه خطاهای مستقل را خنثی کند. برای علم کامل چهار شرط و حالت‌های شکست آنها، به راهنمای ما درباره حکمت جمعیت مراجعه کنید.

جزئیات: آنچه نمایشگاه درست انجام داد که جلسات اشتباه می‌کنند

اینجا سوال ناخوشایند برای هر کسی که جلسات را برگزار می‌کند وجود دارد: چند تصمیم گروهی در سازمان شما به گونه‌ای ساختار یافته‌اند که شبیه نمایشگاه گالتون باشد — و چندتا به طور دقیق برعکس؟

در نمایشگاه، هر قضاوت به صورت خصوصی، به صورت مکتوب، قبل از اینکه کسی عدد دیگری را ببیند، ثبت شد. در یک جلسه معمولی، بالاترین مقام یا مطمئن‌ترین فرد ابتدا صحبت می‌کند و هر «تخمین» بعدی به آن متکی است. آنچه به نظر می‌رسد که سی نفر توافق کرده‌اند، اغلب یک تخمین یک نفر با بیست و نه پژواک است. اقتصاددانان این مکانیزم را cascade اطلاعاتی می‌نامند: هنگامی که چند نظر اولیه قابل مشاهده می‌شود، برای هر فرد بعدی به طور فردی منطقی می‌شود که اطلاعات خود را نادیده بگیرد و کپی کند — و استقلال جمعیت، شرط باربر کل پدیده، به آرامی فرو می‌ریزد (بیکچاندانی، هیرشلیفیر و ولچ، ۱۹۹۲). ما مکانیک‌ها را در راهنمای خود درباره cascade اطلاعاتی پوشش می‌دهیم.

این همچنین دلیل این است که تکرارهای آزمایش گالتون گاهی ناامیدکننده است: بازی تخمین گاو را با یک میانگین در حال اجرا قابل مشاهده اجرا کنید، یا بگذارید شرکت‌کنندگان تخمین‌های خود را فریاد بزنند، و دقت کاهش می‌یابد. جادو هرگز در جمعیت نبود — بلکه در پروتکل بود. شش پنس، یک کارت خصوصی و یک جعبه رأی قفل شده به نظر می‌رسد که معماری تصمیم بهتری نسبت به اکثر اتاق‌های کنفرانس است.

نسل‌های مدرن گاو

اصل تجمیع که گالتون مستند کرد اکنون در دامنه‌ای شگفت‌انگیز از سیستم‌های مدرن جریان دارد:

هر نسل چیزی متفاوت را تجمیع می‌کند — بازارها باورها را به قیمت‌ها تجمیع می‌کنند، مجموعه‌ها خروجی‌های مدل را به پیش‌بینی‌ها تجمیع می‌کنند، سیستم‌های رأی‌گیری ترجیحات را به نتایج تجمیع می‌کنند — و هر یک وابستگی یکسانی را به ارث می‌برد: تجمیع تنها به اندازه استقلال و تنوع آنچه که آن را تغذیه می‌کند خوب است. این شباهت خانوادگی خط سیر کل سنت تحقیقاتی است، از نظریه ۱۷۸۵ کاندورسه تا تحقیقات هوش جمعی مرکز هوش جمعی MIT امروز — یک قوس ۲۴۰ ساله که ما در هوش جمعی: ۲۴۰ سال تحقیق دنبال می‌کنیم.

آنچه گاو گالتون برای تیم شما معنی دارد

ترجمه عملی آزمایش ۱۹۰۶ یک چک‌لیست کوتاه است و در یک نقطه خاص در زندگی یک تصمیم اعمال می‌شود — لحظه‌ای که شما قضاوت‌ها را جمع‌آوری و ترکیب می‌کنید، قبل از اینکه گروه شروع به بحث کند:

• ابتدا برآوردها را به طور مستقل و مکتوب جمع‌آوری کنید. قبل از جلسه، قبل از اینکه فرد ارشد صحبت کند. به محض اینکه قضاوت‌ها قابل مشاهده می‌شوند، استقلال — و مزیت آماری جمعیت — شروع به کاهش می‌کند.
• به‌طور فعال دیدگاه‌های متنوع را جذب کنید. نظریه پیش‌بینی تنوع صریح است: مزیت جمعی شما نسبت به عضو متوسط شما تنوع شماست. یک پنل از افرادی با همان پیشینه و همان اطلاعات، یک حدس است که نام‌های زیادی بر روی آن زده شده است.
• مکانیسم تجمیع خود را با دقت انتخاب کنید. میانه برای جمعیت‌های نامنظم، میانگین برای جمعیت‌های منظم، ارزیابی ساختاری زمانی که قضاوت‌ها ابعاد متعددی دارند. "ما در مورد آن بحث کردیم و به توافق رسیدیم" یک مکانیسم تجمیع نیست — معمولاً یک مکانیسم لنگر است.
• دلایل را نگه دارید، نه فقط اعداد. کارت‌های گالتون به او گفتند چه چیزی را جمعیت فکر می‌کند، هرگز چرا. برای یک گاو، این خوب است. برای یک تصمیم استراتژیک، استدلال بخشی است که در زمان تغییر شرایط به آن نیاز خواهید داشت.

آخرین نکته جایی است که تصمیم‌گیری مشارکتی مدرن فراتر از گالتون می‌رود. آرگومنتری برای ارائه پروتکل نمایشگاه به تیم با استدلال‌های پیوست شده ساخته شده است: شرکت‌کنندگان استدلال‌ها را به طور مستقل و ناهمزمان — قبل از اینکه اتاق به توافق برسد — به یک درخت ساختار یافته pro/con ارائه می‌دهند؛ سپس گروه هر استدلال را در ابعاد مشخص (کمک، وضوح، دقت، کامل بودن) ارزیابی می‌کند و ارزیابی‌ها به امتیازهای توافقی تجمیع می‌شوند به طریقی که ۷۸۷ کارت به ۱۲۰۷ پوند تجمیع شدند. گزینه‌های مشارکت ناشناس استقلال را از سلسله مراتب محافظت می‌کند و مسیر کامل حسابرسی آنچه را که مسابقه گاو هرگز نمی‌توانست حفظ کند: چرا پشت عدد را حفظ می‌کند.

گالتون به یک نمایشگاه رفت تا ثابت کند که قضاوت عادی قابل اعتماد نیست. او با قوی‌ترین شواهدی که تا آن زمان تولید شده بود که — به درستی تجمیع شده — می‌تواند قابل اعتماد باشد، رفت. ابزار از یک جعبه رأی به نرم‌افزار تغییر کرده است. درس تغییر نکرده است.