Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

Saintis yang ingin membuktikan orang ramai bodoh

Bahagian terbaik dari eksperimen paling terkenal dalam kecerdasan kolektif adalah bahawa ia direka — sekurang-kurangnya dalam semangat — untuk membuktikan sebaliknya daripada apa yang ditemuinya.

Menjelang tahun 1906, Francis Galton adalah salah satu saintis paling berjaya di Britain. Seorang sepupu Charles Darwin, beliau telah mempelopori konsep statistik korelasi dan regresi ke purata, mencipta peta cuaca, dan meletakkan pengenalan cap jari pada asas saintifik. Dia juga — dan ini penting untuk cerita — sangat skeptikal terhadap penilaian orang biasa. Galton percaya bahawa kecerdasan tertumpu dalam elit warisan kecil; dia mencipta istilah “eugenik” dan menghabiskan dekad-dekad mempromosikannya, satu legasi yang hari ini dikutuk dengan tepat dan tidak dapat dipisahkan dari cara dia mendekati soalan ini. Apabila dia menggunakan alat statistiknya pada orang ramai, dia menjangkakan untuk mendokumentasikan ketidakcekapan mereka.

Jadi apabila Galton yang berusia 84 tahun merayau melalui Pameran Stok Lemak dan Ayam di Plymouth pada musim luruh 1906 dan menemui pertandingan penilaian berat, dia melihat satu set data yang tidak dapat ditolak. Di sini adalah orang ramai — beberapa pakar, kebanyakan tidak — membuat ratusan penilaian numerik yang bebas tentang satu perkara fakta, dengan yuran kemasukan kecil untuk memastikan mereka jujur dan hadiah untuk memastikan mereka bermotivasi. Seperti yang dia tulis kemudian dalam Nature, pesaing purata mungkin sama baiknya untuk menilai lembu seperti pengundi purata untuk menilai merit kebanyakan isu politik yang dia undi. Analogi kepada demokrasi adalah keseluruhan maksudnya. Galton menjangkakan vox populi — suara rakyat — akan memalukan dirinya.

Pameran negara, lembu gemuk, dan 787 tiket enam pence

Mekanisme pertandingan adalah mudah, dan — seperti yang kita tahu sekarang — secara tidak sengaja hampir kepada reka bentuk eksperimen yang ideal. Seekor lembu hidup dipamerkan. Dengan enam pence, sesiapa sahaja boleh membeli kad yang dicap dan bernombor, menulis nama dan alamat mereka di atasnya, dan merekodkan anggaran mereka tentang berapa berat lembu itu setelah disembelih dan disiapkan — angka yang bermakna secara komersial, dan soalan yang lebih sukar daripada berat hidup haiwan itu. Anggaran yang paling tepat memenangi hadiah.

Tiga ciri persediaan ini layak mendapat perhatian, kerana setiap satu memetakan kepada syarat yang kemudian penyelidikan akan menunjukkan adalah penting untuk ketepatan kolektif. Pertama, yuran enam pence menapis penipu praktikal yang tulen — orang mempunyai kepentingan dalam permainan. Kedua, setiap kad diisi secara peribadi: tiada angkat tangan, tiada lelongan yang memanggil konsensus yang berjalan, tiada pendahulu yang jelas untuk dicontohi. Penilaian adalah bebas. Ketiga, orang ramai benar-benar bercampur: tukang daging dan petani dengan kepakaran profesional berdiri di sebelah kerani dan keluarga yang, dalam kata-kata Galton, dipandu oleh fantasi saat itu. Penilaian adalah pelbagai.

Selepas pertandingan, Galton meminjam kad-kad tersebut. Dari kira-kira 800, tiga belas tidak boleh dibaca atau cacat, meninggalkan 787 anggaran sah. Dia menyusunnya, mengira, memplotkan taburan mereka, dan mengira kuantil mereka — satu kerja statistik penuh, diterbitkan dalam Nature pada 7 Mac 1907 dengan tajuk “Vox Populi” (Galton, F., Nature, 75, 450–451).

Keputusan yang mengejutkannya

Anggaran yang paling tengah — apa yang kita panggil median — adalah 1,207 paun. Lembu itu, setelah disembelih dan disiapkan, berat 1,198 paun. Keputusan kolektif orang ramai tersasar sembilan paun: satu kesilapan kira-kira 0.8%, lebih dekat daripada anggaran pakar lembu yang hadir.

Galton — untuk kreditnya yang tulus sebagai seorang saintis — melaporkan keputusan itu secara langsung. “Keputusan ini adalah, saya rasa, lebih terpuji kepada kebolehpercayaan penilaian demokratik daripada yang mungkin dijangkakan,” tulisnya. Datang dari seorang lelaki yang telah menghabiskan kariernya berhujah bahawa penilaian yang baik adalah hadiah warisan yang jarang, ayat itu adalah satu pengakuan saintifik yang tenang: data telah mengalahkan sebelumnya.

Cerita menjadi lebih baik dalam surat-menyurat yang mengikuti. Pembaca Nature menulis, dan dalam balasannya (“The Ballot-Box,” Nature, 75, 509) Galton mengakui bahawa purata semua 787 tekaan adalah 1,197 paun — satu paun off berat sebenar. Seratus tahun kemudian, ahli ekonomi Kenneth Wallis (“Revisiting Francis Galton’s forecasting competition,” 2014) mengkaji semula data asal dan pertukaran sekitarnya, mengesahkan asas cerita yang telah terkenal oleh James Surowiecki. Kesalahan satu paun purata adalah versi yang biasanya dipetik hari ini; kesalahan sembilan paun median adalah apa yang Galton sebenarnya memulakan. Kedua-duanya menakjubkan.

Median atau purata? Pilihan statistik Galton masih penting

Mengapa Galton lebih suka anggaran yang paling tengah? Pemikirannya adalah secara politik: median adalah nilai yang akan disahkan oleh majoriti orang ramai dalam undian. Setiap nilai lain akan diundi keluar oleh mereka yang menganggapnya terlalu tinggi atau terlalu rendah. Median, dengan kata lain, adalah keputusan demokratik orang ramai — yang merupakan soalan tepat tentang vox populi yang dia ingin uji.

Tetapi terdapat hujah statistik yang tersembunyi di dalam hujah politik itu, dan ia masih diajar hari ini. Median adalah statistik yang kukuh: segelintir tekaan yang tidak masuk akal — seseorang menulis 10,000 paun untuk bergurau — hampir tidak mengubahnya, manakala purata boleh ditarik jauh oleh satu outlier tunggal. Purata, sebaliknya, menggunakan lebih banyak maklumat dalam data dan, apabila kesilapan adalah lebih kurang simetri dan bebas, membatalkan mereka dengan lebih berkesan. Orang ramai Galton cukup berkelakuan baik sehingga kedua-duanya berfungsi: median tersasar 9 lb, purata 1 lb. Dalam orang ramai yang lebih berantakan — undian dalam talian, forum tanpa moderator — ketahanan median sering menang. Memilih mekanisme pengagregatan anda adalah keputusan tentang seberapa banyak anda mempercayai ekor orang ramai anda.

Mengapa purata berfungsi: aritmetik pembatalan kesilapan

Tiada mistik dalam keputusan Galton. Setiap tekaan boleh dianggap sebagai nilai sebenar ditambah dengan kesilapan. Jika kesilapan adalah bebas dan tersebar di kedua-dua belah kebenaran — beberapa tukang daging menganggarkan terlalu tinggi, beberapa terlalu rendah — maka menambah tekaan bersama membatalkan banyak kesilapan sementara isyarat yang dikongsi terkumpul. Semakin pelbagai dan bebas kesilapan, semakin agresif mereka dibatalkan.

Scott Page kemudian memformalkan intuisi itu sebagai teorem ramalan kepelbagaian (Page, The Difference, 2007): untuk kesilapan kuasa dua, kesilapan kolektif sama dengan purata kesilapan individu tolak kepelbagaian ramalan. Ia adalah identiti matematik, bukan tuntutan empirik — yang menjadikannya sangat berguna. Orang ramai mengalahkan anggotanya yang purata dengan tepat sebanyak mana anggotanya tidak bersetuju antara satu sama lain. Kepelbagaian bukanlah sesuatu yang baik untuk dimiliki; ia adalah, secara aritmetik, keseluruhan kelebihan. Sekumpulan klon tidak mendapat apa-apa daripada pengagregatan.

Logik yang sama telah ditemui, untuk soalan ya/tidak dan bukannya kuantiti, lebih dari satu abad sebelum Galton. Marquis de Condorcet membuktikan pada tahun 1785 bahawa jika setiap pengundi sedikit lebih mungkin daripada kebetulan untuk betul, dan pengundi menilai secara bebas, kebarangkalian bahawa majoriti betul meningkat ke arah kepastian apabila kumpulan berkembang. Kami menceritakan cerita itu — dan cara dramatik teorem itu gagal apabila andaian-andaian itu pecah — dalam karya pendamping kami tentang Teorem Juri Condorcet.

Dari nota kaki ke rangka kerja: empat syarat Surowiecki

Untuk kebanyakan abad kedua puluh, lembu Galton adalah satu keanehan statistik. Itu berubah pada tahun 2004, apabila James Surowiecki membuka The Wisdom of Crowds dengan cerita Plymouth dan mengumpulkan satu abad bukti — dari pasaran saham hingga enjin carian — bahawa orang ramai boleh menjadi bijak secara sistematik. Yang penting, Surowiecki tidak mendakwa orang ramai sentiasa bijak. Dia mengenal pasti empat syarat yang dipenuhi oleh pameran Galton secara tidak sengaja, dan yang diperlukan oleh mana-mana orang ramai yang bijak secara sengaja:

Buang mana-mana satu syarat dan orang ramai tidak hanya kehilangan kelebihan mereka — ia boleh menjadi lebih teruk daripada anggotanya, kerana pengagregatan kemudian memperkuatkan bias yang dikongsi dan bukannya membatalkan kesilapan yang bebas. Untuk sains penuh tentang empat syarat dan cara kegagalan mereka, lihat panduan kami tentang kebijaksanaan orang ramai.

Cetakan halus: apa yang pameran lakukan dengan betul yang mesyuarat lakukan dengan salah

Berikut adalah soalan yang tidak selesa bagi sesiapa yang mengendalikan mesyuarat: berapa banyak keputusan kumpulan dalam organisasi anda yang disusun seperti pameran Galton — dan berapa banyak yang disusun seperti sebaliknya?

Di pameran, setiap penilaian dilakukan secara peribadi, secara bertulis, sebelum sesiapa melihat nombor orang lain. Dalam mesyuarat biasa, orang yang paling senior atau paling yakin bercakap terlebih dahulu, dan setiap “anggaran” seterusnya diikat pada anggaran mereka. Apa yang kelihatan seperti tiga puluh orang bersetuju sering kali adalah satu tekaan seseorang dengan dua puluh sembilan gema. Ahli ekonomi memanggil mekanisme itu sebagai gelombang maklumat: setelah beberapa pendapat awal kelihatan, ia menjadi rasional secara individu bagi setiap orang seterusnya untuk mengabaikan maklumat mereka sendiri dan meniru — dan kebebasan orang ramai, syarat yang menyokong keseluruhan fenomena, secara senyap runtuh (Bikhchandani, Hirshleifer & Welch, 1992). Kami membincangkan mekanisme dalam panduan kami tentang gelombang maklumat.

Inilah juga sebab mengapa replikasi eksperimen Galton kadang-kadang mengecewakan: jalankan permainan meneka lembu dengan purata yang jelas, atau biarkan peserta menjerit tekaan mereka, dan ketepatan merosot. Keajaiban tidak pernah ada dalam orang ramai — ia ada dalam protokol. Enam pence, kad peribadi, dan kotak undi yang terkunci ternyata menjadi seni bina keputusan yang lebih baik daripada kebanyakan bilik persidangan.

Keturunan moden lembu

Prinsip pengagregatan yang didokumentasikan oleh Galton kini berjalan melalui pelbagai sistem moden yang luar biasa:

Setiap keturunan mengagregat sesuatu yang berbeza — pasaran mengagregat kepercayaan menjadi harga, ensemble mengagregat output model menjadi ramalan, sistem pengundian mengagregat pilihan menjadi hasil — dan setiap satu mewarisi kebergantungan yang sama: agregat hanya sebaik kebebasan dan kepelbagaian yang memberi makannya. Persamaan keluarga itu adalah garis penghubung tradisi penyelidikan keseluruhan, dari teorem Condorcet 1785 hingga penyelidikan kecerdasan kolektif di Pusat Kecerdasan Kolektif MIT hari ini — satu lengkung 240 tahun yang kami jejak dalam Kecerdasan Kolektif: 240 Tahun Penyelidikan.

Apa yang lembu Galton bermakna untuk pasukan anda

Terjemahan praktikal eksperimen 1906 adalah senarai semak pendek, dan ia terpakai pada satu titik tertentu dalam kehidupan keputusan — saat anda mengumpul dan menggabungkan penilaian, sebelum kumpulan mula berunding:

• Kumpulkan anggaran secara bebas, secara bertulis, terlebih dahulu. Sebelum mesyuarat, sebelum orang senior bercakap. Saat penilaian menjadi jelas, kebebasan — dan kelebihan statistik orang ramai — mula merosot.
• Secara aktif merekrut perspektif yang pelbagai. Teorem ramalan kepelbagaian adalah jelas: kelebihan kolektif anda berbanding ahli purata anda adalah kepelbagaian anda. Sebuah panel orang dengan latar belakang dan maklumat yang sama adalah satu tekaan yang memakai banyak nama.
• Pilih mekanisme pengagregatan anda dengan teliti. Median untuk orang ramai yang tidak teratur, purata untuk yang berkelakuan baik, penilaian terstruktur apabila penilaian mempunyai pelbagai dimensi. “Kami membincangkannya dan mencapai konsensus” bukanlah mekanisme pengagregatan — ia biasanya merupakan mekanisme penetapan.
• Simpaikan sebab-sebab, bukan hanya nombor. Kad Galton memberitahunya apa yang difikirkan oleh orang ramai, tetapi tidak kenapa. Bagi seekor lembu, itu tidak mengapa. Bagi keputusan strategi, alasan adalah bahagian yang anda perlukan apabila keadaan berubah.

Titik terakhir itu adalah di mana pengambilan keputusan kolaboratif moden melangkaui Galton. Argumentree dibina untuk memberikan pasukan protokol pameran dengan alasan yang dilampirkan: peserta menyumbang hujah secara bebas dan tidak segerak — sebelum bilik bersatu — ke dalam pokok pro/con yang terstruktur; kumpulan kemudian menilai setiap hujah pada dimensi yang jelas (kegunaan, kejelasan, ketepatan, kelengkapan), dan penilaian digabungkan menjadi skor konsensus seperti mana 787 kad digabungkan menjadi 1,207 paun. Pilihan sumbangan tanpa nama melindungi kebebasan daripada hierarki, dan jejak audit penuh mengekalkan apa yang pertandingan lembu tidak pernah dapat: mengapa di sebalik nombor.

Galton pergi ke pameran untuk membuktikan bahawa penilaian biasa tidak boleh dipercayai. Dia pergi dengan bukti terkuat yang pernah dihasilkan bahawa — jika digabungkan dengan betul — ia boleh. Alatnya telah berubah dari kotak undi kepada perisian. Pengajarannya tidak.