Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

Kalabalıkları aptal göstermek isteyen bilim insanı

Kolektif zekanın en ünlü deneyinin en iyi yanı, tasarlandığı — en azından ruhen — bulduğu şeyin tersini kanıtlamak içindi.

1906'ya gelindiğinde, Francis Galton, Britanya'nın en başarılı bilim insanlarından biriydi. Charles Darwin'in kuzeni olan Galton, korelasyon ve ortalamaya regresyon gibi istatistiksel kavramları öncülüğünü yapmış, hava haritasını icat etmiş ve parmak izi tanımayı bilimsel bir temele oturtmuştu. Ayrıca — bu hikaye için önemli — sıradan insanların yargısına derin bir şüpheyle bakıyordu. Galton, zekanın küçük bir kalıtsal elit içinde yoğunlaştığına inanıyordu; “eugenics” terimini icat etti ve onu tanıtmak için on yıllar harcadı, bu miras bugün haklı olarak kınanmakta ve bu soruya yaklaşımında ayrılmaz bir parça olarak kalmaktadır. İstatistiksel araçlarını bir kalabalığa yönelttiğinde, yetersizliğini belgelemeyi bekliyordu.

Bu nedenle, 84 yaşındaki Galton, 1906 sonbaharında Plymouth'taki Batı İngiltere Yağlı Hayvanlar ve Tavuk Fuarı'nda dolaşırken bir ağırlık tahmin yarışmasıyla karşılaştığında, karşı konulmaz bir veri seti gördü. Burada, bazıları uzman, çoğu değil — bir gerçek hakkında yüzlerce bağımsız sayısal yargı yapan bir kalabalık vardı; onları dürüst tutmak için küçük bir giriş ücreti ve motive etmek için bir ödül vardı. Daha sonra Nature'da yazdığı gibi, ortalama katılımcı, sığırı yargılamak için ortalama bir seçmenin çoğu siyasi meselede oy verdiği konuları yargılamak için ne kadar uygun olduğuna benzerdi. Demokrasiye yapılan benzetme, tam olarak bu noktadır. Galton, vox populi — halkın sesi — kendini utandıracak diye bekliyordu.

Bir köy fuarı, bir şişman sığır ve 787 altı peni bileti

Yarışmanın mekanikleri basitti ve — şimdi bildiğimiz gibi — tesadüfen ideal deney tasarımına yakındı. Canlı bir sığır sergilendi. Altı peni karşılığında, herkes damgalı ve numaralı bir kart satın alabilir, üzerine adını ve adresini yazabilir ve sığırın kesilmiş ve giydirilmiş ağırlığını tahmin edebilirdi — ticari olarak anlamlı bir rakam ve hayvanın canlı ağırlığından daha zor bir soru. En doğru tahminler ödüller kazandı.

Bu kurulumun üç özelliği dikkat çekmeyi hak ediyor, çünkü her biri daha sonraki araştırmaların kolektif doğruluk için gerekli olduğunu göstereceği bir koşula karşılık geliyor. İlk olarak, altı peni ücreti saf şaka yapanları filtreledi — insanların oyunda bir çıkarı vardı. İkincisi, her kart özel olarak dolduruldu: el kaldırma yoktu, odayı yönlendiren bir müzayedeci yoktu, kopyalanacak görünür bir önde gelen yoktu. Yargılar bağımsız idi. Üçüncüsü, kalabalık gerçekten karışıktı: profesyonel uzmanlığa sahip kasaplar ve çiftçiler, Galton’un sözleriyle, anın hayal gücüyle yönlendirilen memurlar ve ailelerin yanında duruyordu. Yargılar çeşitliydi.

Yarışmadan sonra, Galton kartları ödünç aldı. Yaklaşık 800'den, on üçü okunaksız veya başka bir şekilde kusurluydu, geriye 787 geçerli tahmin kaldı. Onları sıraladı, tablo haline getirdi, dağılımlarını çizdi ve kuantillerini hesapladı — tam bir istatistiksel çalışma, 7 Mart 1907'de Nature'da “Vox Populi” başlığı altında yayımlandı (Galton, F., Nature, 75, 450–451).

Onu şaşırtan sonuç

En ortada bulunan tahmin — şimdi medyan olarak adlandırdığımız — 1,207 pound idi. Sığır, kesilmiş ve giydirilmiş olarak, 1,198 pound ağırlığındaydı. Kalabalığın kolektif kararı dokuz pound kadar yanlıştı: yaklaşık %0.8'lik bir hata, katılımcı sığır uzmanlarının tahminlerinden daha yakındı.

Galton — bir bilim insanı olarak gerçek bir kredi ile — sonucu doğrudan bildirdi. “Bu sonuç, bence, demokratik bir yargının güvenilirliği açısından beklenenden daha fazla övgüye değer,” yazdı. Sesinin, sağlam yargının nadir bir kalıtsal hediye olduğunu savunarak kariyerini geçiren bir adamdan gelmesi, cümlenin sessiz bir bilimsel itirafıdır: veriler, onun önceki görüşlerini geride bırakmıştı.

Hikaye, ardından gelen yazışmalarda daha da güzelleşti. Nature'ın okuyucuları yazdı ve yanıtında (“The Ballot-Box,” Nature, 75, 509) Galton, 787 tahminin aritmetik ortalamasının 1,197 pound olduğunu — gerçek ağırlıktan bir pound eksik olduğunu — kabul etti. Bir yüzyıl sonra, ekonomist Kenneth Wallis (“Francis Galton’un tahmin yarışmasını yeniden gözden geçirmek,” 2014) orijinal verileri ve çevresindeki değişimi tekrar gözden geçirerek, James Surowiecki'nin ünlü yaptığı hikayenin temel unsurlarını doğruladı. Ortalama bir poundluk hata, bugün genellikle alıntılanan versiyondur; medyanın dokuz poundluk hatası, Galton'un aslında öne sürdüğü şeydir. Her ikisi de şaşırtıcıdır.

Medyan mı yoksa ortalama mı? Galton’un istatistiksel tercihi hala önemlidir

Galton neden en ortada bulunan tahmini tercih etti? Akıl yürütmesi açıkça politikti: medyan, kalabalığın çoğunluğunun bir oylamada onaylayacağı değerdir. Diğer her değer, çok yüksek veya çok düşük olduğunu düşünenler tarafından oylanır. Medyan, diğer bir deyişle, kalabalığın demokratik kararını temsil eder — bu, tam olarak test etmeye çalıştığı vox populi sorusuydu.

Ama siyasi argümanın içinde gizli bir istatistiksel argüman var ve bu hala günümüzde öğretiliyor. Medyan, sağlam bir istatistiktir: birkaç absürt tahmin — birinin gülmek için 10,000 pound yazması — onu pek etkilemezken, ortalama tek bir aykırı değer tarafından keyfi olarak çok uzakta çekilebilir. Öte yandan, ortalama, verilerdeki bilginin daha fazlasını kullanır ve hatalar yaklaşık simetrik ve bağımsız olduğunda, bunları daha verimli bir şekilde iptal eder. Galton’un kalabalığı, her ikisinin de iyi davrandığı kadar iyiydi: medyan 9 lb, ortalama 1 lb kadar yanıldı. Daha karmaşık kalabalıklarda — çevrimiçi anketler, denetimsiz forumlar — medyanın sağlamlığı genellikle kazanır. Toplama mekanizmanızı seçmek, kalabalığınızın uç noktalarına ne kadar güvendiğinizle ilgili bir karardır.

Neden ortalama almak işe yarar: hata iptali aritmetiği

Galton’un sonucunda mistisizm yoktur. Her tahmin, gerçek değer artı bir hata olarak düşünülebilir. Hatalar bağımsız ve gerçeğin her iki tarafında da dağılmışsa — bazı kasaplar abartıyorsa, bazıları az tahmin ediyorsa — o zaman tahminleri toplamak, hatanın çoğunu iptal ederken paylaşılan sinyal birikir. Hatalar ne kadar çeşitli ve bağımsızsa, o kadar agresif bir şekilde iptal edilir.

Scott Page daha sonra sezgiyi çeşitlilik tahmin teoremi olarak formelleştirdi (Page, The Difference, 2007): kare hata için, kolektifin hatası, ortalama bireysel hata eksi tahminlerin çeşitliliğine eşittir. Bu, matematiksel bir kimliktir, ampirik bir iddia değil — bu da onu bu kadar kullanışlı kılar. Bir kalabalık, ortalama üyesini, üyelerinin birbirleriyle ne kadar farklı düşündüğü kadar yener. Çeşitlilik, bir lüks değil; aritmetik olarak, tüm avantajdır. Klonlardan oluşan bir kalabalık, toplama işleminden hiçbir şey kazanmaz.

Aynı mantık, Galton'dan bir yüzyıldan fazla bir süre önce, miktarlar yerine evet/hayır soruları için keşfedilmişti. Marquis de Condorcet, 1785'te her seçmenin, doğru olma olasılığının şansa göre biraz daha yüksek olması durumunda ve seçmenler bağımsız olarak yargıladığında, çoğunluğun doğru olma olasılığının grup büyüdükçe kesinliğe doğru yükseldiğini kanıtladı. Bu hikayeyi anlatıyoruz — ve teoremin varsayımları bozulduğunda nasıl dramatik bir şekilde başarısız olduğunu — Condorcet Jüri Teoremi üzerine olan yardımcı parçamızda.

Dipnotlardan çerçeveye: Surowiecki’nin dört koşulu

Yirminci yüzyılın çoğu boyunca, Galton’un sığırı istatistiksel bir merak konusuydu. Bu, 2004'te James Surowiecki'nin Kalabalıkların Bilgeliği adlı eserine Plymouth hikayesini eklemesi ve kalabalıkların sistematik olarak akıllı olabileceğine dair bir yüzyıllık kanıtı — borsa piyasalarından arama motorlarına kadar — derlemesiyle değişti. Kritik olarak, Surowiecki, kalabalıkların her zaman akıllı olduğunu iddia etmedi. Galton’un fuarının tesadüfen karşıladığı ve her akıllı kalabalığın bilerek ihtiyaç duyduğu dört koşulu tanımladı:

Herhangi bir koşulu kaldırın ve kalabalık sadece avantajını kaybetmekle kalmaz — bağımsız hataları iptal etmek yerine paylaşılan bir önyargıyı artırabilir, çünkü toplama bu durumda bağımsız hataları iptal etmek yerine artırır. Dört koşulun tam bilimi ve başarısızlık modları için, kalabalıkların bilgeliği üzerine rehberimize bakın.

Küçük yazı: fuarın doğru yaptığı şeyler, toplantıların yanlış yaptığı şeyler

Toplantı yürüten herkes için rahatsız edici bir soru: organizasyonunuzda kaç grup kararı Galton’un fuarına benzer şekilde yapılandırılmıştır — ve kaç tanesi tam tersi şekilde yapılandırılmıştır?

Fuar sırasında, her yargı özel olarak, yazılı olarak, başkalarının sayısını görmeden önce taahhüt edildi. Tipik bir toplantıda, en kıdemli veya en kendine güvenen kişi önce konuşur ve sonraki her “tahmin” onlarınkine bağlıdır. Otuz kişinin anlaştığı gibi görünen şey, genellikle bir kişinin tahmini ve yirmi dokuz yankıdır. Ekonomistler bu mekanizmayı bilgi zinciri olarak adlandırır: birkaç erken görüş görünür hale geldiğinde, her sonraki kişinin kendi bilgilerini göz ardı etmesi ve kopyalaması bireysel olarak mantıklı hale gelir — ve kalabalığın bağımsızlığı, tüm fenomenin yük taşıyan koşulu, sessizce çöker (Bikhchandani, Hirshleifer & Welch, 1992). Mekanikleri bilgi zincirleri üzerine rehberimizde ele alıyoruz.

Bu, Galton’un deneyinin bazen hayal kırıklığına uğratmasının da nedenidir: görünür bir ortalama ile sığır tahmin oyununu oynayın veya katılımcıların tahminlerini bağırmasına izin verin ve doğruluk düşer. Sihir asla kalabalıkta değildi — protokoldeydi. Altı peni, özel bir kart ve kilitli bir oy sandığı, çoğu konferans odasından daha iyi bir karar mimarisi olduğunu gösteriyor.

Sığırın modern torunları

Galton'un belgelerinin toplama ilkesi şimdi modern sistemlerin dikkate değer bir yelpazesinden geçmektedir:

Her torun, farklı bir şeyi toplar — pazarlar inançları fiyatlara, topluluklar model çıktıları tahminlere, oylama sistemleri tercihleri sonuçlara toplar — ve her biri aynı bağımlılığı miras alır: toplama, yalnızca onu besleyenlerin bağımsızlığı ve çeşitliliği kadar iyidir. Bu aile benzerliği, Condorcet’in 1785 teoreminden MIT’nin Kolektif Zeka Merkezi’nin günümüzdeki kolektif zeka araştırmalarına kadar olan tüm araştırma geleneğinin ana temasını oluşturur — 240 yıllık bir yay, Kolektif Zeka: 240 Yıllık Araştırma başlıklı yazımızda izliyoruz.

Galton’un sığırının ekibiniz için anlamı

1906 deneyinin pratik çevirisi kısa bir kontrol listesidir ve bir kararın yaşamında belirli bir noktada — yargıları topladığınız ve birleştirdiğiniz an — geçerlidir:

• Öncelikle, bağımsız olarak, yazılı tahminler toplayın. Toplantıdan önce, kıdemli kişi konuşmadan önce. Yargılar görünür hale geldiği anda, bağımsızlık — ve kalabalığın istatistiksel avantajı — azalmaya başlar.
• Farklı bakış açılarını aktif olarak işe al. Çeşitlilik tahmin teoremi açıktır: ortalama üyeniz üzerindeki kolektif avantajınız çeşitliliğinizdir. Aynı geçmişe ve aynı bilgilere sahip bir panel, birçok isim etiketi takan tek bir tahmindir.
• Toplama mekanizmanızı dikkatlice seçin. Dağınık kalabalıklar için medyan, iyi davrananlar için ortalama, yargıların birden fazla boyutu olduğunda yapılandırılmış derecelendirme. “Bunu tartıştık ve uzlaşmaya vardık” bir toplama mekanizması değildir — genellikle bir sabitleme mekanizmasıdır.
• Sayıları değil, nedenleri saklayın. Galton'un kartları ona kalabalığın ne düşündüğünü söyledi, asla neden düşündüğünü değil. Bir öküz için bu yeterlidir. Bir strateji kararı için, koşullar değiştiğinde ihtiyaç duyacağınız kısım akıldır.

Son nokta, modern işbirlikçi karar verme'nin Galton'dan öteye geçtiği yerdir. Argumentree, bir ekibe akıl yürütme ile birlikte fuar protokolünü sunmak için inşa edilmiştir: katılımcılar, odaya yoğunlaşmadan önce bağımsız ve asenkron olarak argümanlar sunar; grup daha sonra her argümanı açık boyutlarda (yararlılık, açıklık, doğruluk, tamlık) değerlendirir ve derecelendirmeler, 787 kartın 1,207 pounda toplandığı gibi konsensüs puanlarına dönüşür. Anonim katkı seçenekleri, bağımsızlığı hiyerarşiden korur ve tam denetim izi, sığır yarışmasının asla yapamadığı şeyi korur: sayının arkasındaki neden.

Galton, sıradan yargının güvenilir olamayacağını kanıtlamak için bir fuara gitti. Doğru bir şekilde toplandığında, bunun en güçlü kanıtıyla ayrıldı. Araç, bir oy sandığından yazılıma dönüştü. Ders değişmedi.