Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

นักวิทยาศาสตร์ที่ต้องการพิสูจน์ว่าฝูงชนโง่

ส่วนที่ดีที่สุดของการทดลองที่มีชื่อเสียงที่สุดในปัญญาร่วมคือมันถูกออกแบบมา — อย่างน้อยในจิตวิญญาณ — เพื่อพิสูจน์สิ่งที่ตรงกันข้ามกับสิ่งที่มันพบ

ในปี 1906 ฟรานซิส กัลตันเป็นหนึ่งในนักวิทยาศาสตร์ที่ประสบความสำเร็จมากที่สุดในอังกฤษ เป็นลูกพี่ลูกน้องของชาร์ลส์ ดาร์วิน เขาได้บุกเบิกแนวคิดทางสถิติของการสัมพันธ์และการถดถอยไปสู่ค่าเฉลี่ย ประดิษฐ์แผนที่อากาศ และทำให้การระบุลายนิ้วมือมีพื้นฐานทางวิทยาศาสตร์ เขายังเป็น — และนี่สำคัญต่อเรื่องราว — ผู้ที่สงสัยในความสามารถในการตัดสินของคนธรรมดา กัลตันเชื่อว่าปัญญาถูกกระจุกตัวอยู่ในกลุ่มชนชั้นสูงที่สืบทอดมา เขาเป็นผู้คิดค้นคำว่า “อีวเจนิกส์” และใช้เวลาหลายทศวรรษในการส่งเสริมมัน ซึ่งเป็นมรดกที่ถูกประณามอย่างถูกต้องในปัจจุบันและไม่สามารถแยกออกจากวิธีที่เขาเข้าหาคำถามนี้ได้ เมื่อเขาหันเครื่องมือทางสถิติของเขาไปที่ฝูงชน เขาคาดว่าจะบันทึกความไร้ความสามารถของมัน

ดังนั้นเมื่อกัลตันอายุ 84 ปีเดินผ่านงานแสดงสินค้าสัตว์และสัตว์ปีกที่มีน้ำหนักมากในพลีมัธในฤดูใบไม้ร่วงปี 1906 และพบกับการแข่งขันการตัดสินน้ำหนัก เขาจึงเห็นชุดข้อมูลที่ไม่สามารถต้านทานได้ ที่นี่มีฝูงชน — บางคนเป็นผู้เชี่ยวชาญ ส่วนใหญ่ไม่ใช่ — ทำการตัดสินตัวเลขอิสระหลายร้อยครั้งเกี่ยวกับข้อเท็จจริง โดยมีค่าธรรมเนียมเล็กน้อยเพื่อให้พวกเขาซื่อสัตย์และรางวัลเพื่อกระตุ้นพวกเขา ตามที่เขาเขียนใน Nature ผู้เข้าแข่งขันเฉลี่ยอาจเหมาะสมในการตัดสินวัวพอๆ กับผู้มีสิทธิเลือกตั้งเฉลี่ยในการตัดสินคุณสมบัติของประเด็นทางการเมืองส่วนใหญ่ที่เขาลงคะแนน อนาล็อกกับประชาธิปไตยคือจุดประสงค์ทั้งหมด กัลตันคาดหวังว่าเสียงของประชาชน — เสียงของประชาชน — จะทำให้ตัวเองอับอาย

งานแฟร์ในชนบท วัวอ้วน และตั๋วหกเพนนี 787 ใบ

กลไกของการแข่งขันนั้นเรียบง่าย และ — อย่างที่เราทราบในปัจจุบัน — บังเอิญใกล้เคียงกับการออกแบบการทดลองที่สมบูรณ์แบบ วัวสดถูกจัดแสดง สำหรับหกเพนนี ใครก็ได้สามารถซื้อการ์ดที่ประทับตราและมีหมายเลข เขียนชื่อและที่อยู่ของตนลงไป และบันทึกการประเมินน้ำหนักที่วัวจะมีเมื่อ ถูกฆ่าและแต่งตัว — ตัวเลขที่มีความหมายทางการค้า และคำถามที่ยากกว่าน้ำหนักสดของสัตว์ รางวัลจะมอบให้กับการคาดการณ์ที่แม่นยำที่สุด

สามลักษณะของการตั้งค่านี้สมควรได้รับความสนใจ เพราะแต่ละลักษณะเชื่อมโยงกับเงื่อนไขที่การวิจัยในภายหลังจะแสดงว่าเป็นสิ่งจำเป็นสำหรับความแม่นยำร่วมกัน ประการแรก ค่าธรรมเนียมหกเพนนีกรองผู้ที่เป็นตลกขบขันออกไป — ผู้คนมีส่วนได้ส่วนเสียในเกม ประการที่สอง การ์ดแต่ละใบถูกกรอกข้อมูลเป็นการส่วนตัว: ไม่มีการยกมือ ไม่มีการประมูลที่เรียกให้มีฉันทามติที่กำลังดำเนินอยู่ ไม่มีผู้ที่นำหน้าให้คัดลอก การตัดสินใจเป็น อิสระ ประการที่สาม ฝูงชนมีความหลากหลายอย่างแท้จริง: คนขายเนื้อและเกษตรกรที่มีความเชี่ยวชาญทางวิชาชีพยืนอยู่เคียงข้างเสมียนและครอบครัวที่อยู่ภายใต้การชี้นำของกัลตันในคำพูดของเขา โดยได้รับการชี้นำจากจินตนาการในขณะนั้น การตัดสินใจมีความ หลากหลาย

หลังจากการแข่งขัน กัลตันยืมการ์ด จากประมาณ 800 ใบ มี 13 ใบที่อ่านไม่ออกหรือมีข้อบกพร่องอื่นๆ ทำให้เหลือ 787 การประเมินที่ถูกต้อง เขาได้จัดเรียง พล็อตการกระจาย และคำนวณควอนไทล์ของพวกเขา — การวิเคราะห์ทางสถิติอย่างเต็มรูปแบบ ซึ่งเผยแพร่ใน Nature เมื่อวันที่ 7 มีนาคม 1907 ภายใต้ชื่อ “Vox Populi” (กัลตัน, ฟ., Nature, 75, 450–451)

ผลลัพธ์ที่ทำให้เขาประหลาดใจ

การประเมินที่อยู่ตรงกลาง — สิ่งที่เราเรียกว่าค่ากลาง — คือ 1,207 ปอนด์ วัวที่ถูกฆ่าและแต่งตัวมีน้ำหนัก 1,198 ปอนด์ คำตัดสินร่วมของฝูงชนผิดไปเก้าปอนด์: ข้อผิดพลาดประมาณ 0.8% ใกล้เคียงกว่าการประเมินของผู้เชี่ยวชาญด้านปศุสัตว์ที่เข้าร่วม

กัลตัน — เพื่อเครดิตที่แท้จริงของเขาในฐานะนักวิทยาศาสตร์ — รายงานผลลัพธ์อย่างตรงไปตรงมา “ผลลัพธ์นี้เป็นสิ่งที่ฉันคิดว่ามีความน่าเชื่อถือมากกว่าความน่าเชื่อถือของการตัดสินใจแบบประชาธิปไตยมากกว่าที่คาดไว้” เขาเขียน มาจากชายผู้ใช้เวลาทั้งอาชีพในการโต้แย้งว่าการตัดสินที่ถูกต้องเป็นของขวัญที่สืบทอดมาอย่างหายาก ประโยคนี้เป็นการยอมรับทางวิทยาศาสตร์อย่างเงียบ ๆ: ข้อมูลได้เอาชนะความเชื่อก่อนหน้านี้ของเขา

เรื่องราวดีขึ้นในจดหมายที่ตามมา ผู้อ่านของ Nature เขียนเข้ามา และในคำตอบของเขา (“The Ballot-Box,” Nature, 75, 509) กัลตันยอมรับว่าค่าเฉลี่ย ค่าเฉลี่ย ของการคาดการณ์ 787 ครั้งทั้งหมดคือ 1,197 ปอนด์ — ขาดไปหนึ่งปอนด์จากน้ำหนักที่แท้จริง หนึ่งศตวรรษต่อมา นักเศรษฐศาสตร์เคนเนธ วอลลิส (“Revisiting Francis Galton’s forecasting competition,” 2014) ได้กลับไปตรวจสอบข้อมูลต้นฉบับและการแลกเปลี่ยนที่เกี่ยวข้อง ยืนยันสาระสำคัญของเรื่องราวที่เจมส์ ซูโรวีคกี้ทำให้มีชื่อเสียง การพลาดหนึ่งปอนด์ของค่าเฉลี่ยเป็นเวอร์ชันที่มักถูกอ้างถึงในปัจจุบัน; การพลาดเก้าปอนด์ของค่ากลางคือสิ่งที่กัลตันนำเสนอจริงๆ ทั้งสองอย่างน่าทึ่ง

ค่ากลางหรือค่าเฉลี่ย? การเลือกทางสถิติของกัลตันยังคงมีความสำคัญ

ทำไมกัลตันถึงชอบการประเมินที่อยู่ตรงกลาง? การให้เหตุผลของเขาเป็นเรื่องการเมืองอย่างชัดเจน: ค่ากลางคือค่าที่เสียงส่วนใหญ่ของฝูงชนจะรับรองในการลงคะแนนเสียง ค่าอื่น ๆ จะถูกลงคะแนนโดยผู้ที่คิดว่ามันสูงเกินไปหรือต่ำเกินไป ค่ากลางในคำอื่น ๆ คือคำตัดสิน ประชาธิปไตย ของฝูงชน — ซึ่งเป็นคำถามที่เขาตั้งใจจะทดสอบเกี่ยวกับเสียงของประชาชน

แต่มีข้อโต้แย้งทางสถิติซ่อนอยู่ภายในข้อโต้แย้งทางการเมือง และมันยังคงถูกสอนในปัจจุบัน ค่ากลางเป็น สถิติที่แข็งแกร่ง: การคาดการณ์ที่ไร้สาระเพียงไม่กี่ครั้ง — ใครบางคนเขียน 10,000 ปอนด์เพื่อความสนุก — แทบไม่ทำให้มันเคลื่อนที่ ในขณะที่ค่าเฉลี่ยสามารถถูกดึงไปไกลโดยผู้ที่มีค่าผิดปกติเพียงคนเดียว ในทางกลับกัน ค่าเฉลี่ยใช้ข้อมูลในข้อมูลมากขึ้น และเมื่อข้อผิดพลาดมีความสมมาตรและเป็นอิสระประมาณหนึ่ง จะยกเลิกได้อย่างมีประสิทธิภาพมากขึ้น ฝูงของกัลตันมีพฤติกรรมดีพอที่ทั้งสองอย่างได้ผล: ค่ากลางพลาดไป 9 ปอนด์ ค่าเฉลี่ยพลาดไป 1 ปอนด์ ในฝูงชนที่ยุ่งเหยิงกว่า — โพลออนไลน์ ฟอรัมที่ไม่มีการควบคุม — ความแข็งแกร่งของค่ากลางมักจะชนะ การเลือกกลไกการรวมกลุ่มของคุณ คือ การตัดสินใจเกี่ยวกับความไว้วางใจในหางของฝูงชนของคุณ

ทำไมการเฉลี่ยถึงได้ผล: คณิตศาสตร์ของการยกเลิกข้อผิดพลาด

ไม่มีลัทธิในผลลัพธ์ของกัลตัน การคาดการณ์แต่ละครั้งสามารถคิดได้ว่าเป็นค่าจริงบวกกับข้อผิดพลาด หากข้อผิดพลาดเป็น อิสระ และกระจายอยู่ทั้งสองด้านของความจริง — บางคนขายเนื้อประเมินสูงเกินไป บางคนประเมินต่ำเกินไป — การรวมการคาดการณ์เข้าด้วยกันจะยกเลิกข้อผิดพลาดมากมายในขณะที่สัญญาณที่ใช้ร่วมกันสะสม ยิ่งข้อผิดพลาดมีความหลากหลายและเป็นอิสระมากเท่าไหร่ พวกเขาก็ยิ่งยกเลิกกันอย่างรุนแรงมากขึ้น

สกอตต์ เพจได้ทำให้สัญชาตญาณเป็นทางการในภายหลังว่าเป็น ทฤษฎีการคาดการณ์ความหลากหลาย (เพจ, The Difference, 2007): สำหรับข้อผิดพลาดที่ยกกำลังสอง ข้อผิดพลาดของกลุ่มเท่ากับข้อผิดพลาดเฉลี่ยของแต่ละบุคคล ลบ ความหลากหลายของการคาดการณ์ มันเป็นอัตลักษณ์ทางคณิตศาสตร์ ไม่ใช่ข้อเรียกร้องเชิงประจักษ์ — ซึ่งทำให้มันมีประโยชน์มาก ข้อผิดพลาดของฝูงชนเอาชนะสมาชิกเฉลี่ยของมันได้มากเท่ากับที่สมาชิกไม่เห็นด้วยกับกันและกัน ความหลากหลายไม่ใช่สิ่งที่น่ามี; มันคือทางคณิตศาสตร์ ข้อได้เปรียบทั้งหมด ฝูงชนของคลอนจะไม่ได้รับอะไรจากการรวมกลุ่ม

ตรรกะเดียวกันนี้ถูกค้นพบ สำหรับคำถามใช่/ไม่ใช่ มากกว่าปริมาณ มากกว่าศตวรรษก่อนกัลตัน มาร์คีส เดอ คอนดอร์เซต์พิสูจน์ในปี 1785 ว่าหากผู้มีสิทธิเลือกตั้งแต่ละคนมีแนวโน้มที่จะถูกต้องมากกว่าความน่าจะเป็นเล็กน้อย และผู้มีสิทธิเลือกตั้งตัดสินอย่างอิสระ ความน่าจะเป็นที่เสียงข้างมากจะถูกต้องจะเพิ่มขึ้นสู่ความแน่นอนเมื่อกลุ่มเติบโต เราเล่าเรื่องนี้ — และวิธีที่น่าทึ่งที่ทฤษฎีล้มเหลวเมื่อสมมติฐานของมันแตก — ในชิ้นส่วนเสริมของเราเกี่ยวกับ ทฤษฎีคณะลูกขุนของคอนดอร์เซต์

จากเชิงอรรถสู่กรอบ: สี่เงื่อนไขของซูโรวีคกี้

ในช่วงต้นศตวรรษที่ 20 วัวของกัลตันเป็นความอยากรู้อยากเห็นทางสถิติ สิ่งนี้เปลี่ยนไปในปี 2004 เมื่อเจมส์ ซูโรวีคกี้เปิด ปัญญาของฝูงชน ด้วยเรื่องราวในพลีมัธและรวบรวมหลักฐานในรอบศตวรรษ — ตั้งแต่ตลาดหุ้นไปจนถึงเครื่องมือค้นหา — ว่าฝูงชนสามารถมีความฉลาดอย่างเป็นระบบได้อย่างไร โดยสำคัญ ซูโรวีคกี้ไม่ได้อ้างว่าฝูงชน ฉลาดเสมอไป เขาระบุสี่เงื่อนไขที่งานแฟร์ของกัลตันได้ตอบสนองโดยบังเอิญ และที่ฝูงชนที่ฉลาดใดๆ ต้องการอย่างตั้งใจ:

ลบเงื่อนไขใดเงื่อนไขหนึ่งออกไปและฝูงชนจะไม่เพียงแต่สูญเสียขอบของมัน — มันอาจกลายเป็นแย่กว่าสมาชิกของมัน เพราะการรวมกลุ่มจะขยายอคติที่แบ่งปันแทนที่จะยกเลิกข้อผิดพลาดที่เป็นอิสระ สำหรับวิทยาศาสตร์ทั้งหมดของสี่เงื่อนไขและโหมดการล้มเหลวของพวกเขา โปรดดูคู่มือของเราเกี่ยวกับ ปัญญาของฝูงชน

ตัวพิมพ์เล็ก: สิ่งที่งานแฟร์ทำถูกต้องซึ่งการประชุมทำผิด

นี่คือคำถามที่ไม่สบายใจสำหรับใครก็ตามที่จัดการประชุม: การตัดสินใจในกลุ่มกี่ครั้งในองค์กรของคุณถูกจัดโครงสร้างเหมือนงานแฟร์ของกัลตัน — และกี่ครั้งถูกจัดโครงสร้างเหมือนตรงกันข้าม?

ที่งานแฟร์ การตัดสินใจแต่ละครั้งถูกบันทึกเป็นการส่วนตัว เป็นลายลักษณ์อักษร ก่อนที่ใครจะเห็นหมายเลขของคนอื่น ในการประชุมทั่วไป บุคคลที่มีตำแหน่งสูงสุดหรือมั่นใจที่สุดจะพูดก่อน และการ “ประเมิน” ต่อไปจะถูกยึดติดกับของพวกเขา สิ่งที่ดูเหมือนว่ามีคนเห็นด้วยสามสิบคนมักจะเป็นการคาดการณ์ของคนคนเดียวที่มีเสียงสะท้อนยี่สิบเก้า นักเศรษฐศาสตร์เรียกกลไกนี้ว่า การไหลของข้อมูล: เมื่อความคิดเห็นแรกๆ บางส่วนมองเห็นได้ มันกลายเป็นเรื่องที่มีเหตุผลสำหรับแต่ละคนถัดไปที่จะลดทอนข้อมูลของตนเองและคัดลอก — และความเป็นอิสระของฝูงชน ซึ่งเป็นเงื่อนไขที่สำคัญของปรากฏการณ์ทั้งหมด จะค่อยๆ ล่มสลาย (Bikhchandani, Hirshleifer & Welch, 1992) เราได้ครอบคลุมกลไกในคู่มือของเราเกี่ยวกับ การไหลของข้อมูล

นี่คือเหตุผลที่การทำซ้ำของการทดลองของกัลตันบางครั้งทำให้ผิดหวัง: การเล่นเกมการคาดการณ์น้ำหนักวัวด้วยค่าเฉลี่ยที่มองเห็นได้ หรือให้ผู้เข้าร่วมตะโกนการคาดการณ์ของพวกเขา ความแม่นยำจะลดลง เวทมนตร์ไม่ได้อยู่ที่ฝูงชน — มันอยู่ที่ โปรโตคอล หกเพนนี การ์ดส่วนตัว และกล่องลงคะแนนที่ล็อคไว้กลายเป็นสถาปัตยกรรมการตัดสินใจที่ดีกว่าห้องประชุมส่วนใหญ่

ทายาทสมัยใหม่ของวัว

หลักการรวมกลุ่มที่กัลตันบันทึกไว้ในปัจจุบันมีอยู่ในระบบสมัยใหม่ที่น่าทึ่ง:

แต่ละทายาทรวมสิ่งที่แตกต่างกัน — ตลาดรวมความเชื่อเป็นราคา กลุ่มรวมผลลัพธ์ของโมเดลเป็นการคาดการณ์ ระบบการลงคะแนนรวมความชอบเป็นผลลัพธ์ — และแต่ละคนสืบทอดความสัมพันธ์เดียวกัน: การรวมกลุ่มมีคุณภาพเท่ากับความเป็นอิสระและความหลากหลายของสิ่งที่ป้อนเข้าไป ความคล้ายคลึงกันในครอบครัวนี้คือเส้นทางของทั้งประเพณีการวิจัย ตั้งแต่ทฤษฎีของคอนดอร์เซต์ในปี 1785 ไปจนถึงการวิจัยปัญญาร่วมของ MIT’s Center for Collective Intelligence ในปัจจุบัน — เส้นโค้ง 240 ปีที่เราติดตามใน ปัญญาร่วม: 240 ปีของการวิจัย

วัวของกัลตันหมายถึงอะไรสำหรับทีมของคุณ

การแปลเชิงปฏิบัติของการทดลองในปี 1906 คือรายการตรวจสอบสั้นๆ และใช้ได้ในจุดเฉพาะในชีวิตของการตัดสินใจ — ช่วงเวลาที่คุณรวบรวมและรวมการตัดสินใจ ก่อนที่กลุ่มจะเริ่มอภิปราย:

• รวบรวมการประเมินอย่างอิสระเป็นลายลักษณ์อักษรก่อน. ก่อนการประชุม ก่อนที่บุคคลอาวุโสจะพูด ในขณะที่การตัดสินเริ่มปรากฏ ความเป็นอิสระ — และข้อได้เปรียบทางสถิติของฝูงชน — เริ่มเสื่อมสภาพ.
• สรรหามุมมองที่หลากหลายอย่างกระตือรือร้น. ทฤษฎีการคาดการณ์ความหลากหลายชัดเจน: ข้อได้เปรียบรวมของคุณเหนือสมาชิกเฉลี่ยของคุณ คือ ความหลากหลายของคุณ คณะกรรมการที่มีผู้คนที่มีพื้นฐานและข้อมูลเดียวกันคือการคาดเดาหนึ่งครั้งที่สวมป้ายชื่อหลายป้าย.
• เลือกกลไกการรวมของคุณอย่างรอบคอบ. ค่าเฉลี่ยสำหรับฝูงชนที่ยุ่งเหยิง, ค่าเฉลี่ยสำหรับฝูงชนที่มีระเบียบ, การให้คะแนนที่มีโครงสร้างเมื่อการตัดสินมีหลายมิติ. “เราหารือกันและบรรลุฉันทามติ” ไม่ใช่กลไกการรวม — มักจะเป็นกลไกการยึดเหนี่ยว.
• เก็บเหตุผลไว้ ไม่ใช่แค่ตัวเลข การ์ดของเกลตันบอกเขา ว่า ฝูงชนคิดอย่างไร แต่ไม่เคยบอก ทำไม สำหรับวัว นั่นก็โอเค สำหรับการตัดสินใจเชิงกลยุทธ์ เหตุผลคือส่วนที่คุณจะต้องใช้เมื่อสถานการณ์เปลี่ยนแปลง

จุดสุดท้ายนี้คือที่ที่การตัดสินใจร่วมสมัย การตัดสินใจร่วมกัน เกินกว่ากัลตัน อาร์กิวเมนทรีถูกสร้างขึ้นเพื่อให้ทีมมีโปรโตคอลงานแฟร์พร้อมเหตุผลที่แนบมา: ผู้เข้าร่วมมีส่วนร่วมในข้อโต้แย้ง อย่างอิสระและไม่ซิงโครไนซ์ — ก่อนที่ห้องจะรวมกัน — ในโครงสร้างต้นไม้ข้อดี/ข้อเสีย กลุ่มจะให้คะแนนแต่ละข้อโต้แย้งในมิติที่ชัดเจน (ความช่วยเหลือ ความชัดเจน ความถูกต้อง ความสมบูรณ์) และการให้คะแนนจะรวมกันเป็นคะแนนฉันทามติในลักษณะเดียวกับที่การ์ด 787 ใบรวมกันเป็น 1,207 ปอนด์ ตัวเลือกการมีส่วนร่วมแบบไม่ระบุชื่อช่วยปกป้องความเป็นอิสระจากลำดับชั้น และเส้นทางการตรวจสอบทั้งหมดรักษาสิ่งที่การแข่งขันวัวไม่สามารถทำได้: เหตุผล ที่อยู่เบื้องหลังตัวเลข

กัลตันไปที่งานแฟร์เพื่อพิสูจน์ว่าการตัดสินใจทั่วไปไม่สามารถเชื่อถือได้ เขาออกไปพร้อมกับหลักฐานที่แข็งแกร่งที่สุดที่ใครเคยผลิตได้ว่า — หากรวมกันอย่างถูกต้อง — มันสามารถเชื่อถือได้ เครื่องมือได้เปลี่ยนจากกล่องลงคะแนนเป็นซอฟต์แวร์ บทเรียนยังคงอยู่