Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

Nhà khoa học muốn chứng minh đám đông là ngu ngốc

Phần tốt nhất của thí nghiệm nổi tiếng nhất trong trí tuệ tập thể là nó được thiết kế — ít nhất là về tinh thần — để chứng minh điều ngược lại với những gì nó tìm thấy.

Đến năm 1906, Francis Galton là một trong những nhà khoa học xuất sắc nhất ở Anh. Là một người họ hàng của Charles Darwin, ông đã tiên phong trong các khái niệm thống kê về tương quan và hồi quy về trung bình, phát minh ra bản đồ thời tiết, và đặt nền tảng cho việc nhận diện dấu vân tay. Ông cũng — và điều này quan trọng cho câu chuyện — rất hoài nghi về phán quyết của người dân bình thường. Galton tin rằng trí thông minh tập trung trong một nhóm tinh hoa di truyền nhỏ; ông đã đặt ra thuật ngữ “di truyền học” và dành hàng thập kỷ để thúc đẩy nó, một di sản ngày nay bị lên án đúng mực và không thể tách rời khỏi cách ông tiếp cận câu hỏi này. Khi ông áp dụng các công cụ thống kê của mình vào một đám đông, ông mong muốn ghi lại sự bất tài của nó.

Vì vậy, khi Galton 84 tuổi đi lang thang qua Triển lãm Gia súc và Gia cầm ở Tây nước Anh tại Plymouth vào mùa thu năm 1906 và gặp một cuộc thi ước lượng trọng lượng, ông đã thấy một tập dữ liệu không thể cưỡng lại. Đây là một đám đông — một số là chuyên gia, hầu hết không phải — đưa ra hàng trăm phán quyết số độc lập về một vấn đề thực tế, với một khoản phí vào cửa nhỏ để giữ cho họ trung thực và một giải thưởng để giữ cho họ có động lực. Như ông đã viết sau này trong Nature, người tham gia trung bình có lẽ cũng phù hợp để đánh giá con bò như một cử tri trung bình đánh giá các vấn đề chính trị mà họ bỏ phiếu. Sự tương đồng với dân chủ là toàn bộ điểm. Galton mong đợi vox populi — tiếng nói của nhân dân — sẽ tự làm xấu hổ.

Một hội chợ nông thôn, một con bò béo, và 787 vé sáu xu

Cách thức của cuộc thi rất đơn giản, và — như chúng ta đã biết — vô tình gần như là thiết kế thí nghiệm lý tưởng. Một con bò sống được trưng bày. Với sáu xu, bất kỳ ai cũng có thể mua một thẻ có dấu và số, viết tên và địa chỉ của họ lên đó, và ghi lại ước lượng của họ về trọng lượng của con bò khi được giết mổ và chế biến — con số có ý nghĩa thương mại, và là một câu hỏi khó hơn so với trọng lượng sống của động vật. Những ước lượng chính xác nhất sẽ nhận được giải thưởng.

Ba đặc điểm của cách thiết lập này đáng được chú ý, vì mỗi đặc điểm đều tương ứng với một điều kiện mà nghiên cứu sau này sẽ chỉ ra là cần thiết cho độ chính xác tập thể. Đầu tiên, khoản phí sáu xu đã lọc ra những kẻ đùa giỡn thực sự — mọi người có một phần trong trò chơi. Thứ hai, mỗi thẻ được điền một cách riêng tư: không có sự giơ tay, không có người đấu giá gọi ra một sự đồng thuận đang diễn ra, không có người dẫn đầu rõ ràng để sao chép. Các phán quyết là độc lập. Thứ ba, đám đông thực sự đa dạng: những người bán thịt và nông dân có chuyên môn đứng cạnh các nhân viên văn phòng và gia đình, những người mà theo lời Galton, được hướng dẫn bởi sự hứng thú của khoảnh khắc. Các phán quyết là đa dạng.

Sau cuộc thi, Galton đã mượn các thẻ. Trong khoảng 800 thẻ, mười ba thẻ không thể đọc được hoặc bị lỗi, để lại 787 ước lượng hợp lệ. Ông đã phân loại chúng, lập bảng, vẽ phân phối của chúng, và tính toán các phân vị của chúng — một công việc thống kê đầy đủ, được công bố trong Nature vào ngày 7 tháng 3 năm 1907 với tiêu đề “Vox Populi” (Galton, F., Nature, 75, 450–451).

Kết quả khiến ông ngạc nhiên

Ước lượng trung bình — cái mà chúng ta gọi là trung vị — là 1,207 pounds. Con bò, sau khi được giết mổ và chế biến, nặng 1,198 pounds. Phán quyết tập thể của đám đông lệch chín pounds: một sai sót khoảng 0.8%, gần hơn so với các ước lượng của các chuyên gia gia súc có mặt.

Galton — để ghi nhận thực sự của ông như một nhà khoa học — đã báo cáo kết quả một cách thẳng thắn. “Kết quả này, tôi nghĩ, đáng ghi nhận hơn về độ tin cậy của một phán quyết dân chủ hơn những gì có thể đã được mong đợi,” ông viết. Đến từ một người đã dành sự nghiệp của mình để lập luận rằng phán quyết đúng là một món quà di truyền hiếm có, câu này là một sự nhượng bộ khoa học nhẹ nhàng: dữ liệu đã đánh bại những gì ông đã nghĩ trước đó.

Câu chuyện trở nên tốt hơn trong thư từ tiếp theo. Độc giả của Nature đã viết thư, và trong phản hồi của ông (“Hộp phiếu,” Nature, 75, 509) Galton đã thừa nhận rằng trung bình mean của tất cả 787 ước lượng là 1,197 pounds — lệch một pound so với trọng lượng thực. Một thế kỷ sau, nhà kinh tế học Kenneth Wallis (“Xem lại cuộc thi dự đoán của Francis Galton,” 2014) đã xem lại dữ liệu gốc và các trao đổi xung quanh, xác nhận những điều cốt yếu của câu chuyện mà James Surowiecki đã làm nổi tiếng. Sự lệch một pound của trung bình là phiên bản thường được trích dẫn ngày nay; sự lệch chín pound của trung vị là điều mà Galton thực sự đã dẫn dắt. Cả hai đều đáng kinh ngạc.

Trung vị hay trung bình? Lựa chọn thống kê của Galton vẫn quan trọng

Tại sao Galton lại thích ước lượng trung bình? Lý do của ông rõ ràng là chính trị: trung vị là giá trị mà đa số đám đông sẽ phê duyệt trong một cuộc bỏ phiếu. Mọi giá trị khác sẽ bị bỏ phiếu ra bởi những người nghĩ rằng nó quá cao hoặc quá thấp. Nói cách khác, trung vị là phán quyết dân chủ của đám đông — điều mà chính là câu hỏi về vox populi mà ông đã đặt ra để kiểm tra.

Nhưng có một lập luận thống kê ẩn giấu bên trong lập luận chính trị, và nó vẫn được dạy ngày nay. Trung vị là một thống kê vững chắc: một vài ước lượng vô lý — ai đó viết 10,000 pounds để đùa — hầu như không làm nó thay đổi, trong khi trung bình có thể bị kéo đi xa bởi một ngoại lệ đơn lẻ. Trung bình, mặt khác, sử dụng nhiều thông tin hơn trong dữ liệu và, khi các sai sót gần như đối xứng và độc lập, bù trừ chúng hiệu quả hơn. Đám đông của Galton đã cư xử đủ tốt để cả hai đều hoạt động: trung vị lệch 9 lb, trung bình lệch 1 lb. Trong những đám đông lộn xộn hơn — các cuộc khảo sát trực tuyến, các diễn đàn không được điều chỉnh — tính vững chắc của trung vị thường thắng. Việc chọn cơ chế tổng hợp của bạn là một quyết định về mức độ bạn tin tưởng vào các đuôi của đám đông của bạn.

Tại sao việc trung bình hoạt động: toán học của việc bù trừ sai sót

Không có điều gì huyền bí trong kết quả của Galton. Mỗi ước lượng có thể được coi là giá trị thực cộng với một sai sót. Nếu các sai sót là độc lập và phân tán ở cả hai bên của sự thật — một số người bán thịt ước lượng quá cao, một số ước lượng quá thấp — thì việc cộng các ước lượng lại với nhau sẽ bù trừ nhiều sai sót trong khi tín hiệu chung tích lũy. Càng đa dạng và độc lập các sai sót, chúng càng bù trừ mạnh mẽ hơn.

Scott Page sau này đã chính thức hóa trực giác này như là định lý dự đoán đa dạng (Page, Sự khác biệt, 2007): đối với sai số bình phương, sai số của tập thể bằng sai số trung bình của từng cá nhân trừ đi sự đa dạng của các dự đoán. Đây là một định lý toán học, không phải một tuyên bố thực nghiệm — điều này làm cho nó trở nên hữu ích. Một đám đông vượt qua thành viên trung bình của nó chính xác bằng mức độ mà các thành viên của nó không đồng ý với nhau. Đa dạng không phải là một điều tốt để có; nó là, về mặt toán học, toàn bộ lợi thế. Một đám đông của những bản sao không thu được gì từ việc tổng hợp.

Lý luận tương tự đã được phát hiện, cho các câu hỏi có/không thay vì số lượng, hơn một thế kỷ trước Galton. Marquis de Condorcet đã chứng minh vào năm 1785 rằng nếu mỗi cử tri thậm chí chỉ có khả năng đúng hơn một chút so với ngẫu nhiên, và các cử tri đánh giá độc lập, xác suất mà đa số đúng sẽ tăng lên gần như chắc chắn khi nhóm lớn lên. Chúng tôi kể câu chuyện đó — và những cách kịch tính mà định lý thất bại khi các giả định của nó bị phá vỡ — trong bài viết kèm theo của chúng tôi về Định lý Jury Condorcet.

Từ chú thích đến khuôn khổ: Bốn điều kiện của Surowiecki

Trong hầu hết thế kỷ 20, con bò của Galton là một sự tò mò thống kê. Điều đó đã thay đổi vào năm 2004, khi James Surowiecki mở đầu Trí tuệ của đám đông với câu chuyện Plymouth và tập hợp một thế kỷ bằng chứng — từ thị trường chứng khoán đến công cụ tìm kiếm — rằng đám đông có thể thông minh một cách có hệ thống. Quan trọng là, Surowiecki không tuyên bố rằng đám đông luôn luôn khôn ngoan. Ông đã xác định bốn điều kiện mà hội chợ của Galton đã đáp ứng một cách tình cờ, và bất kỳ đám đông khôn ngoan nào cũng cần có một cách có chủ đích:

Loại bỏ bất kỳ một điều kiện nào và đám đông không chỉ mất đi lợi thế của nó — nó có thể trở nên tồi tệ hơn so với các thành viên của nó, vì tổng hợp sau đó khuếch đại một thiên lệch chung thay vì bù trừ các sai sót độc lập. Để biết đầy đủ về khoa học của bốn điều kiện và các chế độ thất bại của chúng, hãy xem hướng dẫn của chúng tôi về trí tuệ của đám đông.

Chữ nhỏ: những gì hội chợ đã làm đúng mà các cuộc họp làm sai

Đây là câu hỏi khó chịu cho bất kỳ ai điều hành các cuộc họp: có bao nhiêu quyết định nhóm trong tổ chức của bạn được cấu trúc như hội chợ của Galton — và có bao nhiêu được cấu trúc như điều ngược lại?

Tại hội chợ, mỗi phán quyết được cam kết một cách riêng tư, bằng văn bản, trước khi bất kỳ ai thấy số của người khác. Trong một cuộc họp điển hình, người cao nhất hoặc tự tin nhất nói trước, và mọi “ước lượng” tiếp theo đều được neo vào của họ. Những gì trông giống như ba mươi người đồng ý thường là một ước lượng của một người với hai mươi chín tiếng vang. Các nhà kinh tế gọi cơ chế này là chuỗi thông tin: một khi một vài ý kiến ban đầu trở nên rõ ràng, trở nên hợp lý cho mỗi người tiếp theo để giảm giá trị thông tin của chính họ và sao chép — và sự độc lập của đám đông, điều kiện chịu tải của toàn bộ hiện tượng, lặng lẽ sụp đổ (Bikhchandani, Hirshleifer & Welch, 1992). Chúng tôi đề cập đến cơ chế trong hướng dẫn của chúng tôi về chuỗi thông tin.

Đây cũng là lý do tại sao các bản sao của thí nghiệm của Galton đôi khi gây thất vọng: chạy trò chơi ước lượng bò với một trung bình đang chạy rõ ràng, hoặc để người tham gia hét lên ước lượng của họ, và độ chính xác giảm sút. Phép màu không bao giờ nằm trong đám đông — nó nằm trong giao thức. Sáu xu, một thẻ riêng tư, và một hộp phiếu khóa lại hóa ra là một kiến trúc quyết định tốt hơn hầu hết các phòng hội nghị.

Những hậu duệ hiện đại của con bò

Nguyên tắc tổng hợp mà Galton đã ghi lại hiện đang chạy qua một loạt hệ thống hiện đại đáng chú ý:

Mỗi hậu duệ tổng hợp một cái gì đó khác nhau — các thị trường tổng hợp niềm tin thành giá cả, các tập hợp tổng hợp đầu ra mô hình thành dự đoán, các hệ thống bỏ phiếu tổng hợp sở thích thành kết quả — và mỗi cái đều thừa hưởng cùng một sự phụ thuộc: tổng hợp chỉ tốt như sự độc lập và đa dạng của những gì nuôi dưỡng nó. Sự tương đồng gia đình đó là sợi chỉ xuyên suốt của toàn bộ truyền thống nghiên cứu, từ định lý năm 1785 của Condorcet đến nghiên cứu trí tuệ tập thể của Trung tâm Trí tuệ Tập thể MIT ngày nay — một vòng cung 240 năm mà chúng tôi theo dõi trong Trí tuệ Tập thể: 240 Năm Nghiên cứu.

Ý nghĩa của con bò Galton đối với nhóm của bạn

Bản dịch thực tiễn của thí nghiệm năm 1906 là một danh sách kiểm tra ngắn, và nó áp dụng tại một thời điểm cụ thể trong cuộc sống của một quyết định — khoảnh khắc bạn thu thập và kết hợp các phán quyết, trước khi nhóm bắt đầu thảo luận:

• Thu thập ước lượng một cách độc lập, bằng văn bản, trước tiên. Trước cuộc họp, trước khi người có thẩm quyền phát biểu. Khoảnh khắc các phán đoán trở nên rõ ràng, sự độc lập — và lợi thế thống kê của đám đông — bắt đầu suy giảm.
• Tích cực tuyển dụng các quan điểm đa dạng. Định lý dự đoán sự đa dạng là thẳng thắn: lợi thế tập thể của bạn so với thành viên trung bình là sự đa dạng của bạn. Một hội đồng gồm những người có cùng nền tảng và cùng thông tin chỉ là một phỏng đoán mang nhiều thẻ tên.
• Chọn cơ chế tổng hợp của bạn một cách có chủ đích. Trung vị cho những đám đông lộn xộn, trung bình cho những đám đông cư xử tốt, đánh giá có cấu trúc khi các phán đoán có nhiều chiều. “Chúng tôi đã thảo luận và đạt được sự đồng thuận” không phải là một cơ chế tổng hợp — nó thường là một cơ chế neo.
• Giữ lý do, không chỉ là con số. Những thẻ của Galton cho ông biết cái gì đám đông nghĩ, nhưng không bao giờ tại sao. Đối với một con bò, điều đó thì ổn. Đối với một quyết định chiến lược, lý do là phần bạn sẽ cần khi hoàn cảnh thay đổi.

Điểm cuối cùng đó là nơi mà quyết định hợp tác hiện đại vượt xa Galton. Argumentree được xây dựng để cung cấp cho một nhóm giao thức hội chợ với lý do kèm theo: các thành viên đóng góp lập luận độc lập và không đồng bộ — trước khi phòng hội tụ — vào một cây pro/con có cấu trúc; nhóm sau đó đánh giá mỗi lập luận trên các chiều rõ ràng (hữu ích, rõ ràng, chính xác, đầy đủ), và các đánh giá tổng hợp thành điểm đồng thuận theo cách mà 787 thẻ đã tổng hợp thành 1,207 pounds. Các tùy chọn đóng góp ẩn danh bảo vệ sự độc lập khỏi hệ thống cấp bậc, và toàn bộ dấu vết kiểm toán bảo tồn điều mà cuộc thi bò không bao giờ có thể: tại sao đứng sau con số.

Galton đã đến một hội chợ để chứng minh rằng phán quyết bình thường không thể được tin tưởng. Ông đã rời đi với bằng chứng mạnh mẽ nhất mà bất kỳ ai đã sản xuất được rằng — nếu được tổng hợp đúng cách — nó có thể. Công cụ đã thay đổi từ một hộp phiếu sang phần mềm. Bài học thì không.