Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

O cientista que queria provar que as multidões eram tolas

A melhor parte do experimento mais famoso em inteligência coletiva é que ele foi projetado — no espírito, pelo menos — para provar o oposto do que encontrou.

Em 1906, Francis Galton era um dos cientistas mais realizados da Grã-Bretanha. Primo de Charles Darwin, ele havia sido pioneiro nos conceitos estatísticos de correlação e regressão à média, inventou o mapa do tempo e colocou a identificação por impressões digitais em uma base científica. Ele também era — e isso importa para a história — profundamente cético em relação ao julgamento das pessoas comuns. Galton acreditava que a inteligência estava concentrada em uma pequena elite hereditária; ele cunhou o termo “eugenia” e passou décadas promovendo-o, um legado que é justamente condenado hoje e inseparável de como ele abordou essa questão. Quando ele aplicou suas ferramentas estatísticas a uma multidão, esperava documentar sua incompetência.

Assim, quando o Galton de 84 anos vagou pela Exposição de Gado e Aves do Oeste da Inglaterra em Plymouth no outono de 1906 e se deparou com uma competição de estimativa de peso, viu um conjunto de dados irresistível. Aqui estava uma multidão — alguns especialistas, a maioria não — fazendo centenas de julgamentos numéricos independentes sobre um fato, com uma pequena taxa de inscrição para mantê-los honestos e um prêmio para mantê-los motivados. Como ele escreveu mais tarde na Nature, o competidor médio provavelmente estava tão bem preparado para julgar o boi quanto um eleitor médio está para julgar os méritos da maioria das questões políticas sobre as quais vota. A analogia com a democracia era o ponto todo. Galton esperava que a vox populi — a voz do povo — se envergonhasse.

Uma feira do campo, um boi gordo e 787 ingressos de seis pence

A mecânica do concurso era simples e — como sabemos agora — acidentalmente próxima do design experimental ideal. Um boi vivo estava em exibição. Por seis pence, qualquer um poderia comprar um cartão numerado e carimbado, escrever seu nome e endereço nele e registrar sua estimativa de quanto o boi pesaria uma vez abatido e vestido — o número comercialmente significativo, e uma pergunta mais difícil do que o peso vivo do animal. As estimativas mais precisas ganhavam prêmios.

Três características dessa configuração merecem atenção, porque cada uma mapeia para uma condição que pesquisas posteriores mostrariam ser essencial para a precisão coletiva. Primeiro, a taxa de seis pence filtrou os brincalhões práticos — as pessoas tinham algo a perder. Em segundo lugar, cada cartão foi preenchido em particular: não houve votação, nenhum leiloeiro chamando um consenso em andamento, nenhum líder visível para copiar. Os julgamentos eram independentes. Em terceiro lugar, a multidão era genuinamente mista: açougueiros e fazendeiros com expertise profissional estavam ao lado de funcionários e famílias que eram, nas palavras de Galton, guiadas pela fantasia do momento. Os julgamentos eram diversos.

Após o concurso, Galton pegou os cartões emprestados. De aproximadamente 800, treze eram ilegíveis ou de outra forma defeituosos, deixando 787 estimativas válidas. Ele os organizou, tabulou, plotou sua distribuição e calculou seus quantis — um trabalho estatístico completo, publicado na Nature em 7 de março de 1907 sob o título “Vox Populi” (Galton, F., Nature, 75, 450–451).

O resultado que o surpreendeu

A estimativa mais central — o que agora chamamos de mediana — foi de 1.207 libras. O boi, abatido e vestido, pesava 1.198 libras. O veredicto coletivo da multidão estava errado por nove libras: um erro de cerca de 0,8%, mais próximo do que as estimativas dos especialistas em gado presentes.

Galton — para seu genuíno crédito como cientista — relatou o resultado de forma direta. “Este resultado é, eu acho, mais digno de crédito para a confiabilidade de um julgamento democrático do que poderia ter sido esperado,” ele escreveu. Vindo de um homem que passou sua carreira argumentando que um bom julgamento era um raro dom hereditário, a frase é uma concessão científica silenciosa: os dados superaram suas expectativas anteriores.

A história melhorou na correspondência que se seguiu. Leitores da Nature escreveram, e em sua resposta (“A Urna”, Nature, 75, 509) Galton reconheceu que a média aritmética de todas as 787 estimativas foi de 1.197 libras — uma libra a menos do peso verdadeiro. Um século depois, o econometrista Kenneth Wallis (“Revisitando a competição de previsão de Francis Galton,” 2014) revisitou os dados originais e a troca ao redor, confirmando os essenciais da história que James Surowiecki havia tornado famosa. O erro de uma libra da média é a versão geralmente citada hoje; o erro de nove libras da mediana é o que Galton realmente apresentou. Ambos são surpreendentes.

Mediana ou média? A escolha estatística de Galton ainda importa

Por que Galton preferiu a estimativa mais central? Seu raciocínio era explicitamente político: a mediana é o valor que a maioria da multidão ratificaria em uma votação. Todo outro valor seria derrotado por aqueles que achassem que é muito alto ou muito baixo. A mediana, em outras palavras, é o veredicto democrático da multidão — que era exatamente a questão sobre a vox populi que ele se propôs a testar.

Mas há um argumento estatístico escondido dentro do político, e ele ainda é ensinado hoje. A mediana é uma estatística robusta: um punhado de palpites absurdos — alguém escrevendo 10.000 libras para rir — mal a move, enquanto a média pode ser arrastada arbitrariamente longe por um único outlier. A média, por outro lado, usa mais da informação nos dados e, quando os erros são aproximadamente simétricos e independentes, os cancela de forma mais eficiente. A multidão de Galton se comportou bem o suficiente para que ambas funcionassem: a mediana errou por 9 lb, a média por 1 lb. Em multidões mais bagunçadas — enquetes online, fóruns não moderados — a robustez da mediana muitas vezes vence. Escolher seu mecanismo de agregação é uma decisão sobre quanto você confia nas caudas de sua multidão.

Por que a média funciona: a aritmética do cancelamento de erros

Não há misticismo no resultado de Galton. Cada palpite pode ser pensado como o valor verdadeiro mais um erro. Se os erros são independentes e espalhados em ambos os lados da verdade — alguns açougueiros superestimam, alguns subestimam — então somar os palpites cancela grande parte do erro enquanto o sinal compartilhado se acumula. Quanto mais diversos e independentes os erros, mais agressivamente eles se cancelam.

Scott Page mais tarde formalizou a intuição como o teorema da previsão da diversidade (Page, A Diferença, 2007): para erro quadrático, o erro coletivo é igual ao erro médio individual menos a diversidade das previsões. É uma identidade matemática, não uma afirmação empírica — o que a torna tão útil. Uma multidão supera seu membro médio exatamente na medida em que seus membros discordam entre si. A diversidade não é um item desejável; é, aritmeticamente, toda a vantagem. Uma multidão de clones não ganha nada com a agregação.

A mesma lógica havia sido descoberta, para perguntas de sim/não em vez de quantidades, mais de um século antes de Galton. O Marquês de Condorcet provou em 1785 que se cada eleitor é mesmo ligeiramente mais propenso do que a sorte a estar certo, e os eleitores julgam de forma independente, a probabilidade de que a maioria esteja certa aumenta em direção à certeza à medida que o grupo cresce. Contamos essa história — e as maneiras dramáticas como o teorema falha quando suas suposições quebram — em nossa peça complementar sobre o Teorema do Júri de Condorcet.

Da nota de rodapé ao quadro: as quatro condições de Surowiecki

Durante a maior parte do século XX, o boi de Galton era uma curiosidade estatística. Isso mudou em 2004, quando James Surowiecki abriu A Sabedoria das Multidões com a história de Plymouth e reuniu um século de evidências — de mercados de ações a motores de busca — de que as multidões podem ser sistematicamente inteligentes. Crucialmente, Surowiecki não afirmou que as multidões são sempre sábias. Ele identificou quatro condições que a feira de Galton satisfez acidentalmente, e que qualquer multidão sábia precisa intencionalmente:

Remova qualquer uma das condições e a multidão não apenas perde sua vantagem — pode se tornar ativamente pior do que seus membros, porque a agregação então amplifica um viés compartilhado em vez de cancelar erros independentes. Para a ciência completa das quatro condições e seus modos de falha, veja nosso guia sobre a sabedoria das multidões.

A letra miúda: o que a feira acertou que as reuniões erram

Aqui está a pergunta desconfortável para qualquer um que dirige reuniões: quantas decisões em grupo em sua organização são estruturadas como a feira de Galton — e quantas são estruturadas como o exato oposto?

Na feira, cada julgamento foi comprometido em particular, por escrito, antes que alguém visse o número de outra pessoa. Em uma reunião típica, a pessoa mais sênior ou mais confiante fala primeiro, e cada “estimativa” subsequente é ancorada na dela. O que parece ser trinta pessoas concordando é muitas vezes o palpite de uma pessoa com vinte e nove ecos. Economistas chamam o mecanismo de cascata de informação: uma vez que algumas opiniões iniciais são visíveis, torna-se racionalmente individual para cada pessoa subsequente descontar sua própria informação e copiar — e a independência da multidão, a condição essencial de todo o fenômeno, colapsa silenciosamente (Bikhchandani, Hirshleifer & Welch, 1992). Cobrimos a mecânica em nosso guia sobre cascatas de informação.

Isso também é por que as repetições do experimento de Galton às vezes decepcionam: execute o jogo de adivinhação do boi com uma média em andamento visível, ou deixe os participantes gritarem seus palpites, e a precisão se degrada. A mágica nunca esteve na multidão — estava no protocolo. Seis pence, um cartão privado e uma urna trancada se revelam uma arquitetura de decisão melhor do que a maioria das salas de conferência.

Descendentes modernos do boi

O princípio de agregação que Galton documentou agora percorre uma notável gama de sistemas modernos:

Cada descendente agrega algo diferente — mercados agregam crenças em preços, conjuntos agregam saídas de modelos em previsões, sistemas de votação agregam preferências em resultados — e cada um herda a mesma dependência: o agregado é tão bom quanto a independência e diversidade do que o alimenta. Essa semelhança familiar é a linha condutora de toda a tradição de pesquisa, desde o teorema de 1785 de Condorcet até a pesquisa em inteligência coletiva do Centro de Inteligência Coletiva do MIT hoje — um arco de 240 anos que traçamos em Inteligência Coletiva: 240 Anos de Pesquisa.

O que o boi de Galton significa para sua equipe

A tradução prática do experimento de 1906 é uma lista de verificação curta, e se aplica em um ponto específico na vida de uma decisão — o momento em que você coleta e combina julgamentos, antes que o grupo comece a deliberar:

• Coletar estimativas de forma independente, por escrito, primeiro. Antes da reunião, antes que a pessoa sênior fale. No momento em que os julgamentos se tornam visíveis, a independência — e a vantagem estatística da multidão — começa a decair.
• Recrute ativamente perspectivas diversas. O teorema da previsão da diversidade é claro: sua vantagem coletiva sobre seu membro médio é sua diversidade. Um painel de pessoas com o mesmo histórico e as mesmas informações é um palpite usando muitos crachás.
• Escolha seu mecanismo de agregação deliberadamente. Mediana para multidões desordenadas, média para aquelas bem comportadas, classificação estruturada quando os julgamentos têm múltiplas dimensões. “Discutimos e chegamos a um consenso” não é um mecanismo de agregação — geralmente é um mecanismo de ancoragem.
• Mantenha as razões, não apenas os números. Os cartões de Galton lhe disseram o que a multidão pensava, nunca por que. Para um boi, isso é aceitável. Para uma decisão estratégica, o raciocínio é a parte que você precisará quando as circunstâncias mudarem.

Esse último ponto é onde a moderna tomada de decisão colaborativa vai além de Galton. O Argumentree foi construído para dar a uma equipe o protocolo da feira com o raciocínio anexado: os participantes contribuem com argumentos independentemente e assíncronamente — antes que a sala converja — em uma árvore estruturada de prós e contras; o grupo então avalia cada argumento em dimensões explícitas (ajuda, clareza, precisão, completude), e as avaliações se agregam em pontuações de consenso da mesma forma que 787 cartões se agregaram em 1.207 libras. Opções de contribuição anônima protegem a independência da hierarquia, e o histórico completo preserva o que o concurso do boi nunca poderia: o porquê por trás do número.

Galton foi a uma feira para provar que o julgamento comum não podia ser confiável. Ele saiu com a evidência mais forte que alguém havia produzido até então de que — se agregado corretamente — pode. O instrumento mudou de uma urna para software. A lição não mudou.