"Разнообразие превосходит способности" — одно из самых цитируемых — и самых оспариваемых — утверждений в науке о принятии решений. Сильный слоган опережает доказательства, но более слабое утверждение, которое выдерживает проверку, все еще имеет огромное значение: при сложных задачах производительность команды зависит меньше от ее самого умного члена, чем от того, думают ли ее участники по-разному и достигают ли эти различия фактически решения.
- Фактор c: групповой интеллект слабо коррелирует с IQ участников; процесс (очередность, социальная чувствительность) предсказывает больше — поддерживается мета-анализом 1,356 групп, все еще обсуждается
- Хонг-Пейдж: разнообразные группы могут превзойти группы "лучших участников" в сложных задачах — при модельных условиях, и математика теоремы была серьезно раскритикована
- Твердая основа: теорема предсказания разнообразия — коллективная ошибка = средняя ошибка − предсказательное разнообразие — это идентичность, а не мнение
- Практика: используйте разнообразие для сложных решений, экспертизу для рутинных, и структурируйте процесс так, чтобы различные мнения фиксировались независимо и оценивались по достоинству
Самое соблазнительное утверждение в науке управления
Каждый лидер чувствовал притяжение простой теории подбора кадров: наймите самых умных людей, которых сможете найти, поместите их в одну комнату, и лучшие решения последуют. Это очевидно. Но это, в лучшем случае, наполовину правда. За последние два десятилетия ряд исследований по коллективному интеллекту пришел к неудобному выводу: интеллект команды не является суммой — или даже максимумом — интеллекта ее участников. Что-то еще выполняет большую часть работы, и это что-то похоже на различие: различная информация, различные эвристики, различные способы ошибаться.
Это открытие стало слоганом — "разнообразие превосходит способности" — который затем сделал то, что делают слоганы: он отделился от своих условий и свободно поплыл в ключевые презентации. Ответная реакция была столь же масштабной, отвергая всю линию исследований как политизированную математику. Оба крайности ошибочны, и истина посередине действительно полезна. Эта статья проходит через две исследовательские программы, стоящие за утверждением — фактор коллективного интеллекта "c" и теорему Хонг-Пейдж — включая критику, которая обычно остается за пределами, и заканчивается тем, что внимательный читатель может на самом деле взять с собой в решение о найме или проектировании команды.
Фактор c: команды имеют собственный интеллект
В 2010 году Анита Уильямс Уолли, Кристофер Чабрис, Алекс Пентленд, Нада Хашми и Томас Мэлоун опубликовали исследование в Science, которое задавало обманчиво простой вопрос: если у индивидуумов есть общий фактор интеллекта (психометрический g), есть ли он и у групп? Они протестировали 699 человек, работающих в группах по два-пять человек, на широком наборе задач — мозговой штурм, моральное рассуждение, переговоры, головоломки — и затем проверили, предсказывает ли производительность группы в одной задаче ее производительность в других.
Это так. Один статистический фактор — который они назвали c, для коллективного интеллекта — объяснял примерно 43% вариации в производительности группы по задачам. Удивительным было то, что c не отслеживался: он слабо коррелировал как со средним интеллектом участников группы, так и с интеллектом самого умного участника. Вместо этого c предсказывали три свойства самой группы: средняя социальная чувствительность участников (измеренная с помощью теста "Чтение разума в глазах"), равенство очередности в разговоре — группы, доминируемые одним или двумя голосами, набирали меньше — и доля женщин в группе, эффект, статистически опосредованный социальной чувствительностью.
Читая внимательно, это не утверждение о том, что способности не имеют значения. Это утверждение о том, что на уровне команды способности не являются узким местом. Узким местом является то, может ли группа извлечь и объединить то, что знают ее участники — что является свойством процесса, а не любого отдельного черепа.
Борьба за воспроизведение, о которой вы не слышите в ключевых выступлениях
Фактор c прошел через настоящую научную борьбу, и честность требует его упоминания. В 2017 году Маркус Креде и Гарретт Ховардсон повторно проанализировали данные из шести ранее опубликованных образцов и утверждали, что эмпирическая поддержка общего фактора коллективного интеллекта слаба — что один фактор объясняет небольшую вариацию по многим групповым задачам, и что конструкция может быть частично артефактом выбора оценок. Уолли, Ёнчжон Ким и Мэлоун ответили в 2018 году, утверждая, что критика основывалась на процедуре оценки и предположениях моделирования, которые не соответствовали задачам, которые группы на самом деле выполняли.
Самые значительные доказательства с тех пор — это мета-анализ 2021 года в PNAS Кристофа Ридла, Ён Джи Кима, Пранава Гупты, Томаса Мэлоуна и Аниты Уолли, охватывающий 22 исследования и 1,356 групп — студентов университетов, военнослужащих, онлайн-работников и геймеров. Он нашел последовательные доказательства фактора c среди этих популяций, при этом процессы группового сотрудничества и навыки участников оба вносят вклад. Где это оставляет практикующего? Конструкция поддерживается большим мета-анализом и все еще обсуждается в своей структуре — примерно так же, как g сам по себе стоял десятилетиями. То, что не обсуждается серьезно, это основная закономерность: IQ участников является удивительно плохим предсказателем производительности команды, а процесс взаимодействия является удивительно хорошим.
“Разнообразие превосходит способности”: что на самом деле доказали Хонг и Пейдж
Второй столп аргументации разнообразия исходит из экономики и науки о сложности. В 2004 году Лу Хонг и Скотт Пейдж опубликовали статью в PNAS с запоминающимся заголовком "Группы разнообразных решателей проблем могут превзойти группы решателей проблем с высокой способностью." Они построили вычислительные модели, в которых агенты, оснащенные различными эвристиками решения проблем, искали сложный ландшафт решений. Каждый агент поднимается, пока не застрянет; затем другой агент берет на себя с этого момента с другими ходами.
Результат: при условиях модели случайно выбранная группа агентов — случайный отбор гарантирует эвристическое разнообразие — превзошла группу, состоящую из индивидуально лучших исполнителей. Механизм интуитивен, как только его увидишь: лучшие индивидуальные исполнители, как правило, учат похожие эвристики, поэтому они застревают на одних и тех же локальных оптимумах. Команда клонов, как бы талантлива она ни была, ищет как один разум. Однако члены разнообразной команды выручают друг друга из своих тупиков.
Но условия имеют значение, и сам Пейдж был более ясным в этом, чем его популяризаторы: проблема должна быть действительно сложной (никто не может решить ее в одиночку), агенты должны быть все разумно способными (разнообразие среди невежественных не помогает), пул, из которого команда формируется, должен быть большим, и обстановка должна быть итеративным решением проблем, где агенты строят на позициях друг друга. "Любая разнообразная группа превосходит любую экспертную группу" — это не то, что было доказано, и трактовать это таким образом ставит утверждение под угрозу.
Контратакa: теорема под огнем
В 2014 году математик Абигейл Томпсон опубликовала резкую критику в Notices of the American Mathematical Society (том 61, № 9, стр. 1024–1030) под заголовком "Превосходит ли разнообразие способности? Пример неправильного использования математики в социальных науках." Ее аргумент имел два аспекта. Во-первых, что формальная теорема в статье Хонг-Пейдж, как только ее предположения разобраны, близка к тривиальной — по ее мнению, условия фактически встраивают вывод, а математическое содержание тонкое для социального веса, который на него возлагается. Во-вторых, что симуляции, поддерживающие более широкое утверждение, чувствительны к выбору параметров и не позволяют делать обширные выводы.
Критика вызвала свои собственные ответы. Запись 2017 года в Critical Review Дэниела Кюэна утверждала, что математические возражения Томпсон были различно неверными, вводящими в заблуждение или не относящимися к тому, как формальные модели функционируют в социальных науках — где ценность модели заключается в механизме, который она изолирует, а не в глубине ее доказательства. Философы науки, работающие над эпистемическими сообществами, включая Дэниела Сингера, разработали связанные модели, в которых ценность разнообразия сохраняется в модифицированных формах.
Наше чтение, для того, что нужно практикующему: теорема слабее, чем ее название, механизм реален и наблюдаем, а обширный слоган следует отложить в сторону в пользу условного утверждения. Когда вы сталкиваетесь с трудной, многомерной проблемой и ваш пул кандидатов глубок, команда, отобранная для взаимодополняющих способов мышления, часто будет лучше исследовать пространство решений, чем команда, отобранная исключительно по индивидуальным оценкам — потому что индивидуальные оценки группируют людей, которые думают похоже. Это утверждение не требует чрезмерной теоремы, и следующий раздел показывает, почему.
Математика, с которой никто не спорит: теорема предсказания разнообразия
Уберите оспариваемые модели, и останется один кусок математики, с которым никто не спорит, потому что это идентичность — алгебра, а не эмпирика. Скотт Пейдж называет это теоремой предсказания разнообразия (в The Difference, 2007). Для любой группы, делающей численные оценки, с ошибкой, измеряемой как квадратное расстояние от истины:
Коллективная ошибка = Средняя индивидуальная ошибка − Предсказательное разнообразие
где предсказательное разнообразие — это дисперсия индивидуальных оценок вокруг средней оценки группы
Два следствия вытекают прямо из этого. Во-первых, агрегированная оценка группы всегда как минимум так же точна, как и у ее среднего участника — толпа не может быть хуже, чем типичный индивидуум, хотя она может быть хуже, чем лучший. Во-вторых, при фиксированной индивидуальной точности каждое увеличение подлинного несогласия механически уменьшает коллективную ошибку. Разнообразие не является бонусом для хорошего самочувствия в этом уравнении; это один из двух терминов. Группа точных клонов и группа умеренно точных контрариев могут достичь одинаковой коллективной ошибки разными путями.
Засада — и это та же засада, которая проходит через все эти исследования — это слово подлинный. Теорема вознаграждает разнообразие предсказаний, что требует разнообразия информации и моделей. Если все читают одни и те же три источника, их предсказания сближаются, термин разнообразия коллапсирует, и толпа деградирует в эхо. Это именно тот режим неудачи, который задокументирован в литературе о мудрости толпы: коррелированные ошибки не отменяются, они накапливаются.
Когда разнообразие помогает
Проблема сложная и многогранная
Стратегия, дизайн продукта, политика, диагностика новых ситуаций — проблемы, где ни одна точка зрения не охватывает всю картину. Разные эвристики застревают на разных этапах, поэтому тупик одного участника является стартовой позицией другого.
Ошибки некоррелированы
Математический механизм коллективной точности — это отмена ошибок. Если участники опираются на разные источники информации и разные ментальные модели, их ошибки указывают в разные стороны и частично компенсируются в совокупности.
Разнообразие действительно когнитивно
Разное обучение, разные отрасли, разные местные знания, разные инструменты. Важно для предсказания и решения проблем — это разнообразие в том, как люди думают, а не разнообразие на бумаге, которое заставляет всех рассуждать на основе идентичных источников.
Процесс позволяет проявиться разнообразным мнениям
Исследования Уолли показывают, что процесс имеет значение: равное распределение очереди и социальная чувствительность предсказывают групповую эффективность. Разнообразная команда, доминируемая одним громким голосом, работает как команда из одного человека.
Когда это не так — часть, которую оставляет слоган
Честный отчет должен включать затраты, потому что они реальны и являются причиной того, что разнообразные команды иногда показывают худшие результаты, чем однородные на практике, даже когда теория благоприятствует им.
Затраты на координацию превышают выгоду
Разнообразные группы тратят больше времени на создание общего языка и доверия. Для рутинных, хорошо понятных задач выполнение таких действий приносит мало пользы — нет скрытой перспективы, которую можно было бы найти.
Нет психологической безопасности
Разные мнения полезны только в том случае, если они озвучиваются. В командах, где выражение несогласия кажется рискованным, разнообразие приводит к молчанию и трению — затраты без информации.
Проблема имеет известный лучший метод
Когда у одного человека есть однозначная, проверенная экспертиза, и задача находится в его области, добавление мнений создает шум. Экспертиза должна определять решения, которые она действительно охватывает.
Модель в организационной литературе согласуется с моделями: преимущества разнообразия зависят от сложности задачи и качества процесса, а его затраты предшествуют (координация, конфликт, медленное формирование норм), в то время как его преимущества приходят позже (лучший поиск, меньше слепых зон). Команды, которые рано сдаются, захватывают затраты и упускают выгоду.
Когнитивное разнообразие не является демографическим разнообразием
Различие, которое сохраняет эту дискуссию честной: вышеупомянутое исследование касается когнитивного (или эпистемического) разнообразия — различий в информации, обучении, эвристиках и ментальных моделях. Демографическое разнообразие — это другая переменная. Две переменные коррелируют в реальном мире, потому что жизненный опыт формирует информацию и перспективу, но они не взаимозаменяемы, и самые сильные эффекты исследований относятся к когнитивному разнообразию. Демографически разнообразная команда, опирающаяся на идентичные источники и идентичное обучение, может быть когнитивно однородной; демографически схожая команда может содержать инженера, юриста и полевого оператора, которые не согласны по всем важным вопросам. Также обратите внимание, что корреляты фактора c Уолли — социальная чувствительность и очередность — касаются процесса, а не состава любого из типов. Для более глубокого рассмотрения различия и исследований, стоящих за ним, смотрите наше руководство по эпистемическому разнообразию.
Что на самом деле делать: составление и управление командой
Переводя защищаемую суть этого исследования в практику, мы получаем советы, которые менее цитируемы, чем слоган, но гораздо более надежны:
Сортируйте решения перед подбором кадров
Сложные, значимые, многомерные решения получают разнообразную группу. Рутинные решения в рамках проверенной экспертизы одного человека получают эксперта. Применение разнообразия без разбора приводит к затратам на координацию без информационной выгоды.
Нанимайте для взаимодополняющих эвристик
При найме четвертого аналитика вопрос не в том, "является ли она самым умным кандидатом?", а в том, "думает ли она так, как не думают первые трое?" Предельная ценность заключается в охвате не исследованной территории.
Защищайте независимость перед обсуждением
Соберите оценки и аргументы индивидуально, в письменной форме, до того, как группа соберется. Термин разнообразия в теореме предсказания существует только в том случае, если мнения формируются до того, как социальное влияние их сгладит.
Организуйте процесс, а не только состав участников
Корреляты Вулли являются процессными переменными: сбалансированное распределение времени, внимание к сигналам друг друга. Разнообразный состав, работающий как монолог, показывает результаты, как однородный. Структурируйте участие так, чтобы каждая точка зрения была действительно извлечена.
Сделать разнообразный вклад значимым: структура как множитель
Обратите внимание, что каждая практическая рекомендация выше касается захвата разнообразия, а не просто его сборки. Вот где структурированные методы оправдывают себя. В карте аргументов каждый заинтересованный участник вносит свои рассуждения независимо — до того, как встреча сосредоточится на лидере — и каждый аргумент стоит или падает на основе своей оцененной ценности, а не на основе старшинства того, кто его предложил. Это разрывает связь статуса и влияния, позволяя одному уверенно звучащему голосу гомогенизировать разнообразную аудиторию.
Argumentree реализует именно этот шаблон для коллективного принятия решений: многопользовательский вклад собирается асинхронно и независимо, аргументы организуются в общее дерево «за/против», а многомерные оценки (полезность, ясность, точность, полнота) агрегируются в консенсусные баллы. Разнообразие, которое вы наняли, становится информацией, которую ваше решение действительно использует — с полным аудитом, показывающим, какие точки зрения сформировали результат. И поскольку взносы могут быть сделаны на 66 языках, пул точек зрения не ограничивается теми, кто свободно владеет языком встречи.
Для более длинной линии исследований, на которые опирается эта статья — от теоремы жюри Кондорсе до современных команд человек-ИИ — смотрите нашу сопроводительную статью, Коллективный интеллект: 240 лет исследований.
Часто задаваемые вопросы
Действительно ли разнообразие превосходит способности в командах?
Иногда, при определенных условиях — и честный ответ заключается в том, что сильный слоган опережает доказательства. Модель Хонга и Пейджа 2004 года показала, что для сложных задач, с способными агентами, выбранными из большого пула, когнитивно разнообразная группа может превзойти группу индивидуально лучших исполнителей, потому что лучшие исполнители, как правило, думают похоже и застревают в одних и тех же местах. Но результат зависит от этих условий модели, и его математическая формулировка была серьезно подвергнута критике. То, что выдерживает проверку, слабее, но все же важно: при сложных задачах разнообразные точки зрения с некоррелированными ошибками добавляют реальную ценность, которую индивидуальная способность не может уловить.
Что такое c-фактор в исследованиях коллективного интеллекта?
c-фактор — это предложенный общий фактор коллективного интеллекта для команд, аналогичный g-фактору для индивидуумов. Вулли и коллеги (Science, 2010) протестировали 699 человек в малых группах по многим задачам и обнаружили единственный статистический фактор, объясняющий примерно 43% вариации в производительности группы. Удивительно, что c слабо коррелировал со средней и максимальной интеллектуальной способностью участников — и более сильно с средней социальной чувствительностью, равенством в распределении времени разговора и долей женщин в группе.
Было ли воспроизведено исследование c-фактора?
Это активная научная дискуссия. Креде и Ховардсон (2017) повторно проанализировали шесть выборок и утверждали, что доказательства общего фактора слабы. Вулли, Ким и Мэлоун (2018) ответили, что критика основывалась на оценках и предположениях моделирования, которые не соответствуют задачам. Мета-анализ 2021 года Ридла и коллег в PNAS, охватывающий 22 исследования и 1356 групп, нашел поддержку для c-фактора среди студентов, военных, геймеров и онлайн-работников. Поддерживаемый большим мета-анализом, все еще оспариваемый в своей структуре — это точное резюме.
Что такое теорема Хонг-Пейджа "разнообразие превосходит способности"?
В статье PNAS 2004 года Лю Хонг и Скотт Пейдж построили вычислительные модели агентов, решающих сложные задачи с различными эвристиками. При заданных условиях — сложная задача, индивидуально способные агенты и большой пул для выбора — случайно выбранная (и, следовательно, когнитивно разнообразная) группа превзошла группу индивидуально лучших исполнителей, потому что лучшие исполнители использовали похожие эвристики и застревали на одних и тех же локальных оптимумах. Это результат модели о разнообразии в решении проблем, а не универсальный закон о найме.
Какова критика теоремы Хонг-Пейджа?
В 2014 году математик Абигейл Томпсон опубликовала критику в Notices of the American Mathematical Society, утверждая, что математическая теорема статьи по сути тривиальна, как только ее предположения разобраны, что она неправильно обозначена как касающаяся разнообразия, и что сопутствующие симуляции не поддерживают широкие социальные утверждения, сделанные от имени теоремы. Защитники — включая ответ 2017 года в Critical Review — возразили, что возражения неверно интерпретируют, как формальные модели используются в социальных науках. Скотт Пейдж сам осторожно определяет результат: он справедлив для сложных задач, способных агентов и больших пулов.
Что такое теорема предсказания разнообразия?
Это математическая идентичность, популяризированная Скоттом Пейджем в книге "Разница" (2007), которая разлагает ошибку предсказания группы: квадратная ошибка коллектива равна средней индивидуальной квадратной ошибке минус разнообразие предсказаний. Ничего в этом не является спорным — это алгебра. Практическое значение: толпа более точна, чем ее средний участник, когда предсказания действительно расходятся, и при постоянной индивидуальной точности большее разнообразие предсказаний всегда снижает коллективную ошибку.
Как команды могут на самом деле извлечь выгоду из когнитивного разнообразия?
Соответствуйте разнообразие задаче: используйте разнообразный вклад для сложных, значительных, многомерных решений и позвольте проверенной экспертизе вести рутинные. Собирайте суждения независимо до группового обсуждения, чтобы точки зрения оставались некоррелированными. Создайте условия, при которых несогласие безопасно и ожидаемо. И оценивайте взносы по их достоинствам, а не по их источнику — структурированные методы, такие как картирование аргументов, где каждый аргумент оценивается на основе доказательств и рассуждений, а не ранга того, кто его предложил, превращают разнообразие из трения в информацию.
Argumentree Team
Decision Science
The Argumentree team explores the science of better decisions—from 18th-century mathematics to modern AI.
Преобразуйте разнообразные точки зрения в лучшие решения.
Argumentree собирает независимый вклад от каждого заинтересованного участника и оценивает аргументы по их ценности — так что разнообразие, которое вы наняли, действительно достигает решения.
Начать бесплатный 14-дневный пробный период →Связанные статьи
Мудрость толпы: Овца Гальтона — Эксперимент 1906 года, который доказал, что толпы превосходят экспертов
Теорема жюри Конкорсе: 240-летняя математика, стоящая за лучшими решениями
Когда толпы идут не так: пузыри, каскады и безумие стад
По всему экосистемеАнсамбли LLM
Теорема о превосходстве разнообразия над способностями объясняет, почему ансамбль различных LLM превосходит один более сильный.