Парадокс Симпсона: что это и примеры

Автор

Карл Пирсон и Удни Юл (ранние заметки); Эдвард Х. Симпсон (1951); Колин Блит (назвал это парадоксом), 1899, 1903, 1951, 1972

Уровень

301 · Продвинутый

Подходит

малый и средний бизнес, растущая компания

Время на внедрение

час: разбить одну главную метрику по основному сегменту и сравнить два прочтения

Что понадобится

сырые числа за одной главной долей: числитель и знаменатель, а не только процент · одно-два измерения, которые могут менять состав групп: канал, устройство, тариф или страна · человек, который знает, как клиентов распределяют по этим группам

Парадокс Симпсона — это когда сравнение, верное внутри каждой группы, меняет знак после сложения групп. Эффект заметили раньше, чем назвали. По истории от Перла, Карл Пирсон с коллегами в 1899 году и Удни Юл в 1903-м описали связи, которые исчезают при агрегировании, а Э. Х. Симпсон разобрал проблему в 1951 году. Перл добавляет, что смену знака впервые отметили Коэн и Нагель в 1934-м, а Колин Блит назвал это парадоксом в 1972 году.

Причина в арифметике. Общая доля — это среднее долей групп, взвешенное по числу случаев в каждой. Если у одной стороны сравнения состав групп другой, чем у второй, веса разные, и общая доля сравнивает непохожие совокупности. Здесь разобран этот случай и ещё четыре родственные ловушки, из-за которых среднее обманывает.

Данные о приёме в Беркли

Приём в аспирантуру Беркли в 1973 году выглядел предвзятым по отношению к женщинам, а цифры по кафедрам показали обратное. Бикель, Хаммель и О’Коннелл изучили 12 763 заявки, достаточно полные для решения. Подали 8442 мужчины и 4321 женщина, приняли около 44% мужчин и 35% женщин. В аннотации авторы называют это явной, но обманчивой картиной дискриминации женщин. После объединения данных по кафедрам с учётом решений самих кафедр они нашли небольшую, но статистически значимую предвзятость в пользу женщин.

Разворот проще всего увидеть на шести крупнейших кафедрах, их опубликовали как набор данных UCBAdmissions в R. Там приняли 1198 из 2691 мужчины (44,5%) и 557 из 1835 женщин (30,4%). На кафедре A приняли 512 из 825 мужчин (62%) и 89 из 108 женщин (82%). На кафедре F приняли 22 из 373 мужчин и 24 из 341 женщины, примерно 6% и 7%. Женщины чаще подавали заявки на кафедры с высоким отсевом, вроде F, а большинство мужчин выбирали кафедры вроде A и B, куда поступить было проще.

Причину авторы видят ещё до этапа приёма: в более раннем образовании и в том, в какие области направляли женщин.

Случай с камнями в почках

В исследовании Чарига общий результат говорил в пользу чрескожной нефролитотомии (ЧНЛТ), малоинвазивной процедуры, а не открытой операции. По размеру камня выигрывала открытая операция. Таблица ниже повторяет цифры так, как они напечатаны в обзоре 2023 года о парадоксе Симпсона в клинических исследованиях.

Крупные камни лечить труднее, и 263 из 343 пациентов с такими камнями (77%) получили открытую операцию. Мелкие камни в основном достались ЧНЛТ. Джулиус и Малли в 1994 году использовали эти данные, чтобы показать, почему размер камня нужно учитывать.

Какой цифре верить

Одни данные этого не решают. В статье Стэнфордской философской энциклопедии о парадоксе отмечено: делить ли данные, зависит от причинных допущений о связи переменных. Если выбор кафедры следует из пола, кафедра становится медиатором (посредником), и для некоторых вопросов учитывать её может быть ошибкой. Перл говорит о том же: парадокс снимается причинной моделью, а одна статистика её не даёт. К похожему выводу приходят в эпидемиологии Эрнан, Клейтон и Кейдинг: ошибки возникают, когда проблему рассматривают только в статистических терминах.

Рабочее правило такое. Если что-то вне вашего контроля разложило случаи по группам раньше результата, как размер камня разложил пациентов, читайте разбивку. Если группа — часть того, как получается результат, сначала задайте причинный вопрос. Рандомизация, то есть случайное распределение по вариантам, убирает ту сортировку, из-за которой возникла задача про камни. Поэтому чистый эксперимент, прочитанный с оглядкой на статистическую значимость, надёжнее сырого сравнения.

Сдвиг состава в бизнес-метриках

Сдвиг состава — это парадокс Симпсона, где сравнение идёт во времени: состав случаев меняется, и общая доля движется, хотя ни один сегмент не изменился. Публичный пример задокументировали фон Кюгельген, Грезеле и Шёлькопф. По данным о возрастных группах из Китая (на 17 февраля 2020 года) и Италии (на 9 марта) они показали: смертность среди заболевших Covid в Италии была ниже в каждой возрастной группе, но выше в целом, 4,4% против 2,3%, потому что подтверждённые случаи в Италии были старше. Ещё один пример даёт разбор Дауни по рядам реальных зарплат в США: с 2000 года реальные зарплаты в большинстве образовательных групп не росли или снижались, а в целом по стране росли, потому что состав сместился к более образованным работникам.

Для команды роста то же самое прячется в общей конверсии, доле одобрений, оттоке и выручке на пользователя. Дерево метрик помогает: каждый блок в нём — одно число с одним владельцем, так что общую долю можно разложить на объём и долю по сегментам. Когортный анализ применяет ту же идею по времени: сравнивает клиентов одного возраста, а не смесь старых и новых.

Ещё три ловушки из этого семейства

У ошибки выжившего долгая история в финансах. Браун, Гётцманн, Ибботсон и Росс показали в 1992 году, что выборка из одних уцелевших фондов может создать видимость предсказуемой доходности, которой нет, а Элтон, Грубер и Блейк в 1996 году изучили ту же ошибку на данных паевых фондов. Самый известный пример вне финансов — работа Абрахама Вальда о живучести самолётов в войну, которую в 1984 году изложили Мангел и Саманьего. Пробоины на вернувшихся самолётах показывают, куда можно попасть так, что самолёт всё равно вернётся.

Регрессия к среднему восходит к Гальтону, который в 1886 году описал возвращение к посредственности в росте детей. О том, как развивалась идея, рассказывает история Стиглера 1997 года. Барнетт с коллегами отмечают, что эффект часто встречается в повторных измерениях, а дизайн исследования способен его уменьшить. На практике кампания, запущенная после худшей недели, на следующей неделе будет выглядеть хорошо, ничего для этого не сделав.

Ловушка отношений — простая арифметика. Два сегмента с конверсией 20% на 10 визитах и 10% на 300 визитах дают в среднем 15%, если усреднять доли. Реальная общая доля — 32 конверсии из 310 визитов, около 10,3%.

Если хотите заложить такие проверки в отчётность, начните с плана Growth Lab.

Как применять: Парадокс Симпсона: что это и примеры по шагам

1. Возьмите числа, а не долю. Выгрузите числитель и знаменатель метрики по каждому периоду или варианту. Процент скрывает, сколько случаев за ним стоит. Результат: таблица чисел, по которой любой следующий шаг можно пересчитать.
2. Разбейте по самому вероятному измерению. Разделите метрику по тому измерению, которое с наибольшей вероятностью отличается у двух сравниваемых сторон: канал, устройство, тариф, страна. Результат: доли по сегментам рядом с общей долей.
3. Сравните состав. Для каждой стороны запишите, какая часть случаев приходится на каждый сегмент. Если доли сильно различаются, общая цифра сравнивает разные совокупности. Результат: таблица состава, где видно, какой сегмент вырос или сжался.
4. Проверьте, не меняется ли направление. Сравните общие доли и доли по сегментам. Если общее сравнение указывает в одну сторону, а большинство сегментов в другую, перед вами разворот. Результат: ясное «да» или «нет» на вопрос, можно ли цитировать общую цифру.
5. Решите, какое прочтение отвечает на ваш вопрос. Спросите, как люди попали в группы. Если распределение задал внешний фактор, например размер камня или источник трафика, верьте разбивке. Если группа формируется уже после воздействия, разбивка может спрятать эффект. Результат: одно предложение, где названо выбранное прочтение и причина.
6. Покажите оба числа. Выводите общую цифру и цифры по сегментам рядом, вместе с составом. Результат: строка в отчёте, которую следующий человек не прочтёт двумя способами.

Примеры

Лендинг и сдвиг трафика

Иллюстративный пример, цифры нужны только для арифметики. В первый месяц лендинг получает 1000 визитов с компьютеров с конверсией 10% и 1000 визитов с телефонов с конверсией 2%. Это 120 регистраций из 2000 визитов, то есть 6,0% в целом. Во второй месяц новая кампания приводит в основном мобильный трафик: 400 визитов с компьютеров при 11% (44 регистрации) и 3600 визитов с телефонов при 3% (108 регистраций). Оба сегмента улучшились, но 152 регистрации из 4000 визитов дают 3,8%. Страница стала лучше, а общая цифра упала.

Операции на почках в BMJ

В исследовании Чарига и коллег в BMJ за 1986 год открытая операция удалась у 273 из 350 пациентов (78%), а чрескожная нефролитотомия — у 289 из 350 (83%). Повторные разборы этих данных по размеру камня показывают, что открытая операция впереди в обеих группах: 93% против 87% для мелких камней и 73% против 69% для крупных. Врачи отправляли более трудные, крупные камни на открытую операцию, поэтому общая цифра сравнивала разных пациентов.

Доля одобрений платежей

Иллюстративный пример, реальная компания не подразумевается. Платёжная компания проводит 1000 карточных платежей в месяц через два направления. В первый месяц направление A проводит 800 платежей с одобрением 95%, а направление B — 200 платежей с одобрением 70%. Одобрено 900 из 1000, то есть 90%. Во второй месяц отдел продаж привлекает крупного мерчанта в направлении B. Теперь направление A проводит 300 платежей с одобрением 96% (одобрено 288), а направление B — 700 платежей с одобрением 72% (одобрено 504). Оба направления улучшились, а общая доля одобрений упала до 79,2%.

Когда применять

Применяйте всегда, когда общую долю или среднее сравнивают между двумя периодами, двумя вариантами или двумя группами, а люди или случаи в них не одинаковы. Особенно важно для дашбордов конверсии, одобрений, оттока и выручки на пользователя, а также перед любым решением урезать или финансировать что-то по общей цифре.

Когда не применять

Тяжёлую версию можно пропустить, когда группы одного размера и состава с обеих сторон, как в чистом рандомизированном тесте, или когда выборка так мала, что доли по сегментам — шум. Если разрезать крошечную выборку на шесть сегментов, закономерности придётся выдумывать. Тогда начните с вопросов о размере выборки и статистической значимости.

Частые ошибки

• Разбивать по всем доступным измерениям, пока что-нибудь не развернётся, и сообщать об этом развороте. Выбирайте измерение по тому, как клиентов распределяют, до того как посмотрели на результат.
• Всегда верить разбивке. Если сегмент сам вызван тем, что вы измеряете, как кафедра, выбранная из-за прежней подготовки абитуриента, то для некоторых вопросов правильное прочтение — общее.
• Называть долю без знаменателя, из-за чего 100% на трёх случаях выглядит так же, как 100% на трёх тысячах.
• Усреднять доли сегментов разного размера. Среднее из 20% на 10 визитах и 10% на 300 визитах — не 15%.
• Считать разворот доказательством причины. Данные показывают закономерность, а какое прочтение верно, подскажет только знание того, как данные получены.

Вопросы и ответы

Что такое парадокс Симпсона в статистике?

Это результат, при котором связь между двумя переменными появляется, исчезает или меняет знак, когда данные делят на подгруппы. Так его описывает Стэнфордская философская энциклопедия. Он возникает потому, что размеры групп по-разному взвешивают долю каждой подгруппы в общей цифре, и общая доля может указывать в обратную сторону.

Можно ли объяснить парадокс Симпсона простыми словами?

Победитель в целом может проигрывать в каждой группе. Если команда A играет в основном с лёгкими соперниками, а команда B с сильными, у A может быть лучший общий счёт и худший счёт против каждого типа соперника. Общий счёт смешивает то, с кем вы играли, и то, как вы играли.

Парадокс Симпсона — реальная проблема или просто головоломка?

Реальная. Данные о приёме в Беркли в 1973 году и смертность от Covid в Италии и Китае показали именно его. Кивит с коллегами считают, что в исследованиях он встречается чаще, чем принято думать, а в приведённой ими симуляции полные развороты нашлись примерно в 1,67% случайных таблиц 2x2x2.

Всегда ли нужно брать разбитые данные вместо общих?

Нет. Какое прочтение верно, зависит от того, как сформированы группы, а не от арифметики. Если случаи по группам разложил внешний фактор, разбивайте по этому фактору. Если группа лежит на пути от вашего действия к результату, на вопрос может отвечать общая цифра.

Чем ошибка выжившего отличается от парадокса Симпсона?

Ошибка выжившего — это проблема недостающих данных: вы видите только случаи, прошедшие фильтр, например фонды, которые не закрылись. Парадокс Симпсона — проблема смешивания: вы видите все случаи, но объединили непохожие группы. Оба дают обманчивые средние, и оба лечатся вопросом, кто есть в данных.

Источники

1. Peter J. Bickel, Eugene A. Hammel, J. William O'Connell, Sex Bias in Graduate Admissions: Data from Berkeley, Science 187(4175), 1975
2. C. R. Charig, D. R. Webb, S. R. Payne, J. E. Wickham, Comparison of Treatment of Renal Calculi by Open Surgery, Percutaneous Nephrolithotomy, and Extracorporeal Shockwave Lithotripsy, BMJ 292, 1986
3. S. A. Julious, M. A. Mullee, Confounding and Simpson's Paradox, BMJ 309, 1994
4. Stefanos Bonovas, Daniele Piovani, Simpson's Paradox in Clinical Research: A Cautionary Tale, Journal of Clinical Medicine 12(4), 2023
5. E. H. Simpson, The Interpretation of Interaction in Contingency Tables, Journal of the Royal Statistical Society Series B 13(2), 1951
6. G. Udny Yule, Notes on the Theory of Association of Attributes in Statistics, Biometrika 2(2), 1903
7. Colin R. Blyth, On Simpson's Paradox and the Sure-Thing Principle, Journal of the American Statistical Association 67(338), 1972
8. Judea Pearl, Understanding Simpson's Paradox, UCLA Technical Report R-414, 2013 (edited version in The American Statistician, 2014)
9. Miguel A. Hernán, David Clayton, Niels Keiding, The Simpson's Paradox Unraveled, International Journal of Epidemiology 40(3), 2011
10. Rogier A. Kievit, Willem E. Frankenhuis, Lourens J. Waldorp, Denny Borsboom, Simpson's Paradox in Psychological Science: A Practical Guide, Frontiers in Psychology, 2013
11. Stanford Encyclopedia of Philosophy, Simpson's Paradox
12. Julius von Kügelgen, Luigi Gresele, Bernhard Schölkopf, Simpson's Paradox in Covid-19 Case Fatality Rates: A Mediation Analysis of Age-Related Causal Effects, arXiv 2005.07180
13. R Documentation, UCBAdmissions: Student Admissions at UC Berkeley (datasets package)
14. R Documentation, ucberk: University California Berkeley Graduate Admissions (VGAM package)
15. Marc Mangel, Francisco J. Samaniego, Abraham Wald's Work on Aircraft Survivability, Journal of the American Statistical Association 79(386), 1984
16. Stephen J. Brown, William N. Goetzmann, Roger G. Ibbotson, Stephen A. Ross, Survivorship Bias in Performance Studies, Review of Financial Studies 5(4), 1992
17. Edwin J. Elton, Martin J. Gruber, Christopher R. Blake, Survivor Bias and Mutual Fund Performance, Review of Financial Studies 9(4), 1996
18. Francis Galton, Regression Towards Mediocrity in Hereditary Stature, Journal of the Anthropological Institute 15, 1886
19. Stephen M. Stigler, Regression Towards the Mean, Historically Considered, Statistical Methods in Medical Research 6(2), 1997
20. Adrian G. Barnett, Jolieke C. van der Pols, Annette J. Dobson, Regression to the Mean: What It Is and How to Deal with It, International Journal of Epidemiology 34(1), 2005
21. Allen B. Downey, Simpson's Paradox and Real Wages, Probably Overthinking It

Обновлено 20 октября 2026

Илья ПушинОснователь PUSHERS & COO Fintech ServiceИлья строит операционные системы для растущих компаний в медицине и финтехе. С 2021 года руководит трансграничными платежами в ARBI Exchange, лицензированном обменнике в Таиланде, включая KYC, AML и выход в новые юрисдикции.Об автореLinkedIn