数据不会骗人，但分组会——辛普森悖论
1973年，加州大学伯克利分校被起诉了。原因是那年的研究生录取数据显示了一个醒目的差异：
男性录取率 44%，女性录取率 35%。
差9个百分点。在统计学上，这几乎是板上钉钉的性别歧视。伯克利被推到风口浪尖。
然后一个叫Peter Bickel的统计学家接手了这个案子。他做了再正常不过的事——把数据按院系拆开，一份一份看。
结果让人目瞪口呆：
没有一个院系存在显著的性别歧视。
甚至大多数院系的女性和男性录取率是一样的。有些院系女性的录取率甚至更高。
怎么可能的？总数据是"女性录取率低9%"，拆开看却变成"没有差异"？
这是统计学史上最有名的一课——辛普森悖论。
01 悖论怎么发生的
原因很简单：女性申请的院系和男性不同。
伯克利的院系录取率差异极大——有些院系录取率高达60-70%，有些只有10-20%。女性大量申请的是人文社科院系（本来就是录取率低的），男性大量申请的是理工科院系（录取率高的）。
当把所有数据堆在一起算时，你其实在比较两组组成完全不一样的人。就像比较"纽约人的平均收入和阿拉巴马人的平均收入"一样——它反映的不是个体差异，而是群体结构差异。
换算成数字更直观：
| 院系 | 男性申请 | 男性录取率 | 女性申请 | 女性录取率 |
|---|---|---|---|---|
| 理工科 | 3000人 | 45% | 600人 | 44% |
| 文科 | 600人 | 25% | 3000人 | 26% |
| 合计 | 3600人 | 41.7% | 3600人 | 29% |
每个院系女性的录取率跟男性几乎一样，甚至略高。但总数据上看女性比男性低12个百分点。
秘密就在基数的不对称上。
02 这个悖论不只是数学把戏
辛普森悖论听起来像"统计学冷知识"，但它在现实中出现的频率高得吓人：
- 药物疗效：一种药在男性和女性身上都有效，但把数据合在一起看反而显示无效——因为男性（对药效果好的人群）在实验组中占比更少
- 反歧视诉讼：你看到"女性平均工资低于男性"，但按职级拆开，每个职级男女工资一样——差在女性集中在低职级
- 广告转化率：两个渠道的转化率都是A渠道高，但总数据说B渠道高——因为A渠道的流量集中在低转化时段
每一次，原因都一样：你拿来比较的两个群体，内部结构不一样。
03 那问题来了：到底哪个才是"真的"？
这是辛普森悖论最哲学的一刀。
伯克利的例子，总数据是"歧视"，分数据是"没有歧视"。法院应该信哪个？统计学上没有标准答案——它取决于你的问题是什么。
如果你的问题是"伯克利有没有性别歧视"，那应该看分数据——因为歧视的核心是"同样条件的人得到不同待遇"。
如果你的问题是"女性在伯克利录取中是否处于不利地位"，那总数据更有意义——因为它反映了女性申请者面临的真实局面：就算每个院系不歧视，整体录取率还是低。
同一个数据，两种分组方式，两个"正确"的结论。
数据本身不会骗人。但"怎么分组"——这是一个价值判断，不是一个数学问题。
04 你每天都在看"分组后的数据"
下次你看到任何统计结论，多问一句：这个数字是怎么分组的？
- "这个部门的绩效低于公司平均"——按职级拆开看看？是不是新人占比高？
- "这个策略的逾期率低于另一个"——按客群拆开看看？是不是它分到的客户本来就质量好？
- "今年的KPI达标率下降了"——按团队拆开看看？是不是重组后人员结构变了？
提出正确的问题，比看到正确的数据更重要。
辛普森悖论的另一个名字叫"Yule-Simpson效应"，以统计学家George Udny Yule命名。Yule在1903年就描述了这种现象——比Simpson早了半个世纪。但没人记得他。这大概也是统计学的一个悖论。