裸差、A/B测试盲区、因果推断方法——产品复盘中的三大陷阱与破解之道。本文将深入剖析为何简单的数据对比会误导决策,揭示A/B测试在网络效应场景下的局限性,并手把手教你用PSM与DiD方法在历史数据中还原真相。当AI让数据分析门槛降低时,这些底层思维框架比算法更重要。 在做产品复盘时,你一定这么干过:一个功能上线两周,留存涨了三个百分点。你把这三个点写进PPT,标题是《XX功能成效复盘》。 没人会质疑这个数字,它真实存在。 但它衡量的是:效果 = 上线后 − 上线前。这个减法背后藏着一个几乎没人挑明的假设,这两周里,世界上唯一变了的,只有你的功能。 大盘没动,没有大促,没有新一轮投放,进来的用户和上个月还是同一批人。 上述任何一条不成立,那三个百分点里就混进了本不属于你的功劳。 这个没扣掉任何外部变化的差值,本文称之为裸差。 复盘里最贵的错误,就是把裸差当作效果。 接下来,我想讲清楚三件事:裸差为什么骗人,A/B测试为什么也不总能救你,以及当你只有历史数据时,怎么用因果推断逼近真相,同时避免被一个看起来很科学的结论误导。 一、裸差:复盘里的伪因果 先把公式拆开看。 效果 = 上线后...