Target超市预测女孩怀孕

“大数据”智慧还是愚蠢？

2012年2月16日《纽约时报》刊登了Charles Duhigg撰写的一篇题为《这些公司是如何知道您的秘密的》How Companies Learn Your Secrets的报道。文中介绍了这样一个故事

一天一位男性顾客怒气冲冲地来到一家折扣连锁店Target中文常译作“塔吉特”为仅次于沃尔玛的全美第二大零售商向经理投诉因为该店竟然给他还在读高中的的女儿邮寄婴儿服装和孕妇服装的优惠券。

但随后这位父亲与女儿进一步沟通发现自己女儿真的已经怀孕了。于是致电Target道歉说他误解商店了女儿的预产期是8月份。

图1《纽约时报》这些公司是如何知道您的秘密的

一家零售商是如何比一位女孩的亲生父亲更早得知其怀孕消息的呢？这里就需要用到“关联规则+预测推荐”技术。

事实上每位顾客初次到Target刷卡消费时都会自动获得一个唯一顾客识别编号ID。以后顾客再次光临 Target 消费时计算机系统就会自动记录顾客购买的商品、时间等信息。再加上从其它管道取得的统计资料Target便能形成一个庞大数据库运用于分析顾客的喜好与需求。

有了数据特别是有了“大”容量的数据后面的问题就简单了。Target的数据分析师开发了很多预测模型其中怀孕预测模型pregnancy-prediction model就是其中的一个。Target通过分析这位女孩的购买记录——无味湿纸巾和补镁药品就预测到了这为女顾客可能怀孕了而怀孕了未来就有可能需要购置婴儿服装和孕妇服装多么贴心的商店啊。但是需要我们注意的是

• 这是“大”数据的傲慢而非聪慧。

由于故事极其具戏剧性——亲生爸爸居然比不上一台电脑更了解自己的女儿因此这个故事往往被用来作为“数据比人更了解人”的证明并在当下被用来论证大数据的功力。国内有的新闻媒体对大数据的理解似是而非针对这个案例的报道标题就是《大数据的功力比父亲更了解女儿冲击大卖场》。大数据的无所不能的“傲慢”跃然纸上。

或许“旁观者清”信息领域外的上海金融与法律研究院研究员刘远举认为这案例并不能说明数据比人更“聪慧”更了解人恰好相反这证明计算机是“愚蠢的”还在读高中的女儿显然想保护自己的隐私并不想父亲知道但“愚蠢的”计算机却自作主张把孕妇优惠卷寄寄到了她家里结果被爸爸逮个正着。

这正是大数据的另一种傲慢——好像有了大数据就可以“君临天下”对顾客的理解就可做到出神入化对顾客的隐私就可以肆无忌惮。

• 这并非大数据的案例

进一步分析我们可以发现实际上这个例子并不属于大数据的案例它不需要太强的计算能力甚至用一台普通的电脑就能实施类似的关联规则分析。很多有关大数据的图书和文章都把这个案例当作大数据的案例来讲其实是不恰当的。

大数据一般要具备典型的4个V特征Target收集的消费数据属于典型的结构化数据即使数量再大也仅仅满足4V特征之一——Volume体积大。但是“数据大”不等于“大数据”。如果光拼体积“大”那么早在20年前天文、物理和生物信息学的数据也够得上是“大数据”了。《纽约时报》的原文非常“厚道”通篇没有提及“big data大数据” 字样。

• 更重要的是这个神奇的数据预测故事被人为地灌入了很多“心灵鸡汤”。

数据挖掘界的数据分析师、咨询师们有时候同样也需要 “心灵鸡汤”励志自己忽悠客户。对此美国纽约大学统计学教授Kaiser Fung认为[3]很多人在看到这个故事时都误认为Target的预测算法是非常可靠的——几乎每个收到婴儿连体服和湿纸巾优惠券的人都是孕妇。但这是不可能的更为实际的情况是孕妇之所以能收到这些购物券是因为Target给非常多客户都邮寄了这种购物券。在众多客户中碰巧有那么一位高中女生“不太可能但却又真地”怀孕了碰巧那位父亲发现并投诉了碰巧那位父亲发现自己错了并道歉了这么多巧合“无巧不成书”。因为极具有故事性所以大家都爱听。

各位读者在相信Target这类读心术般的故事之前首先应该先想想这类商家的预测命中率到底有多高。这里并不说数据分析一无是处相反数据分析极具商业价值即使能够把“直邮Direct MailDM”的准确度提高一点点哪怕是1%对商家而言都将是有利可图的。但能赚钱并不意味着这种工具无所不能、永远正确。

商家能够提供个性化服务确实很贴心

但倘若在利益的趋势下

商家对顾客的个性化信息运用不当或越界

就会给顾客带来不能承受的隐私之痛。

埃文科技——网络空间地图测绘领域技术专家，提供最全面、最精准的网络空间地图服务。

公司成立于2012年，专注于网络空间、地理空间和社会空间的相互映射，绘制三位一体的网络空间地图，对网络空间资源的静态属性和动态变化情况进行探测。拥有19项软件著作权及10项发明专利。