预测的准则

( 内特·西尔弗和他的作品《信号与噪音》 )

搞预测的难度

每年春运前，我们都会听到铁路部门“预计发送旅客”的数量，很容易就能搜到近几年预计发送旅客和实际发送旅客的数字：2012年全国铁路春运预计发送旅客2.35亿人，增长6.1%；实际结果：当年全国铁路实际发送旅客2.21122亿人，与去年基本持平。2011年预计发送旅客2.3亿人次，增长12.5%；结果：2011年发送旅客总量2.21亿人，同比增长8.3%。2010年预计发送旅客2.1亿人次，实际发送2.04亿人。对比一下会发现，预计发送旅客的数量都略高于实际发送旅客的数量。我们不知道铁路部门“预计发送旅客”的数量是如何得出的，可以把这种高估理解为做好充分的准备，但如果预计的人数过高，显然会造成一定的浪费。对发送人数的预计有没有越来越准确？能不能越来越准确？

在天气预报方面有着类似的做法：内特·西尔弗（Nate Silver）在《信号与噪音》（The Signal and the Noise）一书中说，美国的全国天气服务的短期预测是很准确的，但美国一些地方电视新闻网却有意地、系统地高估下雨的概率，如果降水概率是5%，他们会播报为20%。其中的道理也很简单，“如果预报说不会下雨，结果下雨了，听众会咒骂毁掉了自己野餐的预报员，意外的晴天却会被认为是偶然得到的惊喜”。

34岁的西尔弗是从噪音中找到信号的专家。他曾经做了一个预测棒球选手表现的软件，以及预测政治竞选结果的系统。他的书中讨论政治预测的只有一章，他介绍了各个领域的预测，书中写道，扑克比赛既依赖运气，也依赖技巧，许多职业玩家都是从一小撮业余玩家那里挣到钱。地震无法预测，经济学家们的预测也很不准确，这部分是因为，要正确地预测经济就需要能够预测政治结果，比如谁会赢得日本大选。金融危机等事件很难预测，因为如果预测是可靠的，它们就不会发生。飓风预报的成功率很惊人，过去25年间，对飓风登陆地点的预测能力提高了12倍。他说，在出席一场反恐会议时，他看到反恐部门询问可口可乐的营销经理和约会服务顾问，如何确定自杀式袭击者。

西尔弗说，西方人预测未来的念头产生于莎士比亚时代。莎士比亚的戏剧经常依赖命运，人物的悲剧性往往是命定的。在《恺撒》的前半部分，恺撒收到了各种警告信号，他称之为预言（Prediction），但他都忽略了，后来他被谋杀了。莎士比亚借西塞罗之口说：“人们照着自己的意思解释一切，实际却和事物本身的目的完全相反。”很难从噪音中找出信号，数据告诉我们的往往是我们想听到的。但《恺撒》中除了借助预言，还引入了一个更加现代、更激进的观念：我们可以理解信号，成为命运的主人。在莎士比亚的时代，预言（Predict）和预测（Forecast）有不同的含义，预言是预言者告诉你的，预测是谋士告诉你的。前者源于拉丁语，后者源于日耳曼语。预测反映了新教的世俗性而非神圣罗马帝国的来世。做预测意味着在不确定的情况下制订计划，意味着深谋远虑、智慧和勤勉。

预测的问题是，预料的是未来，而依据的数据通常是过去的。现代技术使任何受过一点训练的人都能够把一些数据输入电脑程序，然后吐出一个解释这些数据的模型。现代技术虽然大大提高了计算能力，但错误的动机和错误的方法依然会带来错误的预测。

我们每天生产出大量信息，信号是我们希望得到的事实，噪音是妨碍和误导我们寻找信号的无关信息。以“9·11”恐怖袭击为例，这种袭击方法令人感到非常意外，但不是没有贝叶斯式的先例——1985年印度航空的例子和在那三年之后的洛克比空难，因此类似袭击的发生概率至少有4%。情报部门得到的却大部分是噪音，截获的谈话是关于饭局的。但在2001年夏天，明尼苏达州一家飞行学校的工作人员告诉FBI探员，有一位出生于摩洛哥的学员想学习如何在飞行途中驾驶波音747，略过起飞和着陆课程。几位探员认真对待这一消息，但其搜查和窃听要求被否决。还有一位老师说，装满燃油的飞机是可怕的武器，至少，这些信号应该把使用飞机发起袭击的概率提高到比如15%，从而去调查其他飞行学校。但FBI和CIA每天得到海量的信息，只有少部分会被大致再次查看，大部分预测之所以失败就是因为信息以指数方式增长。

预测的公式与洞察力

为什么那么多预测都不准确？原因各种各样：我们误以为随机的模式是有意义的，我们低估了建立的模型对原初假定的敏感度，我们的预测值准确度比实际情况低，我们专注于最容易测算的而非最重要的，我们过于自信，我们的模型过于依赖统计，理论理解不充分，我们无意中受到了自己想得到的、有利于自己的偏见的影响。

关于预测有一个定律：接受采访越多的专家，其预测越离谱。有些学者满足于默默无闻，有的则渴望做一名公共知识分子，他们往往很大胆，认为会发生巨大的变化，这样更能吸引到公众的注意力。换言之，巨大、勇敢、刺猬式的预测更有可能使他们上电视，即使预测错了仍然照样上电视。狐狸的预测会显得不够自信，但如果你是在找医生预测病情，找投资顾问预测收益，你应该相信狐狸。他的许诺也许更加平淡，但他更有可能实现这些目标。

西尔弗说，为了正确地预测，我们要借助统计学家托马斯·贝叶斯的定理。假设你是一位女性，你在你的衣橱里发现了其他女人的内裤，因此你的丈夫很有可能出轨了。但如果你的丈夫出轨了，他应该很小心才是，所以内衣的出现可能有其他原因。因此，首先，假如他出轨了，假定其他女人的内衣出现在你衣橱里的概率是50%，接着，你应该考虑异性内衣出现的其他可能。如果他没有出轨，是否有其他无辜的原因？虽然这些情况也令人不快，比如那就是他自己穿的，或者他的行李被弄错了、弄混了，或者那是他一个柏拉图式关系的异性朋友过夜时留下的，也可能是他想送给你的礼物，但他忘记打开了。这些说法都站不住脚，就像家庭作业被狗给吃了那样的借口，加在一起，就把它们的概率定为5%吧。第三步也是最重要的一步，你需要找出先前的可能性。在这个例子中，先前的可能性是：研究表明，每年大概有4%的已婚夫妇出轨。即使你没有看到任何证据，你丈夫也有4%（x）的出轨可能，神秘内裤出现后，其出轨概率一举上升到50%（y），没有出轨的概率（z）是5%。贝叶斯的定理说，我们要根据新的证据（y和z）来更新我们过去的估计（x），计算公式是xy/xy+z（1-x），这样算下来，你丈夫出轨的概率是29%，比一般情况的4%高很多，但仍然低于50%。

假设你读了一篇书评后，觉得你会喜欢某本书的概率是75%，然后，在书店里，你读了该书的前10页，在获得这些附加信息后，你喜欢这本书的概率变成了多少？贝叶斯的理论告诉你，如何根据新的数据更新你原先的猜测，听上去只有《生活大爆炸》中的人物才会这么做，但神经科学家发现，在无意识层面，我们天生就会用贝叶斯的方法做预测。

西尔弗做过咨询师、棒球分析师、职业扑克玩家和政治预测师，这说明他有一个好奇、好动的头脑。跟数据分析相比，他的分析技巧更多来自他的好奇心。在日常生活中，西尔弗会使用他的预测技巧吗？比如，出门过马路时被车撞到的概率？西尔弗说，他擅长计算什么时候出发去机场，刚好不会迟到，他不喜欢到得太早，但要计算一下迟到的代价。他也没有预测到自己这本书会畅销，关键还是书的内容要严肃、实在。

西尔弗认为，好的预测者应该一丝不苟、头脑开放、渴望得到新的数据。西尔弗引用以赛亚·伯林的说法，说预测师主要有两种类型：刺猬和狐狸。刺猬相信，关于世界的运行，存在着像物理学法则一样的原理；狐狸则认为有许多小的概念，对一个问题采取多重解决方法。狐狸是跨学科的、灵活的，刺猬是专业的、固执的。他认为应该做一个狐狸，预测之所以失败，就因为刺猬们忽视跟他们的世界观冲突的新信息。他举了一些例子，比如有经济学家根据“越战”时期的军队伤亡模型，预测2000年戈尔会获得90%的选票；还有所有的苏联专家都没有预测到苏联的解体。

统计技术应该跟人眼的观察结合起来，要用人的头脑去指引技术的应用。跟踪飓风的人会用他们的直觉去调整算法给出的结果。“他们学会了去排除电脑模型预测的错误，就像有经验的台球选手会适应当地酒吧里球桌上的盲点。”预测基本上是人类的行为，就像小说一样，预测是人类的想法和信念的表达，不管借助了多少定理和算法。数学能够核查人类的偏见，我们人类的洞察力能够核查电脑的漏洞和盲点，两者要结合起来。

（文 / 薛巍） 概率计算预测准则