中图分类号:B017 文献标识码:A 文章编号:1003-1502(2013)01-0010-06
贝叶斯定理(Bayes' theorem)是概率论中非常重要的一个定理,它能够为主体利用搜集到的新信息对原有判断进行修正提供有效手段,因此,在很长的一段时间里,它都是决策理论的一个重要理论基础。但是,这个理论基础在20世纪70年代遇到了严峻的挑战,该挑战来自于卡尼曼(Kahneman)和特维尔斯基(Tversky)提出的“基础概率谬误”(Base-Rate Fallacy)。挑战了人们关于决策理论及其理论基础的传统看法,即决策原则必须要遵循概率理论,只有遵循贝叶斯定理的规范性决策方案才是正确的。从而使人们意识到了决策理论的规范性研究的局限性,进而开始了决策理论的描述性研究并取得了丰硕的成果,使得我们对于人类的决策判断有了更深层次的理解。因而,基础概率谬误问题在决策理论的发展史上具有举足轻重的地位,引起了逻辑学家、经济学家、心理学家等的广泛关注,关于这一问题的讨论一直持续到现在。
一、基础概率及基础概率谬误
当我们在判断某个事件发生的概率的时候,比如医生诊断一个病人患有胃癌的可能性时,我们可以获得的信息通常有两种:(1)一般信息:这是关于事件的发生频率的信息。在上述疾病诊断的例子中,一般信息就是胃癌在人群中的发病率。(2)具体信息:这是关于事件的一些具体情况的信息。在上述疾病诊断的例子中,具体信息就是医学检查所得到的病人的检测结果。当把第一类信息和第二类信息放在一起进行对比的时候,第一类信息就被称作“基础概率”信息。
基础概率谬误也称“基础概率忽略”或“基础概率偏见”,是指人们在进行直观概率判断的时候,倾向于使用具体信息(当这种具体信息存在的时候)而忽略掉基础概率的现象。也就是说,当人们拥有两种类型的信息时,往往倾向于根据具体信息来进行直观概率判断,而把基础概率抛之脑后。这就导致了人们的判断结果和贝叶斯定理所给出的结论大相径庭,从而被称之为“谬误”。许多的实验研究中都发现了这一现象,其中,“出租车问题”[1]是最为典型的一个例子。该问题如下:
某个傍晚,一辆出租车肇事后逃逸。这个城市一共有两个出租车公司,根据他们所经营的出租车的颜色,我们称其为蓝车公司和绿车公司。其中,蓝车公司的出租车数量占15%,绿车公司的出租车数量占85%。一个目击者说,该车是蓝色的。后来经过测试,发现该目击者在当时那种情况下的判断正确率为80%。那么,该肇事车辆是蓝车的概率是多少?以下有三个选项,请问哪一个最有可能?
A. 该肇事车辆是蓝车的概率是0.8
B. 该肇事车辆是蓝车的概率是0.5
C. 该肇事车辆是蓝车的概率远小于0.5
这个问题最早是由卡尼曼和特维尔斯基提出来的。他们做了大量的心理学实验,并且发现,大多数人认为选项(A)是正确答案,只有极少数人认为(C)是正确答案。但事实上,根据贝叶斯定理可知,(C)才是正确答案。其解答过程如下:
令B和G分别表示肇事出租车是蓝车和绿车;W表示目击证人的证词;Wb表示目击证人说那辆肇事出租车是蓝色的。
所以,P(G)=0.85; P(B)=0.15;P(Wb/B) = 0.8
此外,由于目击证人有20%的可能性会给出错误答案,因此,当他说肇事车辆是蓝车但实则为绿车的概率是20%,即P(Wb/G) = 0.2
根据贝叶斯定理,我们有:
P(G/Wb)=1-P(B/Wb)=1-0.41=0.59
由此可知,肇事车辆极有可能是绿车。其实,这就是我们通常所说的“规范性”答案。
但是,卡尼曼和特维尔斯基的研究发现,大多数人认为肇事车辆是蓝色的概率是0.8而不是0.41。事实上,这个问题中也有两类信息。一类是两个出租车公司各自所占的市场份额,我们称其为基础概率信息;另一类是目击证人的证词,这是与这个问题直接相关的信息,我们称其为具体信息(或个别信息)。当人们在进行直观概率判断的时候,往往把注意力集中在目击证人的准确率为80%这一个具体信息上,而完全忽略了基础概率,即蓝车公司的市场份额只有15%,也就是说,大街上跑的出租车中,只有15%的出租车是蓝色的,而另外的85%都是绿色的。
卡尼曼和特维尔斯基用这个例子表明,人们在进行主观判断的时候,并不会严格遵守贝叶斯定理,而是会犯类似于出租车问题中所说的“基础概率谬误”。
二、基础概率谬误产生的认知策略
为什么人们在进行直观概率判断的时候会忽略基础概率?这种现象背后的原因和机制是什么?心理学家们做了许多的实验研究并提出了各自的解释,其中最为有名的解释来自卡尼曼和特维尔斯基。下面就对他们的观点以及相应的批评和解释做一简要论述。
1.卡尼曼和特维尔斯基的解释:代表性启发策略
卡尼曼和特维尔斯基试图用“代表性”(Representativeness)来解释这一现象产生的原因。他们认为,代表性是一种启发式判断策略,它在人们的直观判断和预测中被广泛使用。当人们根据这种策略来对某个事件进行判断和预测的时候,会选择那些看上去与证据具有高度代表性的结果。也就是说,当人们根据代表性策略来对某个事件的概率进行判断的时候,人们会把这个事件的本质特征与其可能属于的类事件的本质特征进行对比,并把那些可能的类事件按照其所能代表的该事件的本质特征大小来进行排序和选择。这样一来,直观判断或预测对于证据的可靠性或结果的初始概率就不“敏感”了,从而和规范性决策理论所给出的结果相违背。[2][3]
比如,人们根据下面这段关于斯蒂文的描述而做出的判断:“斯蒂文非常害羞且沉默寡言。虽然他非常乐于助人,但他对人和现实却不怎么感兴趣。他性格温和、爱好整洁、讲究次序、关注结构,对于细节的要求非常高。”在以下的职业中,人们是如何来判断斯蒂文究竟从事的是哪一种呢?农民、销售员、飞行员、图书馆员,还是内科医生?根据代表性启发策略,人们会认为斯蒂文是一个图书馆员。因为人们通过把这段描述所呈现出来的特征与那几种职业的范型进行比较,发现这段描述与图书馆员的范型最为相似,或者说与图书馆员的代表性程度最高。
这就表明,人们关于某个事件的后验概率判断,主要是根据这个事件与某个范型的相似性或代表性来进行的,通过比较,然后选择那种与这段描述最为相似或最具代表性的职业。由此,卡尼曼和特维尔斯基就得出结论:“因此,根据代表性假设,当存在个别信息的时候,先验概率就被大大地忽略掉了。”[2]“这就表明,在不确定条件下进行判断和预测的时候,人们通常都不会严格遵守概率计算规则或统计预测理论。相反,他们会依据一些启发式判断策略来进行判断。这在有时候会做出比较合理的判断,但有时候却会导致系统性错误。” [2]
2.巴希勒的解释:相关性原则
巴希勒(Bar-Hillel)认为,卡尼曼和特维尔斯基的解释是不充分的。他试图通过“相关性”(relevance)来解释这种现象。
首先,人们忽略掉基础概率信息是因为觉得它和当下的判断无关。“我认为,主体忽略掉基础概率,是因为他们觉得基础概率应该被忽略掉,更直白地说,是因为基础概率和他们正在做的判断无关。”[4]因而,在这里就有一个主观的认知因素在里面了。人们在出租车肇事逃逸这一问题上,之所以不考虑蓝车公司和绿车公司所占的市场份额这一基础概率信息,是因为他们觉得,这里既然是让我们判断某次交通事故的肇事者,而且又有目击证人,所以,我们当然应该关注目击证人的证词及其准确率。而这两个出租车公司各自所占的市场份额,则与这个问题的判断不太相关。
其次,当人们面对多条信息的时候会进行判断和筛选,其依据就是相关性的大小,相关性小的会被相关性大的信息所支配或掩盖。“我认为,人们根据这些信息与他们正在做的判断的相关性大小来进行排序。如果两条信息看上去具有相同的相关性,那么,这两条信息就会在人们的判断中起着相同的作用。换句话说,人们只考虑其中的一条信息而忽略掉另外一条信息的话,是因为后者似乎没有前者的相关性大。”[4]但是,相关性的大小是如何体现出来的呢?巴希勒认为,“相对于所需要判断的事件来说,如果一条信息比另外一条信息更加明确、特殊或个别,那么,这条信息就比另外那条信息的相关性大。”[4]
第三,基础概率并不总是会被忽略掉。巴希勒认为,“当人们觉得基础概率的相关性并不比指示信息(即具体信息)的相关性小时,基础概率就不会被忽略掉。从而也就不会导致基础概率谬误的产生。”[4]
巴希勒为了证明他的观点,对出租车问题进行了稍微的改编,具体如下:
一种大型水泵同时由两个发动机带动。这两个发动机看上去基本一样(在产品的外观、型号、使用年限等方面),只是在过去的很长一段时间里,它们的故障率不同。当这个水泵出故障的时候,85%的故障是由A发动机导致的,15%的故障是由B发动机导致的。
由于在修理的时候需要把发动机取出来,而且把发动机取出来维修是一件很费时费力的工作,因此,在决定维修之前,通常都要做很多测试,来确定是哪个发动机坏了。这个测试是通过检测发动机周围的磁场来进行判断的,一般来说,坏的发动机的磁场有80%的可能性弱于好的发动机的磁场,但由于其他各种原因,坏的发动机的磁场也有20%的可能性强于好的发动机。
假设某个水泵突然停止工作了,而检测仪器的检测结果是发动机B坏了。你认为,这次故障是由发动机B导致的可能性是多大呢?
巴希勒的实验研究结果是,被试给出的答案介于15%和80%之间,而这些答案的中值是40%。[4]这个结果和贝叶斯后验概率非常接近。这就表明,在这个问题中,基础概率信息并没有像出租车问题中的基础概率信息那样被忽略掉了。其背后的原因是什么呢?我们可以做如下的简要分析。
事实上,这个问题和出租车问题的基本结构和数据信息完全一样。这里有一个仪器设备,它可以检测出发动机是否坏了,即给出发动机发生故障的具体信息。但是,这个问题中的基础概率却并不像出租车问题中的基础概率那样和我们的判断离得很远,而是很容易被看作与个体(那两个发动机)相关,并由此得出发动机A的性能比发动机B差很多的结论。这会极大地影响人们的判断,即基础概率在这个问题中扮演着很重要的角色。这个实验结果也就很好地证明了巴希勒关于基础概率的“相关性”解释。
3.卡尼曼和特维尔斯基的辩护:因果基础概率和偶然基础概率
巴希勒的实验结果表明,基础概率并不总是会被忽略掉。但是,根据卡尼曼和特维尔斯基的代表性启发策略,人们在判断的时候会一致地忽略掉基础概率。这就使得卡尼曼和特维尔斯基的代表性启发策略解释遭遇了困境,即它无法解释为什么有些时候人们并不会完全忽略基础概率。在代表性启发策略提出来的数年之后,特维尔斯基和卡尼曼在借鉴阿耶仁(Ajzen)等人研究成果的基础上,又提出了一种新的理论,来对其之前的理论进行辩护和改进。[5]
他们认为,基础概率其实可以分为两种,一种是因果基础概率(causal base rate),另一种是偶然基础概率(incidental base rate)。如果一个基础概率存在一个因果因子来解释为什么某个特殊情况更有可能产生这种结果而不是其他结果的话,那么,这个基础概率就是因果基础概率;否则,就是偶然基础概率。对于这两者之间的区别,我们通过下述两个例子来说明。
在一项研究中,被试需要根据某个学生的简要能力描述来判断其通过某项考试的概率。该问题如下:
两年前,在耶鲁大学某门课程的一次期末考试中,大约75%的学生没有通过(或通过了)该考试。……
这个描述中的基础概率就是因果性的,因为它可以直接导致如下结论:这次考试比较难(如果75%的学生都没有通过考试)或这次考试比较简单(如果75%的学生都通过了考试)。而考试的难度也使得那些参加考试的学生似乎不太容易(或比较容易)通过这个考试。
对于偶然基础概率,我们可以看看下面这个例子:
两年前,耶鲁大学进行了某门课程的期末考试。一个对学生的学习成绩感兴趣的教育心理学家对参加这次考试的大量学生进行了访谈。由于他主要关心的是学生对于成功(或失败)的反应,所以,他选择的学生大多都是通过了(或没有通过)这门考试的。特别地,在他选取的样本中,大概有75%的学生通过
了(或没有通过)此次考试。
这里的基础概率就是偶然的(或非因果的),因为样本中通过考试和没有通过考试的学生比例是由调查者随机选取的。和因果基础概率不一样的是,人们无法由此做出任何关于这项考试难易程度的判断。
阿耶仁的研究结果表明,在人们的主观概率判断中,因果基础概率比偶然基础概率所起的作用要大得多。[6]比如,在这个“考试问题”中,通过率是一个很重要的因果基础概率,它可以告知人们此次考试的难易程度,从而影响人们关于某个学生是否能通过此次考试的主观判断概率。
卡尼曼和特维尔斯基认为,人们在进行主观概率判断的时候所忽略掉的主要是偶然基础概率,而因果基础概率却不太容易被忽略掉,相反,它们却极大地影响着人们的判断。比如,出租车问题中的基础概率就是偶然基础概率,因而其在人们进行概率判断的时候会被忽略掉;而如果我们把该问题中的偶然基础概率换成因果基础概率,即把“蓝车公司的出租车数量占15%,绿车公司的出租车数量占85%”换成“尽管这两个出租车公司所占据的市场份额差不多,但是,这个城市中85%的出租车事故都是由绿车造成的,而蓝车造成的事故只占15%”之后,人们在进行主观概率判断的时候,就不会像之前那样对基础概率视而不见了。他们的实验结果表明,尽管人们对于修改后的这个问题的答案多种多样,但答案的中值是0.6,居于目击证人的准确率0.8和贝叶斯定理所给的答案0.41之间。[5]
对于上述结果,卡尼曼和特维尔斯基的解释是,两个出租车公司之前的事故率(即基础概率)相对于人们的概率判断来说是因果基础概率,这两个出租车公司事故率的不同直接导致判断者认为,和蓝车公司的司机相比,绿车公司的司机更加地鲁莽、粗心或者驾驶技术更差。因此,从这两种不同的事故基础概率就可以推出绿车比蓝车更有可能是这次事故的肇事者。相反,之前那个版本中的基础概率是关于蓝车和绿车的市场份额的,这是一个偶然基础概率,它并不能导致一个因果推论,使得某一辆绿车比某一辆蓝车更有可能涉及到此次事故中。[5]
根据分析可知,对于偶然基础概率来说,出租车的颜色和事故之间的联系是0;但对于因果基础概率来说,出租车的颜色和事故之间的联系却变成了0.7。[5]这种统计事实表明了这两种基础概率之间的区别,并且帮助我们理解了为什么因果基础概率没有被忽略,而偶然基础概率却被忽略了。
三、基础概率谬误真的是“谬误”吗?
基础概率谬误在决策理论的发展史上起着非常重要的作用,它引起了人们对于规范性决策理论的反思,并重新思考贝叶斯定理在决策中的作用。不过,基础概率谬误真的是谬误吗?人的大脑生来就不具有进行贝叶斯推理的功能吗?回答是否定的。下面我们来看一个修改后的出租车问题。
一个傍晚,一辆出租车肇事后逃逸。这个城市里有两个出租车公司,根据他们所经营的出租车的颜色,我们称其为蓝车公司和绿车公司。其中,蓝车公司的出租车数量占15%,绿车公司的出租车数量占85%。警察局通过调查发现,事发地点离蓝车公司的总部比较近,在事发地点附近区域,80%的出租车都是蓝车,只有20%的出租车是绿车。那么,你认为,该肇事车辆是蓝车的概率是多少?[4]
实验结果表明,此时,大多数(约60%)的被试者会认为,肇事车辆是蓝车的概率是80%。并且,这样的结果在类似的其他实验中也得到了验证。[4]
这个结果说明了什么呢?我们先来分析一下这个问题。这个修改后的出租车问题和之前那个问题的不同之处在于,它用一个精算信息来代替了目击者的证词,而这个精算信息比基础概率要更具体一些。因此,正如我们所期望的那样,它就控制和支配了那个更加一般的基础概率。但需要注意的是,这个问题中的精算信息和目击者的证词之间不能划等号,因为这个精算信息并没有直接告诉我们肇事车辆是蓝车还是绿车。因此,这个精算信息其实也只能算是一般信息,只是比基础概率信息更加具体一些。如果把基础概率称为第一基础概率的话,那么,精算信息可以称为第二基础概率。我们可以用下表来表示:
这个结果表明,人们在判断的时候,并不是如之前所说的那样,一味地忽略基础概率,他们所忽略的只是第一基础概率。而在这个问题里,人们对于第一基础概率的忽略,我们似乎并不会觉得这是一个“谬误”,反而认为其的确应该被忽略。其原因在于,虽然在整个城市中的出租车市场份额是蓝车15%、绿车85%,但是,它们与我们目前所要探讨的问题关系已经不大了或不太相关了。在这个问题中,第二基础概率才是与我们的判断直接相关的。因此,人们在进行判断的时候,实际上是重新选择了基础概率。
为什么要重新选择基础概率呢?其实,这就是一个参考系问题。参考系的选择对于问题的解决至关重要。在我们进行判断的时候,应该选择那些与我们需要解答的问题直接相关的参考系。一般说来,参考系越小,与所要解决的问题就越相关,参考系中的元素所具有的共同特点也就越多,最后得出来的答案也就越精确。比如,我们头痛发烧流鼻涕的时候去医院看病,医生让我们做一个血液检查,以确定我们是否患病毒性感冒。作为一个个体,我们对自身的情况很了解,我自己是否生病或者病痛程度如何,我是非常清楚的。此时,我不再需要把我放在一个很大的参考系,比如“全国人民”或“全世界人民”中去考察我是否患有病毒性感冒,而只需要把我放在一个较小的参考系,比如“有头痛发烧流鼻涕这些症状的人群”中考察即可。这就缩小了参考系。当然,我们也不能一味地认为,参考系越小越好。如果参考系过小,就不具有参考作用了。不过,参考系的选择是一个很复杂的问题,我们在此不做深入讨论。但是,在上述的出租车问题中,把事故周边的出租车集合作为参考系,肯定比用整个城市的出租车集合作为参考系要好。否则,我们可以任意扩大参考系,比如,把全国的出租车集合作为参考系。这个参考系中所给出的基础概率显然与问题的相关性微乎其微。
这个例子清楚地表明,基础概率谬误并不是谬误:在某些时候,忽略掉第一基础概率是非常恰当的。科恩(Cohen)在论述基础概率的相关性时也认为,“基础概率数据应该被忽略,除非已经知
道那些我们所关注的问题与导致基础概率的参考系‘具有所有相关特征’”。[7]相反,贝叶斯定理在处理这些问题的时候,却显示出了它的局限性。正如挪威姆斯基所说的那样,“贝叶斯规则并没有准确地描述人们在工程师—律师问题中是如何使用基础概率信息的。”[8]
通过上述论述,我们可以做出如下结论:(1)人们在判断的时候,并不是一味地忽略基础概率;(2)忽略基础概率并不等于“谬误”。与问题不太相关的基础概率可以被忽略,甚至应该被忽略。因此,我们最好改“基础概率谬误”为“基础概率忽略”。
四、小结
对不确定性事件进行主观概率判断是认知决策领域一个重要研究课题。多年以来,贝叶斯主义者一直致力于用贝叶斯定理来提高人们预测的准确性。那些致力于用贝叶斯方法来整合信息的学者都自信地认为,“主观修正原则必然是贝叶斯定理。”[9][10]的确,通过对基础概率和贝叶斯方法的研究,有时可以提高人们预测的准确性,但是,在许多现实决策环境下,这个方案并不有效。卡尼曼和特维尔斯基的启发式方法,特别是支持理论的提出就明确指出了贝叶斯方案的局限性。[11]他们的研究结果表明,人类并不是笨拙的贝叶斯主义者,而是非贝叶斯主义者。我们在解决人们的主观概率判断问题时,首先需要弄清楚的问题是:不确定性是如何由多种信息来构成的?事实上,不确定性的构成方式有很多。在某些情况下,贝叶斯模型的确提供了一种解决方案,但其解决方案并不是对所有的情况都适用。基础概率忽略就是一个很好的例证。而且,对基础概率的忽略并不像贝叶斯定理信奉者所想象的那么糟糕,相反,在有些情况下这还是一件好事。正如巴希勒所说的那样,“我们应该记住一点,在人类的判断活动中,并不是信息越多就越好。”[4]
参考文献:
[1] Daniel Kahneman & Amos Tversky. (1972). "On Prediction and Judgment". Oregon Research Institute Bulletin 12(4).
[2] Daniel Kahneman & Amos Tversky. (1973). "On the psychology of prediction". Psychological Review 80 : 237-251.
[3] Amos Tversky & Daniel Kahneman. (1974). "Judgment under Uncertainty: Heuristics and Biases". Science, New Series, 185(4157): 1124-1131.
[4]Maya Bar-Hillel. (1980). "The Base-Rate Fallacy in Probability Judgments". Acta Psychologica 44: 211-233.
[5]Amos Tversky & Daniel Kahneman. (1982). "Evidential Impact of Base Rates", in Judgment Under Uncertainty: Heuristics and Biases, Kahneman, Paul Slovic, and Tversky, editors (1982), Cambridge University Press: 153-160.
[6] Icek Ajzen.(1977). "Intuitive Theories of Events and the Effects of Base-Rate Information on Prediction". Journal of Personality and Social Psychology, 35(5): 303-314.
[7] L. Jonathan Cohen. (1981). "Can Human Irrationality be Experimentally Demonstrated?". The Behavioral and Brain Sciences, 4: 317-370.
[8] Nathan Novemsky & Shirit Kronzon. (1999). "How are Base-Rates Used, When They are Used - A Comparison of Additive and Bayesian Models of Base-Rate Use". Journal of Behavioral Decision Making, 12: 55-69.
[9] Lee R. Beach. (1966). "Accuracy and Consistency in the Revision of Subjective Probabilities". IEEE Transactions on Human Factors in Electronics 7: 29-37.
[10] David W. Schum & David W. Martin. (1968). "Human Processing of inconclusive evidence from multinomial probability distributions". Organizational Behavior and Human Performance 3: 353-365.
[11] 李章吕.支持理论对标准概率理论的超越和发展——逻辑与认知研究的新视角[J].学术论坛,2010,(8).