伊利

注册

 

发新话题 回复该主题

坤鹏论平生不懂均值回归一切都是瞎忙乎最终 [复制链接]

1#
北京看白癜风去哪个医院好 https://wapjbk.39.net/yiyuanzaixian/bjzkbdfyy/

做股票投资,如果每天都钻进股票的牛角尖不出来,最终只能成为被股市左右的井底蛙。——坤鹏论

本文的重点清单

1.简要介绍高尔顿天才般的辉煌一生。

2.高尔顿沿着表兄达尔文的遗传科学,发现了回归平均值现象。

3.高尔顿和后来的卡尼曼用大量临床实验证明:两者相关系数越低,越容易回归平均值。

4.有许多事情百思不得其解,但如果用回归平均值来解答就会迎刃而解,比如:经济的盛极必衰,人们很难富过三代……可惜的是,它无法提供原因。

一、它不亚于牛顿发现了万有引力

以前,坤鹏论讲过世间存在着一个法则,它就是统计学的伟大贡献——回归平均值。

该法则又被叫称为均值回归、回归均值。

在科学界有这样一个说法:回归平均值现象的意义不亚于发现万有引力。

这种统计规律就像我们呼吸的空气一样稀松平常,随处可见,但我们却无法识别其真面目。

这个世界上,越是免费不要钱的东西,往往才是最珍贵的,空气就是其一,一旦缺席,人类全完。

更关键的是,回归平均值的存在真的如万有引力一般,同样在冥冥中约束着世事与包括人类在内的所有生灵。

万有引力告诉人们,谁也无法摆脱地球的引力,除非能够达到第二宇宙速度——11.2公里/秒。

而回归平均值则向人们揭示着,为什么物极总是会必反,为什么盛极必衰,否极泰来。

它告诉我们,万物最终都将回归于其长期的均值。

干旱久了,必然会下雨,股票涨多了,必然跌回去,股票跌多了,必然涨回来……

只要造成这些极端现象的原因并非与事物本身存在着强相关。

有时,回归平均值法则甚至会有矫枉过正的令人措手不及的惊人现象。

让不明所以的人们,甚至是万人之上的皇帝都要扼腕悲叹:天要亡我,非战之罪!

要说万有引力还能通过速度克服,而回归平均值现象,到目前为止,科学依然只能对其描述,却无法给出原因。

懂得了这个法则,你将会明白:

为什么努力和坚持才是事业成功的关键;

为什么老话会说假的真不了,真的假不了;

为什么闪光的东西并不一定是金子,但是,是金子总会发光;

为什么一夜暴富往往会遭遇一夜回到解放前;

为什么P2P会在短短的时间内纷纷爆雷;

为什么巴菲特和格雷厄姆坚持认为价值投资是最好的投资之道;

为什么在股票投资中长期持有才会稳赚不赔;

……

可能直到这里,你还无法理解回归平均值的伟大所在,没关系,继续看下去。

这个话题坤鹏论将分成两篇文章,先是普及回归平均值的知识,接着是学习后自己的感悟与反思。

二、回归平均值的伟大发现

1.科学天才高尔顿

回归平均值的发现和命名者是达尔文的表兄——弗朗西斯·高尔顿。

英国人,人类学家、气象学家、地理学家。

他从小聪颖过人,绝对是天才中的天才。

两岁半能读书;

4岁会写诗;

6岁精熟荷马史诗中的《伊利亚特》和《奥德赛》;

7岁能欣赏莎士比亚名著;

而且,小小年纪就对博物学产生了浓厚兴趣,并能按自己的方法对昆虫、矿物标本进行分类。

有人曾说,为什么欧洲科学发达,其实当初都是一帮没事干的富二代胡搞八搞搞出来的,比如:概率论、解剖学等。

高尔顿同样也是一位名副其实的富二代,20多岁就继承了银行家父亲的巨额遗产。

在强大财力和当时英国的探险精神影响下,他从年开始迷上了旅游探险。

考察过尼罗河,独立探过巴勒斯坦,夏季喜欢跑到设得兰群岛去捕鱼和收集海鸟标本,有时也驶帆出海,或者乘热气球升空。

年,28岁的高尔顿还跑去非洲探险。

两年的时间里,他历尽艰辛,获得了大量西南部非洲资源和风土人情的第一手资料。

但是,从非洲回国后,高尔顿又是抑郁症又是身体虚弱,自从不再远游。

年,高尔顿的表兄达尔文出版了《物种起源》,这让他对人类遗传产生了兴趣,自从转向与生命相关的科学研究领域。

他把达尔文关于围绕着群的平均值的偶发变异原理应用于人类研究,开拓了以个体差异为主题的实验心理学的新领域,并于年发表了专著《遗传的天才》。

在该书中他给出了大量关于智力遗传的论据,并提出智力能力在人群中呈正态分布的观点。

年,高尔顿出版了专著《人类才能及其发展的研究》,概述了自由联想和关于心理意象的问卷调查两项实验心理学上划时代的研究方法和成果。

在这本书中,他还第一次提出了一个以人类的自觉选择来代替自然选择的社会计划。

为此他创造了“优生学”这个词,后来,人们便把年作为优生学正式诞生的年份。

年,高尔顿开始对指纹研究产生兴趣,并于年在其专著《指纹学》中提出了指纹分类法。

他的指纹编码法被苏格兰场使用采用,作为伯特隆测量系统的补充手段来建立犯人档案。

不得不感叹,高尔顿,天才也,搞啥啥成!

2.回归平均值从种子试验开始

年,高尔顿发表了《在遗传的身长中向中等身上的回归》论文。

其中讲了他从年就开始的种子试验。

他挑选了7组不同尺寸的豌豆,并说服英国不同地区的朋友每一组种植10粒种子。

实验的过程大致是:

将一粒种子定义为母代,它成长为植物后开花结果,其种子为子代种子。

然后将这个子代种子种下,长成植物后就是子代,而其蕴育的种子再种下后,就是子代的子代。

如此反复,高尔顿不断测量着种子大小以及长成植物的高度,与其母代进行对比。

最终他写下了这样的总结:

“子代的高度和母本高度似乎并不相关,但似乎前者比后者更趋于平均,如果母本较高,那么子代就会变矮,如果母本较矮,则子代就会变高。实验证明,子代向平均值的回归与母本高矮的差异是成比例的。”

3.两者相关系数越低,越容易回归平均值

高尔顿在意识到回归平均值的重要性后,以子代高度的回归现象为起点,再接再厉,继续发现了当两个测量值之间的关系不是那么完美时,此时也会出现这种回归现象。

而这个成果,是借助了当时最杰出的几位统计学家的帮助,并在自己开设的人类学测量室中,对大量男女详细资料与数据的研究,历时多年才得出来的。

年,高尔顿在一篇《家属在身长方面的类似》的论文中,首次提出了“相关系数”。

让我们看几个例子,理解一下:

第一个例子是,体重与钢琴技艺。

如何测量这两个变量之间的回归是当年高尔顿要攻克的重大难题之一。

首先,它需要以人口作为参照标准。

比如对某小学所有年级的名学生的体重和钢琴技艺进行测量。

然后将它们按从高到低的顺序分别进行排序。

比如:约翰在钢琴技艺中排第3名,但按体重则排第27名。

那么,我们可以说他弹钢琴的水平比他的体重排名靠前。

我们来做以下这些假设,这样更容易理解。

假设,不管年龄如何:

钢琴技艺高低仅仅取决于每周练习的时长;

体重多少仅仅取决于冰激凌的摄入量;

冰激凌摄入量和每周练习钢琴的时长并不相关。

现在通过排列(按统计学家的说法是“标准分”),我们可以得出更多的等式:

体重=年龄+冰激凌消耗量

钢琴技艺=年龄+每周练习时长

好了,记住上面的等式,让我们进行下面通过体重预测钢琴技艺或通过钢琴技艺预测体重。

而在这两个时候,就会出现回归平均值的现象。

如果知道汤米在体重中排第12位,在位小学生中,他明显远远高于体重的平均值。

我们就可以从统计学上推测他比平均年龄大。

因为前面有了假设的框定,也就是体重仅和冰激凌摄入量相关。

显然汤米可能比其他孩子吃更多的冰激凌。

如果知道翠西的钢琴技艺排第85位,自然,她的技艺远低于平均值。

由于钢琴技艺只和每周练习的时长相关,那我们可以推测她应该比大多数孩子的年龄小,而且每周练习的时间也少。

从上面的例子中,我们要注意两个值的“相关系数”,也就是体重和钢琴技艺这两个值的共有因素——年龄的相对比重。

这个值在零和一之间浮动。

再比如:我们拥有父母各一半的基因,对于像身高这种受环境因素影响很小的特征来讲,父母和子女的相关系数在0.5左右。

继续举例,加深理解:

★一个物体用英制单位精准测量的结果和用公制单位精准测量的结果之间的相关系数为1,也就是任何影响其中一个值的因素都会影响另一个,两者享有同样的决定性因素。

★假设某个区域成年男性身高和体重之间的相关系数是0.41,如果把女性和儿童也包括进来,那么相关度就会更高,因为性别和年龄都会影响身高和体重,使得共有因素所占比例增加。

★假设大学生的期末考试成绩和平时考试成绩之间的相关系数大约为0.6,但是,研究生的潜能测试和未来成功之间的相关性就小得多,这在很大程度上是因为这一群体的潜能差异比较小。如果每个人都有相似的潜能,那么在衡量成功时,潜能的因素就不会占太大的比重。

高尔顿用了好几年时间才确定,相关性和回归性不是两个不同的概念——它们只是从不同视角对同一个概念作出的阐释。

这个概念的原则很简单,但是,意义和影响却相当深远:

“只要两个数值之间的相关度不高,就会出现回归平均值的情况。”

有了前面懵懂的认知,让我们看看下面这个有趣的例子:

聪明的女人常常会嫁给不如她们聪明的男人,还有类似的美女爱嫁丑男。

如果在闲聊中,你挑起这个话题,一定会引起热烈讨论,大家肯定会争先恐后地分享自己的看法。

不过,在这些分析中,大部分人,甚至是对统计学有所了解的人,也会很自然地用因果关系去解释现象,再高级些的,会用心理学,甚至是进化论或是遗传学等阐述因果。

比如:一些人认为高智商的女人为了避免和同样高智商的男人竞争才这么做;或是在择偶之时不得不妥协,因为同等智商的男人不愿意和这些女人竞争……

但是,我们在学习了回归平均值后,应该得出以下结果:

夫妻二人智商之间的相关性并不是绝对的。

也就是说,男人和女人在平均智商上没有差异,所以他们智商之间的相关性并不绝对。

那么,从数学上讲,高智商女人嫁给那些不如她们智商高的男人是顺理成章的,反之也成立。

4.卡尼曼再次验证这个伟大发现

后来,美国著名行为金融学家丹尼尔·卡尼曼曾致力于研究回归平均值。

他用了大量临床试验再次证明高尔顿的伟大发现:

“只要两个数值之间的相关度不高,就会出现回归平均值的情况。”

卡尼曼认为,在体育比赛中,假设第一天某个选手表现极为出色,如果要预测他第二天的表现,最好的预测就是:他第一天的表现不会重演。

而且,事实上,对选手第二天表现最准确的预测通常是最保守、最接近平均值的,而不是基于第一天的分数的预测。

这就是典型的回归平均值,原始数据越极端,回归就越明显,因为极好的分数常常表明这一天的运气很不错。

卡尼曼发现,即使反过来进行测试,结果也一样。

比如:从选手第二天的表现猜测其第一天的表现。

如果第二天该选手表现异常好,最好的猜测就是第一天他的运气不佳。

从后往前退,一样也会出现回归平均值的现象。

当然,尽管这种回归式的预测是合理的,但准确度并不能得到保证,因为有的选手可能连续开挂,第一天运气好,第二运气可能更佳。

不过,大部分人的表现会符合这样的规律。

坤鹏论之前讲过,卡尼曼曾用回归平均值给以色列飞行教练们上了一堂课。

这些教练发现,如果飞行员因为某次表现出色而受到表扬,通常下一次的表现连一般水平也比不上。

相反,因为飞得太差而受到严厉批评的人,下一次往往会有显著进步。

所以,教练认为,在教学中不能激励,激励法无效,甚至会起反作用,而对错误狠狠批评才有效。

而卡尼曼通过对飞行训练的大量数据研究后发现,任何飞行员只要某一次飞得特别好或特别差,下一次的表现都会更接近他的平均水平,这就是回归平均值最好的例证。

三、人类因果的脑袋难以接受,总爱瞎想瞎忙乎

就算我们知道回归平均值像空气一样寻常和重要,依然很难战胜自己凡事要因果的偏见。

只要我们把注意力集中在某个事件上时,相关的记忆就开始搜寻其原因,甚至是我们会对所有早已存在于记中的原因进行自动搜索。

也就是,一旦发现有回归效应出现时,我们的因果关系解释器就会被激活。

尽管事实上这些解释都不对,大部分还是事后诸葛亮的明悟,比如:前一天股市或某只股票的涨跌分析。

但是,人们还是愿意看,愿意信,即使已经有无数事实证明了,任何预测都是瞎掰,我们还是义无反顾地扑向这些信息,只是因为它们会让我们迷茫不知所措的因果脑袋感到舒服。

再比如你在与别人商量某事,希望他同意时,只要在表达中加上“因为……”这样的字眼。

就算你说的原因驴唇不对马嘴,但被接受的可能性还是会相当高。

只是,因为你说了“因为”!

而且,回归平均值虽然可以用来解释现象,但它糟糕就糟糕在无法找出其中原因,这让“给个原因先”的人类怎么能接受!

就像在高尔夫锦标赛中,那些第一天成功的选手通常在第二天发挥都很糟糕,对于这种现象最好的解释就是:

那些选手第一天出奇地走运。

不过这种解释根本就缺乏人类大脑认可的因果关系因素,自然会被人们斥为相当木有水平!

所以,那些能够为回归效应提供巧妙解释的人往往赚得盆满钵满,比如:专家、学者、经济学家、分析师等。

试想,如果一位商业评论员说:“今年的生意比去年要好,因为去年太糟了!”

尽管他说得没错,但很可能再也没有人请他进行评论了。

还有人曾举过这样的例子,该现象在养生学,甚至是医学中极为常见,例如所谓的偏方秘方等。

比如:给一群抑郁儿童喝某种功能饮料,一段时间后,他们的病情会有很大的好转;如果让抑郁儿童每天都倒立一段时间,或是让他们抱猫20分钟,这些都会使病情好转。

我们看到这样的新闻后,会不由自主地认为,喝功能饮料、倒立或是抱猫的行为的确使抑郁儿童的病情得到了改善。

但是,这个结论根本无法证伪。

真相是,抑郁儿童是一个极端群体,他们比大多数其他儿童要压抑得多,这些极端群体在一段时间之后会回归平均水平。

而一连串的测试所反映出来的不同压抑程度之间并没有绝对的相关性,所以回归平均值这种现象又会出现:

即使他们不喝功能饮料,不抱猫,不倒立,一段时间后这些抑郁儿童的病情同样会有所缓解。

高尔顿还解释道,任何一连串的重复活动,其结果通常都会接近平均值或中间值。

比如:打网球时连续挥拍24次,如果有一个球打得特别好,下一个球就可能点拖泥带水。

如果不小心打了一记坏球,下一个球通常会打得漂亮一点。

回归平均值揭示了一个最简单的道理:第二次的表现和第一次并没有直接的关联。

到这里,坤鹏论不管你有没有想明白,建议你一定清晰地记住:

回归平均值现象不是因果关系,而是统计学总结的结论!

它比任何其他解释都要科学,它是这个地球上的规律,世间万物,包括人类,都要受它的约束。

就像坤鹏论以前一直强调的,经济没有周期,但经济有规律。

而经济的规律中最重要的一点就是回归平均值。

四、回归平均值无处不在

就像高尔顿所言,回归平均值效应可谓无处不在。

曾经美国有个著名的“体育画报的诅咒”。

凡是登上《体育画报》杂志封面的运动员,都会在接下来的赛季中表现欠佳。

以前大家认为,这是他们骄傲了,或是人们过高的期望给了他们压力。

但是,用回归平均值来解释则更加通顺:

能够成为《体育画报》封面人物的运动员在前一赛季一定表现极为出色,也许这种出色的表现在很大程度上源于运气,而运气善变,接下来他就没那么走运了。

同样,财富这件事也有条平均线。

当一个家族的富裕程度离中轴线很远的时候,也有强烈的动机回到均值,这就是所谓的“富不过三代”。

“金满箱,银满箱,转眼乞丐人皆谤”所揭示的不是人生的布朗运动,而是回归平均值的普遍规律。

本文由“坤鹏论”原创,转载请保留本信息

分享 转发
TOP
发新话题 回复该主题