首页 >>  正文

false+alarm

来源:baiyundou.net   日期:2024-08-04

来自微信公众号:人神共奋(ID:tongyipaocha),作者:人神共奋,题图来自:《憨豆先生的大灾难》

一、你真的缺乏自信吗?

“我从小就缺乏自信,请问老师,怎样才能变得自信起来呢?”

后台常常有人向我咨询这个问题,但我内心其实很好奇:为什么你会觉得自己没有自信呢?至少你在‘缺乏自信’这件事上,还是很有自信的嘛!

要知道,真正的牛人往往都是缺乏自信的。

心理学家贾斯汀•克鲁格曾经为学生安排了一个语法测试,并要求他们写下预估的分数。然后教授按实际成绩把学生分为四等,并和他们预估的成绩作比较:

三角形构成的那条线是学生考后的估分,可以看出,这个实验非常巧妙,因为学生们一般是不做语法测试的,缺少过往的参考成绩,所以最后的预估完全依赖自信程度。

最后的实际成绩(圆点构成的那条线)显示,最差的四分之一的“学渣们”才考了平均十多分,最好的四分之一的“学霸们”平均90多分。

这个实验中提供了一些关于自信度的观察:

1. 能力最差的人对自己的评价离事实最远;

2. 能力中间偏前的人对自己的评价最准;

3. 中间偏后一点的人,对自己的评价最高;

4. 能力最强的人对自己的评价偏低。

所以这篇论文的题目叫《论承认自己无能的困难如何导致自我评价的膨胀》。

很多研究都表明,一个人表现出的自信和他的智商、专业度、用心程度等无关(也有报告认为有非常微弱的关系)(Paese&Sniezek,1991;Ryback,1967;Sniezek&Henry,1989,1990),也与决策质量无关,“信心—正确率”平均相关系数仅为0.28( Sporer,Penrod,Read,& Cutler,1995)

问题在于,你的自信,可能会影响别人对你的判断,比如法庭上振振有词的目击证人,对陪审团的影响更大,但研究也表明,目击证人对其证词的信心与证词的实际准确程度没有半毛钱关系。

这才是大家都希望自己更自信的真实原因,自信的人可以争取他人更多的信任和资源,只是不能提高决策质量。

所以说从决策效果的角度,每个人都有自信上的问题,不一定是缺乏自信,也可能是过度自信,更可能是不知道自己此刻到底应该过度自信还是缺乏自信。

这个案例我在之前的文章中引用过,但我没有仔细分析它的意义,直到最近,微信做了一份对自己的生成式人工智能系统GPT-4的评估报告,我才发现,这件事不只是人类对自己的要求,在人工智能训练中至关重要。

专业的说法是“信心校准”。

二、人和人工智能都不知道何时

该有信心

ChatGPT是一个生成式的人工智能,它的工作机制是不断预测下一个字的概率,选择概率最大的那一个。但我们知道,很多情况下,出现概率最高的,只是常见的答案,不一定是正确的答案。

ChatGPT的很多回答,内行人一看就知道是错的,但如果是外行——判断依据只能是对方是否内行?回答的语气是不是很肯定?如果ChatGPT用自信的、有说服力的方式陈述,就会骗过你。

如果我们不是用ChatGPT玩一玩,而是处理很重要的工作,那只要判断失误一次,我们就会对它丧失信心,不知道什么时候该信它,什么时候不该信。

所以,系统需要在训练时,不断自我调整参数,以在更多的场景下预测出正确的答案,并且在某些情况下,可以告诉你“它不确定”。

这个过程,就是信心校准,是系统的训练目标之一:知道什么时候应该有信心,什么时候只应该猜测。

人类心理学上也有信心校准,用击中(hit) 与虚报(false alarm) 来对准决策正确与决策错误时对应的信心水平,以让不同信心水平与正确率产生相关性,简单说,在你做出错误决策时,你能否自我评估出自信不足?在你做出正确决策时,你是否更有信心?

这种校准对后续决策具有重要的监控作用,比如,研究发现不同的信心水平可以通过调节后续行为的变化程度即学习率) ,从而优化行为选择。

经过RLHF训练的GPT-4在这个问题上,比GPT-3.5有很大的改进,比如左边的问题,它放弃了常见但错误的说法(一句英语谚语),而选择了正确但不常见的观点。

但在回答右边的问题时,仍然落入了“高概率陷阱”,它“忽略”了“演员的儿子”这个条件,根据其他条件得到了更常见的答案——猫王,实际上答案是不太出名的另一个Elvis。

这说明GPT-4的自信校准仍然有缺陷。

如果你对人工智能未来改进后可以帮助你工作这件事,有比较高的期待的话,微软的报告不是一个好消息。他们发现,预训练的模型已经达到了高度校准,然而,在后训练过程中,校准度却再度降低了。

简单说,自信校准的提升遇到瓶颈,很可能是多个训练目标之间存在冲突,也可能是一类问题的自信校准提升的同时,又会降低另一类问题的自信校准。

这是不是预示着一种可能,GPT永远无法对自己的预测准确性进行正确的评估,因此也永远无法达到可以完全信任的地步?

本文研究人工智能信心校准的问题,还是为了回到我们应该如何看待自信的问题上,由于机器的神经网络学习是对人类学习的模仿,是否意味着,人类自身也无法正确评估自己的自信程度?

也许,更现实的做法还是回到“我们可能在什么问题上过度自信,什么问题上信心不足”这个问题上来。

前面一章的实验阐述了自信校准与个人能力的关系,下一个实验,分析的是自信校准与任务本身的关系。

三、做有些把握,又不是很

确定的事

心理学家利希滕斯坦和菲什霍夫设计了一系列实验(1977),得到了“人什么时候会过度自信”的一些有趣的结论:

结论一:我们在预测概率为50%的随机事件中,“过度自信偏差值”最大——即赌徒心态。

最经典的例子就是股票预测了。无数实验证明(包括经典的飞镖选股实验),股票走势大部分时间是随机的,上涨和下跌的概率是50%。

所以那些没怎么赚到钱的老股民,几乎都是自信校准失败者,这就是股票市场的逆向淘汰机制,凡是投资能力普通且自信校准正常的人,都在亏损后认清现实而退出了,剩下的就都是过度自信的人了。

结论二:当我们面对成功概率为80%的决策时,“自信偏差值”为零。

前面说,股票走势大部分时间是随机的,但仍然有少数时刻,有明显的趋势,上涨或下跌的概率接近80%。

所以,最成功的职业投资者大部分时间都在休息,不是真的休息,而是不停寻找接近80%大概率的机会,此时,投资者的判断非常准确,既不会高估,也不会低估。

结论三:超过80%的极大概率事件,反而会让人信心不足。

所以真正的高手也不会盲目追求稳赢,因为就算有这样的机会,也很可能会导致你过度谨慎,错过时机。

总结一下:

完全没有把握的事,别做;

非常有把握的事,少做;

有一些把握,又不是很确定的事情,自信一点按你的判断去做。

前面分析了自信与能力的关系、自信与任务难度的关系,我忽然发现,这两种自信有细微的区别,分别代表“对自己的信心”和“对于做这件事的信心”,它们之间又有什么样的关系呢?

四、自信与工具自信

沃顿商学院的教授亚当·格兰特(Adam Grant)在他的著作《Think Again: The Power of Knowing What You Don't Know》一书中,提出过一个 “自信模型”。

他认为,人在做一件事时,有两种信心,一种是对自己有没有信心,一种是对这件事、对自己的办法或团队等等(作者统一称之为Tools)有没有信心,后者被称为“工具自信”。

根据这两个信心,他把人做一件事时的状态分布在四个象限内:

右下角的“习惯性自卑”是对自己没信心,但对做这件事的方法、资源、工具等等,有信心。

左下角的“躺平”是对自己没信心,对自己拥有的资源与方法也没有信心,彻底丧失了对未来的希望。

格兰特教授认为这两种都是我们刚进入社会时的初始状态,区别无非是在大公司,还是在小公司。

右上角的“盲目自大”,是相信自己的同时,对自己拥有的资源、方法也有信心,相信自己肯定能做好这件事。

格兰特教授认为这是大部分人必经的中间状态。

而左上角的“自信并谦逊着”是相信自己的同时,不确定目前拥有的资源是否足够,也不确定现在是不是做这件事的最佳时节,甚至不确定自己现在掌握的方法是不是有效。

如何理解呢?假如说,你是一个极有自信的人,但现在我让你学开飞机,你肯定没信心,但这并不能让你怀疑自己的能力。

格兰特教授认为这是人的最佳状态,此时的心态往往是:

第一、自己很有能力,但目前的方法不一定管用,事情也不一定能成;

第二、就算方法不管用,自己仍然是很牛的一个人;就算这件事我没办成,下一次换一个方法也能办成;

第三、就算下一次换一个方法也没能成,再做别的事自己也能成,反正自己最后一定成功。

这就把人的自信,和对资源方法的信心分离开来,前者是一种力量,一种无法证伪、类似信仰的力量;而后者是一件工具,是科学的、充满怀疑精神的、需要进行“信心校准”的工具——人工智能只有后者,没有前者。

所以,过度自信也谈不上是什么坏事,如果只做80%概率的事,人类哪儿来什么进步呢?如果不是我们当年那些过度自信的祖先,我们现在还生活在树上。

本文来自微信公众号:人神共奋(ID:tongyipaocha),作者:人神共奋

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系[email protected]

如对本稿件有异议或投诉,请联系[email protected]

End

想涨知识 关注虎嗅视频号!

","gnid":"94bec816419f654eb","img_data":[{"flag":2,"img":[{"desc":"","height":"579","title":"","url":"https://p0.ssl.img.360kuai.com/t018b1505cd9a781baa.jpg","width":"1027"},{"desc":"","height":"388","title":"","url":"https://p0.ssl.img.360kuai.com/t0119c5c9491c1112a0.jpg","width":"520"},{"desc":"","height":"229","title":"","url":"https://p0.ssl.img.360kuai.com/t017b13f0c43a59a879.jpg","width":"548"},{"desc":"","height":"322","title":"","url":"https://p0.ssl.img.360kuai.com/t018dec829cd616089c.jpg","width":"553"}]}],"original":0,"pat":"art_src_1,fts0,sts0","powerby":"hbase","pub_time":1682517134000,"pure":"","rawurl":"http://zm.news.so.com/fb9b40380901bb6e05e4a7321deee5f7","redirect":0,"rptid":"6b3b8be3d120f1e8","rss_ext":[],"s":"t","src":"虎嗅APP","tag":[{"clk":"kanime_1:人工智能","k":"人工智能","u":""}],"title":"笨蛋自信满满,聪明人却充满怀疑,这就是现代社会

糜鬼索1313指事后知道是不必要的惊慌(成语) -
曹贞习13847327755 ______ 虚惊一场 (xū jīng yī cháng) 英文:a false alarm 解释:指事后才知道是不必要的惊慌. 出处:王朔《痴人》:“我坚信我会被稠密的气流托住,托不住也会在坠落过程中倏地醒来,在床上虚惊一场.” 示例:我们发现原来是~.

糜鬼索1313帮我找首歌?
曹贞习13847327755 ______ http://www.520music.com/MusicList/520music.com_4589.htm?False Alarm的专辑《The Time Is Coming》,来听听,不错的.

糜鬼索1313谁知道放羊的星星里面的《插曲》是什么歌?
曹贞习13847327755 ______ False Alarm. False Alarm

糜鬼索1313“公司系统故障” 英文怎么说? -
曹贞习13847327755 ______ company system breakdown.或是 breakdown of the company system 怎么样怎么样了.因为breakdown是表示机器出现故障的比较合适的表达.个人意见.呵呵.

糜鬼索1313false alarm rate是什么意思 -
曹贞习13847327755 ______ false alarm rate 虚率 [例句]It is found that the false alarm rate and rate of failing to forecast by using this method are still higher according to systematic study of earthquake cases.但经过系统震例研究发现,利用孕震空区预报地震的虚报漏报率比较高.

糜鬼索1313虚惊一场,坏心眼,精英部队用英语怎么说? -
曹贞习13847327755 ______ 虚惊一场 false alarm 坏心眼 with a wick/evil in one's mind 精英部队 the elite troops

糜鬼索1313如何利用OpenCV自带的haar training程序训练分类器 -
曹贞习13847327755 ______ 首先,需要说明的是,OpenCV自带的haar training提取的特征是haar特征 分类器是AdaBoost级联分类器(如需了解Adaboost算法, .所谓的级联分类器,就是将若干的简单...

糜鬼索1313the weeknd false alarm 是什么游戏 -
曹贞习13847327755 ______ 不是游戏,是音乐.所属专辑: False Alarm 演唱者: The Weeknd

糜鬼索1313虚惊一场的英文怎么说? -
曹贞习13847327755 ______ 部队解除了戒备状态, 原来是虚惊一场. The troops (were) stood down: it was a false alarm. 马丁说老板将来个突然造访,但结果却是虚惊一场. Martin said the boss was going to make a surprise visit,but it proved to be a false alarm. 天空变得黑...

糜鬼索1313如何利用OpenCV自带的haar training程序训练分类器 -
曹贞习13847327755 ______ 参考我的博客: http://blog.csdn.net/carson2005/article/details/6704589 并设置正样本所在的路径以及生成的正样本文件保存路劲(例如:f:\pos\pos.vec). Createsamples程序的命令行参数: 命令行参数: -vec 训练好的正样本的输出文件名....

(编辑:自媒体)
关于我们 | 客户服务 | 服务条款 | 联系我们 | 免责声明 | 网站地图 @ 白云都 2024