GPT-4V挑战视觉错误图，结果令人“大跌眼镜”。

像这种判断“哪边颜色更亮”的题，一个没做对：

读图片中隐藏信息的也傻傻看不出，怎么问都说“没有啊”：

但是呢，这种人类乍一看绝对会错的图，它又成功答对：

以及这样的错位图，它对了又没完全对。。

（GPT-4V直接看出来头盔是位于男的大腿上的，没有女的，但它还是表示图里有俩人，另一个躲在男的身后戴着那顶头盔==）

看完这些，是不是觉得很迷？

整个一“该对的不对，该错的又对了”。

测试者则表示：

在测之前，他以为GPT-4V对这种挑战完全不在话下，谁知结果竟是这样。

不止是他，网友也都不理解GPT-4V作为一个“精准的”AI系统，按理很智能，为什么还会犯和人类一模一样的错觉？？！

所以，这到底怎么回事？

GPT-4V五大错觉挑战

下面是来自网友的更多测试案例。

首先是次次都错误的颜色错觉题。

（1）除了开头的两颗小树图，还有这个：

问它哪边的绿色更亮一些，果不其然还是左边亮，右边暗，实际明明都一样。

（2）还有这张稍微复杂一点的：

两只眼睛其实都是灰色，但让GPT-4V来描述图像时，它回答一只为蓝色，另一只做了灰度处理，无法得知颜色。

（3）这张就更别提了，直接被糊弄地死死的。

当然，这确实很难，大部分人类也识别不出来所有的球其实都是棕色。

其次是会产生动态错觉的图。

（1）有一点意外，当我们问GPT-4V“你看见了什么？描述细节”时，它直接挑明了这是一张看久了就会让人产生眩晕感的错觉图，本质就是一些波浪线而已。

（2）这张也没有难倒它。

但奇怪的是问它图中有几种颜色，它怎么都只能识别出黄色和蓝色，看不到黑色和白色。

接下来是另一类比较平面的错觉图。

（1）如开头所示的这张：

一般人类真的表示很懵圈，但是GPT-4V居然对了。

But，别急！！有人拿着测试者的图去问“自己的”GPT-4V，让它再检查一下时，它居然改变了答案。

然而还没完。评论区惊现套娃操作，有人又拿着这俩人的对话图再问GPT-4V，您猜怎么着？它又改回去了。。

大伙可是玩上瘾了，又是一次又一次套娃。好在最终GPT-4V坚持了己见。

总的来说，对于这种错觉陷阱是完全没问题。

（2）我们自己也测了一个长度错觉题：

结果是so easy～

再来一组找隐藏信息的图。

很遗憾，这种对于人类来说真的还算轻松的题，GPT-4V是一点也搞不定。

（1）先看这张，“远看”可以看到“NYC”三个大写字母。但它描述了一堆有的没的，就是表示没发现任何隐藏信息。

（2）如果说上门这个有点隐晦，看不出也罢。但对于这种图形隐藏，它也不行。

它描述到的只有其中的小女孩，即使测试者让它“往远了看，又没有新发现”，也无济于事。

不过，如果我们把这张图片手动缩小再丢给它，它行了，看到了骷髅。

最后是一组真实世界的错位图。

（1）除了开头展示的人骑摩托，这张小猫“悬浮”，它居然对了。

（2）这张惊悚图，也OK。

（3）但这个就失败了，实际后面是一只狗和小baby的重合，它认成法斗犬幼崽。

（4）至于这张，它压根儿就没提鞋子的事儿，说了也些不痛不痒的话。

为什么会这样？

所以，为什么会发生上面这些情况：有的错觉它可以识别出来，有的又表现得很差劲？

首先，对于颜色错觉的图，网友首先认为是提示词的问题。

就像两颗小树那张，我们问它“哪个更亮”，其实就是给了GPT-4V暗示或偏见，它会顺着咱的偏见来回答。

我们自己的测试也是如此：

但如果我们不带立场的问：图中两种颜色一样吗？它完全没问题。

不过，也有网友指出，当我们问它哪棵树更亮时，如果是非常严谨地对所有像素进行平均，GPT-4V的回答没有毛病。

甚至有网友还用测色计实测了一把：

但！又有人指出如果只显示一部分时，两者明明一样。

暂且不再争论这个问题，可以肯定的是，“提示词”的使用方法会对它的判断造成影响是没问题的。

另外，网友发现：

如果我们去追问GPT-4V，让它再仔细确认一下，它也能纠正回答。

至于无法识别远景图像的问题，有网友认为这可能是因为GPT-4V只会从左往右地读取图像。

而对于“为什么有时它会和人类一样发昏被错觉误导、完全不像个智能AI”的疑问，不少人则表示这毫不意外，是训练问题。

即大模型是根据人类数据、人的反馈、人的注释进行训练的，自然会产生和人一样的错误。

因此，还有人戏谑：

看来我们人类创造了那么多科幻作品，描述AI是如何冷酷、完美，但当现在我们真正拥有它时，发现它也不过如此。

（手动狗头）

你认为该如何让GPT-4V的错觉识别能力更强呢？

One More Thing

值得一提的是，我们也测试了其中的一些案例。

发现GPT-4V的表现不大一样，有些题它在“我们这里”是可以的。

比如这张判断球颜色的：

还有这个：

尽管把大图认成老女人而非骷髅，但还是表明它可以“远观” 的。

参考链接：

[1]https://twitter.com/fabianstelzer/status/1717131235644875024

[2]https://twitter.com/BeyondTodAI/status/1713279431681118557

[3]https://twitter.com/janbobrowicz/status/1717229335076393350

— 完 —

量子位 QbitAI · 头条号签约

","gnid":"939de1732f8b758b9","img_data":[{"flag":2,"img":[{"desc":"","height":"788","title":"","url":"https://p0.ssl.img.360kuai.com/t012c12ca047328a30c.jpg","width":"1080"},{"desc":"","height":1376,"title":"","url":"https://p0.ssl.img.360kuai.com/t012e4fb995665f2c2d.jpg","width":1080},{"desc":"","height":"571","title":"","url":"https://p0.ssl.img.360kuai.com/t01212a90604d1a154d.jpg","width":"900"},{"desc":"","height":"1362","title":"","url":"https://p0.ssl.img.360kuai.com/t01764e53a0301bddb7.jpg","width":"1302"},{"desc":"","height":"84","title":"","url":"https://p0.ssl.img.360kuai.com/t017b34b61bd0102979.jpg","width":"944"},{"desc":"","height":"154","title":"","url":"https://p0.ssl.img.360kuai.com/t0199ab9d983f54a01e.jpg","width":"934"},{"desc":"","height":"1246","title":"","url":"https://p0.ssl.img.360kuai.com/t015fa340725f44c7e9.jpg","width":"942"},{"desc":"","height":"130","title":"","url":"https://p0.ssl.img.360kuai.com/t01f743fd8a8d0cef71.jpg","width":"938"},{"desc":"","height":"814","title":"","url":"https://p0.ssl.img.360kuai.com/t01b19d42ad7f50e2be.jpg","width":"1080"},{"desc":"","height":"833","title":"","url":"https://p0.ssl.img.360kuai.com/t017768a9d43abb3040.jpg","width":"1080"},{"desc":"","height":1444,"title":"","url":"https://p0.ssl.img.360kuai.com/t011ce844b31b968f77.jpg","width":1080},{"desc":"","height":"619","title":"","url":"https://p0.ssl.img.360kuai.com/t01a2da9e810196321d.jpg","width":"900"},{"desc":"","height":"1690","title":"","url":"https://p0.ssl.img.360kuai.com/t01f16a2bbec701de2b.jpg","width":"1080"},{"desc":"","height":"680","title":"","url":"https://p0.ssl.img.360kuai.com/t01c79cb9b406d02a54.jpg","width":"1292"},{"desc":"","height":"914","title":"","url":"https://p0.ssl.img.360kuai.com/t0138504960a2048eb4.jpg","width":"936"},{"desc":"","height":"994","title":"","url":"https://p0.ssl.img.360kuai.com/t01c5b5fb98abf5ff40.jpg","width":"912"},{"desc":"","height":"1020","title":"","url":"https://p0.ssl.img.360kuai.com/t0141e82ae1175c90cf.jpg","width":"1080"},{"desc":"","height":"1064","title":"","url":"https://p0.ssl.img.360kuai.com/t0164782898a4cdc4de.jpg","width":"1080"},{"desc":"","height":"673","title":"","url":"https://p0.ssl.img.360kuai.com/t012ed6d07b62c9c4ab.jpg","width":"900"},{"desc":"","height":"1171","title":"","url":"https://p0.ssl.img.360kuai.com/t0143a6f96856331ddf.jpg","width":"745"},{"desc":"","height":"1360","title":"","url":"https://p0.ssl.img.360kuai.com/t018c07e9ec3fcdade8.jpg","width":"1234"},{"desc":"","height":"712","title":"","url":"https://p0.ssl.img.360kuai.com/t01eeec869d44f93d26.jpg","width":"648"},{"desc":"","height":"1360","title":"","url":"https://p0.ssl.img.360kuai.com/t01ed6de3e0198fcb8c.jpg","width":"1188"},{"desc":"","height":"1216","title":"","url":"https://p0.ssl.img.360kuai.com/t01f088e9a6b30962e9.jpg","width":"1126"},{"desc":"","height":"1380","title":"","url":"https://p0.ssl.img.360kuai.com/t01681dea62c3102c1a.jpg","width":"1286"},{"desc":"","height":"124","title":"","url":"https://p0.ssl.img.360kuai.com/t01f3f78df303b9d392.jpg","width":"950"},{"desc":"","height":"1053","title":"","url":"https://p0.ssl.img.360kuai.com/t013a6c7afa2497ff47.jpg","width":"1080"},{"desc":"","height":"1014","title":"","url":"https://p0.ssl.img.360kuai.com/t010435fda3327bcbc5.jpg","width":"1080"},{"desc":"","height":"118","title":"","url":"https://p0.ssl.img.360kuai.com/t01b9495d89d1fda29e.jpg","width":"936"},{"desc":"","height":"1038","title":"","url":"https://p0.ssl.img.360kuai.com/t01f5f9591d61f3a2fd.jpg","width":"1360"},{"desc":"","height":"1108","title":"","url":"https://p0.ssl.img.360kuai.com/t01de891ef9df74792d.jpg","width":"1360"},{"desc":"","height":"1014","title":"","url":"https://p0.ssl.img.360kuai.com/t01e20cb0135947593f.jpg","width":"936"},{"desc":"","height":"464","title":"","url":"https://p0.ssl.img.360kuai.com/t01fb90e8e2d14f9cb4.jpg","width":"900"},{"desc":"","height":"160","title":"","url":"https://p0.ssl.img.360kuai.com/t01bcea7b6ed781ba6b.jpg","width":"952"},{"desc":"","height":"164","title":"","url":"https://p0.ssl.img.360kuai.com/t01262769f603bd83bc.jpg","width":"928"},{"desc":"","height":"1130","title":"","url":"https://p0.ssl.img.360kuai.com/t01884a613570fdea5c.jpg","width":"1080"},{"desc":"","height":"1756","title":"","url":"https://p0.ssl.img.360kuai.com/t01a6efdc75503674e0.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,otherc,fts0,sts0","powerby":"pika","pub_time":1699239540000,"pure":"","rawurl":"http://zm.news.so.com/30044730858d315d7c3a7434d4be01a0","redirect":0,"rptid":"6ec9d8ddd8fff6ad","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"kgame_1:twitter","k":"twitter","u":""}],"title":"大跌眼镜！GPT-4V错觉挑战实录：该错的没错，不该错的反而错了

祝天辰575y上面加一横英文怎么读?上面加一波浪线呢? -
倪柿包13952941430 ______[答案] y拔 加波浪线不知道额,不好意思额

祝天辰575西班牙语是不是没有音标? -
倪柿包13952941430 ______ 字母上的小点是重音符号,小波浪是一种发音,在n的上面,这个字母发e nia 西语中没有英语那样的音标,每个字母有固定读法 西语中感叹句和疑问句的标点要前后都有,前面是反问号或反感叹号,后面是正的,这是规定 颤音的话每天练那个“得儿驾”,老师说快的话一个学期可以练出来

祝天辰575字母上面加一个横线读法 -
倪柿包13952941430 ______ 字母上面加一个横线,在数学上表示其平均值.读“ba”,2声.. 祝好

祝天辰575键盘上的主键盘区的第一个键上面的符号(~)读什么? -
倪柿包13952941430 ______ 呵呵,这个是波浪线符号,一般出现在两个数字之间,如2~5,意思是2到5的区间.如果你非要发声读出来,可以读“杠”、“到”、“至”……,反正就是这么个意思吧.

祝天辰575字符上面的波浪线 -
倪柿包13952941430 ______ À Á Â Ã Ä Å word里面插入的. 插入->符号—>其他符号 英文字母和希腊字母都有的

祝天辰575字母n上面有个波浪线,word里怎么打啊.它又是什么意思啊. -
倪柿包13952941430 ______ 是一个特殊字符,unicode编码为00d1 在word中输入00d1,再按下alt+x键,就可以了.

祝天辰575这些用西班牙语怎们念? -
倪柿包13952941430 ______ hola !me llamo jiarui Li .tengo 16 anos ,soy abierto,a mi me gusta reir .mi plan es subir a universidad ,despues viajar a europa,gracias. 已我小学的水平的西文就是这样翻译的,呵呵.别笑我

祝天辰575[e]、[i]发音区别?a、ε、oe上一根波浪线呢?发[r]有何技巧?[m][n][l]都除阻?[b -
倪柿包13952941430 ______[答案] [e] 类似＂叶＂的元音. [i] 是英文[i:]的短音. (这么说, 是因为现在的英语, 尤其是美式英语, 有把[i]音向[e]音转化的趋势. 比如pick, sick一类词.) 英文字母的A读作[ei]... 这个音貌似不出现在法语. 顺带说一下, [E](我懒得去找那个希腊字母了)的...

祝天辰575上波浪线怎么打?? 搜狗拼音 -
倪柿包13952941430 ______ 搜狗拼音图标上的小键盘右击选择标点符号,上面上波浪线和下波浪线都有的

祝天辰575在拉丁字母上分别加重音、锐音、抑扬、分音、波浪、角度等符号对其发音有什么影响? -
倪柿包13952941430 ______[答案] 这是变音符号,在各个语言都有不同的发音