首页 >>  正文

图形题目及答案大全

来源:baiyundou.net   日期:2024-07-06

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

GPT-4的图形推理能力,竟然连人类的一半都不到?

美国圣塔菲研究所的一项研究显示,GPT-4做图形推理题的准确率仅有33%

而具有多模态能力的GPT-4v表现更糟糕,只能做对25%的题目。

△虚线表示16项任务的平均表现

这项实验结果发表后,迅速在YC上引发了广泛热议。

赞同这项结果的网友表示,GPT确实不擅长抽象图形处理,“位置”“旋转”等概念理解起来更加困难。

但另一边,不少网友对这个结论也有所质疑,简单说就是:

不能说是错的,但说完全正确也无法让人信服。

至于具体的原因,我们继续往下看。

GPT-4准确率仅33%

为了评估人类和GPT-4在这些图形题上的表现,研究者使用了自家机构于今年5月推出的ConceptARC数据集。

ConceptARC中一共包括16个子类的图形推理题,每类30道,一共480道题目。

这16个子类涵盖了位置关系、形状、操作、比较等多个方面的内容。

具体而言,这些题目都是由一个个像素块组成的,人类和GPT需要根据给定的示例寻找出规律,分析出图像经过相同方式处理后的结果。

作者在论文中具体展示了这16个子类的例题,每类各一道。

结果451名人类受试者平均正确率,在各子项中均不低于83%,16项任务再做平均,则达到了91%。

而GPT-4(单样本)在“放水”到一道题可以试三次(有一次对就算对)的情况下,准确率最高不超过60%,平均值只有33%。

早些时候,这项实验涉及的ConceptARC Benchmark的作者也做过类似的实验,不过在GPT-4中进行的是零样本测试,结果16项任务的平均准确率只有19%。

而多模态的GPT-4v,准确率反而更低,在一个48道题组成的小规模ConceptARC数据集中,零样本和单样本测试的准确率分别只有25%和23%

而研究者在进一步分析了错误答案后,发现人类的有些错误看上去很可能是“粗心导致”,而GPT则是完全没有理解题目中的规律

针对这些数据,网友们普遍没什么疑问,但让这个实验备受质疑的,是招募到的受试人群和给GPT的输入方式。

受试者选择方式遭质疑

一开始,研究者在亚马逊的一个众包平台上招募受试者。

研究者从数据集中抽取了一些简单题目作为入门测试,受试者需要答对随机3道题目中的至少两道才能进入正式测试

结果研究人员发现,入门测试的结果显示,有人只是想拿钱,但根本不按要求做题。

迫不得已,研究者将参加测试的门槛上调到了在平台上完成过不少于2000个任务,且通过率要达到99%。

不过,虽然作者用通过率筛人,但是在具体能力上,除了需要受试者会英语,对图形等其他专业能力“没有特殊要求”

而为了数据的多样化,研究者在实验后期又将招募工作转到了另一个众包平台,最终 一共有415名受试者参与了实验。

尽管如此,还是有人质疑实验中的样本“不够随机”。

还有网友指出,研究者用来招募受试者的亚马逊众包平台上,有大模型在冒充人类

再来看GPT这边的操作,多模态版本比较简单,直接传图然后用这样的提示词就可以了:

零样本测试中,则只要去掉相应的EXAMPLE部分。

但对于不带多模态的纯文本版GPT-4(0613),则需要把图像转化为格点,用数字来代替颜色

针对这种操作,就有人表示不认同了:

把图像转换成数字矩阵后,概念完全变了,就算是人类,看着用数字表示的“图形”,可能也无法理解

One More Thing

无独有偶,斯坦福的华人博士生Joy Hsu也用几何数据集测试了GPT-4v对图形的理解能力。

这个数据集发表于去年,目的是测试大模型对欧氏几何的理解,GPT-4v开放后,Hsu又用这套数据集给它测试了一遍。

结果发现,GPT-4v对图形的理解方式,似乎“和人类完全不同”。

数据上,GPT-4v对这些几何问题的回答也明显不如人类。

论文地址:

[1]https://arxiv.org/abs/2305.07141

[2]https://arxiv.org/abs/2311.09247

参考链接:

[1]https://news.ycombinator.com/item?id=38331669

[2]https://twitter.com/joycjhsu/status/1724180191470297458

— 完 —

量子位 QbitAI · 头条号签约

","gnid":"9303fa8f4a3eb997a","img_data":[{"flag":2,"img":[{"desc":"","height":"576","title":"","url":"https://p0.ssl.img.360kuai.com/t01ed35f95e5202fa2b.jpg","width":"1080"},{"desc":"","height":478,"title":"","url":"https://p0.ssl.img.360kuai.com/t0163ca7fe538978b9f.jpg","width":1080},{"desc":"","height":"337","title":"","url":"https://p0.ssl.img.360kuai.com/t015e44516ed56faca8.jpg","width":"1080"},{"desc":"","height":"366","title":"","url":"https://p0.ssl.img.360kuai.com/t016924502c818f09bd.jpg","width":"1080"},{"desc":"","height":1173,"title":"","url":"https://p0.ssl.img.360kuai.com/t014dad4b8c166469f6.jpg","width":1080},{"desc":"","height":1177,"title":"","url":"https://p0.ssl.img.360kuai.com/t01354a2288a8c6f9c4.jpg","width":1080},{"desc":"","height":"1168","title":"","url":"https://p0.ssl.img.360kuai.com/t011cdd7b7903807536.jpg","width":"1080"},{"desc":"","height":"695","title":"","url":"https://p0.ssl.img.360kuai.com/t01188ad4e05a2020df.jpg","width":"1080"},{"desc":"","height":"494","title":"","url":"https://p0.ssl.img.360kuai.com/t0162129c5d8bcbd992.jpg","width":"1080"},{"desc":"","height":"179","title":"","url":"https://p0.ssl.img.360kuai.com/t01e3c71afc375f3eb4.jpg","width":"1080"},{"desc":"","height":"513","title":"","url":"https://p0.ssl.img.360kuai.com/t0125687d6bef7c5c7c.jpg","width":"1080"},{"desc":"","height":"1010","title":"","url":"https://p0.ssl.img.360kuai.com/t0116c066195f14f591.jpg","width":"1080"},{"desc":"","height":"368","title":"","url":"https://p0.ssl.img.360kuai.com/t0173a328de61082bbc.jpg","width":"1080"},{"desc":"","height":"1353","title":"","url":"https://p0.ssl.img.360kuai.com/t015b932837f24490dc.jpg","width":"1080"},{"desc":"","height":"780","title":"","url":"https://p0.ssl.img.360kuai.com/t013d3bd06a1288929b.jpg","width":"1080"},{"desc":"","height":"352","title":"","url":"https://p0.ssl.img.360kuai.com/t017e849d1e66368458.jpg","width":"1080"},{"desc":"","height":"588","title":"","url":"https://p0.ssl.img.360kuai.com/t01cbdfb9df1b3dcba5.jpg","width":"1080"},{"desc":"","height":"840","title":"","url":"https://p0.ssl.img.360kuai.com/t01582067a27bf6352a.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"pika","pub_time":1700487720000,"pure":"","rawurl":"http://zm.news.so.com/21433f446c56395a98de1337452d96f4","redirect":0,"rptid":"913e8f9d16bc7f71","rss_ext":[],"s":"t","src":"量子位","tag":[],"title":"GPT-4不会图形推理?“放水”后准确率依然只有33%

滑哗可627图形题请看看
隗旺邢18861576068 ______ 图1,按照他给的规律看来,下一个缺少的不是中间田字那一横,就应该继续延逆时针方向减少斜线,既然答案没有前一种类型的,自己应该选A 图2,图形是一条由多个图形形成的线,线的倾斜规律是:依次往顺时针方向旋转45度,到下一个图就应该刚刚旋转180度,我认为答案应该是B

滑哗可627几道图形题请给出详细思路,谢谢!
隗旺邢18861576068 ______ 1.仔细看图形哈,(下面说的顺序都是由外到内的) 第一个——方框、圆、三角 第二个——圆、三角、方框 第三个——三角、方框、圆 第一到第三都是最外面到了最里面 而且外围各个不同, 第四个——方框、三角、圆 那么第四到第五就应该是最里面到了最外面(本来可以考虑B的,也就是跟前三同样顺序,可是由于B跟第四个外围一样,所以不考虑) 所以是圆、方框、三角...A 2、看不懂为什么 3、这个很简单,仔细看看图,两边对比,就知道线条是软硬变化的 ,而且其基本线条数字不变,由于参照中的最后一个是由三条直线构成的,所以应选择,同样是三条线条的软线条...A 4、直觉,由于两个都是没有封闭性线条的,所以只能选A

滑哗可627图形题求分析答案:51D53B54A55D56D57A求分析,谢
隗旺邢18861576068 ______ 51 大图形中套小图形,小图形有部分与大图形重合; 53 每个图形中都包含一个圆; 54 按边数或按内角数,依次为3、4、5、6,所以第五个图形应有七条边或说是七个角,两个规律可得出相同的答案; 55 左图为左右对称图形,右图为旋转180度后对称图形; 56 左图由内外两个图形组成,且图形形状基本相同,右图由三个图形组成,且图形形状也基本相同; 57 左图由互不相同的两个图形重叠而成,右图由三个互不相同的图形重叠而成.

滑哗可627三到图形题
隗旺邢18861576068 ______ 第一题应该是D,但画得似乎有点不对称.给出的三幅图都左右对称的图形,后面三幅图的规律是中轴线右边的图案为左的图案旋转180度,最先可以排除B、C,A也不对,D是符合规律的,但好象有点变了形. 第二题答案是D,对照两边的图形,把每个图案中间的一个小图案取出,再分置于两边.最先排除B,而A、C中两个小图形不同,也可以排除. 第三题答案是A.前三幅图都是由两个不同的图形叠加而成,后三幅图则是由三个不同的图形叠加而成.最先排除B(由四个图形叠加而成),而C、D中有重复图案.

滑哗可627一道图形题,希望大家能帮我解答,越详细越好
隗旺邢18861576068 ______ 太简单了 从上往下竖着看笔画术4-0=4,5-4=1 最后一个是8-3=5 选d

滑哗可627图形题1谢谢!
隗旺邢18861576068 ______ 我觉得是选红.从笔画上看,第一个图形可以用一笔画出来,第二个用两笔,第三个用三笔,第四个用两笔,那下一个根据规律可以用一笔写出来,只有红字可以用一笔写出来.行书的红字好象是一笔能写出来吧. 你这些题都太难了,遇到了还真没好办法.

滑哗可627一些图形题,望各位数学大神速解答~~~~~~~~~~~~~ -
隗旺邢18861576068 ______ 1)阴影部分的左上角可以看做是长方形和直角三角形,它们的面积和为16+(1/2)*6*14=16+42=58 阴影部分的右下角部分面积=正方形面积-四分之一圆的面积=36-π6²/4=36-9π 所以阴影部分面积 =两个正方形面积-58-(36-9π) =64+36-58-36+9π =6+9π 2)将四个阴影部分平移,得到新的长方形,长为16-2=14,宽为12-2=10 所以阴影面积=140...

滑哗可627求平行四边形,梯形,矩形,菱形,正方形的判定题及答案 -
隗旺邢18861576068 ______[答案] WHY NOT?IMPOSSIBLE IS NOTING!不能肯定会不会出现,不过出现的几率比较小.一般都是给出某种图形去研究它的某个方面.不过每个图形的判定还是要会的

滑哗可627请教图形题 - 答案为CDAD
隗旺邢18861576068 ______ 第一题 BQP由线段和圆弧组成,AVL全部由线段组成.其余选项不符合. 第二题 先看第一个方框内:第一个入图形菱形之内的所有线段,你把它画下来,旋转就得到第三个图形 同理看第二个方框. 第三题 第一个方框内:第一个图形半边黑半边白,第二个图形全黑,第三个全白. 同理看第二个方框. 第四题 第一个方框内:把第一个图形的纵轴放平,就和横轴在一天直线上,圆弧就被拉成半圆;再向下折90度,就成了第三个徒刑. 同理,第二个方框内的,第二个图形比第一个多了一条线段,第三个图形就应该比第二个图形多一条线段. 明白吗? 祝你成功!

滑哗可627图形解答题 -
隗旺邢18861576068 ______ 平行四边形DEFC面积为28,阴影DEA与DEFC等底同高,所以阴影DEA面积为DEFC的一半,即14

(编辑:自媒体)
关于我们 | 客户服务 | 服务条款 | 联系我们 | 免责声明 | 网站地图 @ 白云都 2024