名的一词多义
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
以画画水平高超而风靡全球的DALL-E 2，语文水平被质疑了。
比如bat这个多义词，就把它给考住了。
a bat is flying over a baseball stadium（一只蝙蝠/球棍从棒球场上飞过）。
结果它画出来的图，蝙蝠和球拍都在天上飞。
而且这不是偶然的失误，如果输入“a person is hearing a bat”，画出来的还是蝙蝠和球棒都存在。
换成另一种情况，输入a fish and a gold ingot（一条鱼和一个金锭）。
好嘛，直接把两种东西都铸金了，变成真金·鱼。
可不能低估了这些失误，因为它们意味着DALL-E 2在根据文本生成图像的过程中，对语言中符号到实体的基本映射关系。
即一个词对应一个实体。
以bat举例，画出蝙蝠或者球棍，都算DALL-E 2理解正确，但是如果两个都给，那就有问题了。
这就好比本身是单选题，填A或B都对，可是把两个都写上就违反了规则。
更何况有时候它还把不同物体的修饰词弄错，“上一道题的解法用在下一道上”。
发现这一问题的，是来自巴伊兰大学、艾伦人工研究智能所的学者们，并且专门写了篇论文分析。
有趣的是，研究人员约阿夫·高柏（Yoav Goldberg）还提到，这种情况在mini DALL-E和Stable Diffusion中并不常见。
我猜这可能是因为所谓的逆规模现象（inverse scaling）。
简单理解就是“模型越大性能越差”。
论文具体说了啥？
几位学者在发现问题后，又反复进行了多次试验，并把问题主要划分为三种情况：
- 第一、一个单词被解释为两个不同的事物
- 第二、一个单词被解释为两个不同事物的修饰词
- 第三、一个单词在被解释为一个事物的同时，又被理解成另一种事物的修饰词
前两种情况开头已经提过。
第三种情况举例来说，输入“一匹斑马和一条街道”，输出的结果中一直都有斑马线。
在这里，DALL-E 2把斑马同时解释了两次。
在针对这些情况都重复试验后，作者计算出DALL-E 2在三种情况下，出现失误的概率都超过80%。
其中第二种情况的失误率最高，达到97.2%。
第三种情况下，如果给另一个名词前加上新的修饰词，可以避免失误发生。
即输入一匹斑马和一条碎石路，路面上就没有斑马线出现了。
而在用DALL-E mini和Stable Diffusion时，这些重复解释的情况并不常见。
作者解释，未来可以考虑研究模型的文本编解码器来追溯这些问题，并且可以研究这些问题和模型大小、框架是否有关系。
作者之一Yoav Goldberg是巴伊兰大学的杰出教授，也是艾伦人工智能研究院以色列分院的研究主任。
之前，他在纽约的谷歌研究中心做博士后。研究兴趣方向为NLP和机器学习，尤其对语法解析感兴趣。
还曾发现DALL-E 2自创语言
不过就在几个月之前，一位计算机专业的博士小哥发现，给DALL-E 2喂一些奇怪的语言，它也能生成同一类的图像。
而这些词，正是来自DALL-E 2生成图像中的。
比如输入“两个农民谈论蔬菜，带字幕（Two farmers talking about vegetables, with subtitles）”后，DALL-E 2给出的图像中，出现了一些“乱码”的词汇。
而如果再把图像中的新词Vicootes”当作描述丢给模型，没想到，出来这样一堆图像：
有萝卜、有南瓜、有小柿子……难道“Vicootes”就代表蔬菜？
如果再把上图气泡中一串“Apoploe vesrreaitais”扔给DALL-E 2，一堆鸟图出现了：
“难道说，这个单词代表‘鸟’，所以农民们似乎在谈论影响他们蔬菜的鸟类？”
当时，这位博士小哥把自己的发现发布在网络上后，立刻引起热议。
有人试图分析DALL-E 2是如何加密语言的，还有人觉得这只是噪声。
不过总的来说，在语言理解方面，DALL-E 2总能搞出点让人意想不到的事。
你觉得这背后原因到底是什么呢？
论文地址：
https://arxiv.org/pdf/2210.10606.pdf参考链接：
https://twitter.com/yoavgo/status/1583088957226881025— 完 —
量子位 QbitAI · 头条号签约
","force_purephv":"0","gnid":"91619eedbc13fab74","img_data":[{"flag":2,"img":[{"desc":"","height":"910","title":"","url":"https://p0.ssl.img.360kuai.com/t01cb5ad8bb0025ca1f.jpg","width":"910"},{"desc":"","height":"1084","title":"","url":"https://p0.ssl.img.360kuai.com/t0143a951e7efc95028.jpg","width":"1080"},{"desc":"","height":"964","title":"","url":"https://p0.ssl.img.360kuai.com/t01a4cf1517f92d6fe3.jpg","width":"982"},{"desc":"","height":"188","title":"","url":"https://p0.ssl.img.360kuai.com/t01658348a226c17cbf.jpg","width":"1080"},{"desc":"","height":"972","title":"","url":"https://p0.ssl.img.360kuai.com/t0101b744fea12fd2b5.jpg","width":"970"},{"desc":"","height":"900","title":"","url":"https://p0.ssl.img.360kuai.com/t0157d6ba672bcd05b5.jpg","width":"900"},{"desc":"","height":"450","title":"","url":"https://p0.ssl.img.360kuai.com/t01be9fc434efd8c191.jpg","width":"450"},{"desc":"","height":"452","title":"","url":"https://p0.ssl.img.360kuai.com/t0177b996132983c232.jpg","width":"472"},{"desc":"","height":"542","title":"","url":"https://p0.ssl.img.360kuai.com/t01a734e80c78ac41d3.jpg","width":"1080"},{"desc":"","height":"432","title":"","url":"https://p0.ssl.img.360kuai.com/t0156126fe33637b346.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1666500420000,"pure":"","rawurl":"http://zm.news.so.com/3f9161792996bca8231755948b4a576c","redirect":0,"rptid":"b58b30d97e38d546","s":"t","src":"量子位","tag":[{"clk":"kculture_1:斑马","k":"斑马","u":""}],"title":"DALL-E 2被吐槽：金子和鱼画成真金·鱼，遇到一词多义就拉胯
鬱莉衫5038口技 中的 通假字 古今异义 词类活用 一词多义 -
严贪喻15389569974 ______ 一、通假字 满坐寂然 坐通座 二、古今异义词 1、两股战战 股:古义:大腿 今义:屁股 2、虽人有百手 虽:古义:即使,今义:表示转折关系的连词,虽然 3、稍稍正坐. 稍稍:古义:渐渐地,慢慢地 今义:稍微 4、中间力拉崩倒之声 中间:...
鬱莉衫5038求《逍遥游》一文的一词多义,通假字, 古今异义等 -
严贪喻15389569974 ______[答案] 通假: 1、北冥有鱼(“冥”通“溟”,大海) 2、其翼若垂天之云(“垂”通“陲”,边际) 3、适莽苍者,三餐而反... 上古称数往往在两位数之间加“有”字) 8、御六气之辩(“辩”通“变”) 一词多义 1、志——燕雀安知鸿鹄之志哉(...
鬱莉衫5038陋室铭 爱莲说 一词多义 古今异义 词类活用 -
严贪喻15389569974 ______[答案] 《爱莲说》 词类活用: 1.蔓:名词用作动词,长枝蔓.例句:不蔓不枝 2.枝:名词用作动词,生枝杈.例句:不蔓不枝 3.远:... (宜乎众矣)宜:古义:当.和乎连用,有当然的意思 今义:合适,应当. 一词多义 之:结构助词,的(水陆草木之花);代...
鬱莉衫5038种树郭橐驼传中的 通假字、古今异义、词类活用、一词多义、特殊语句 -
严贪喻15389569974 ______[答案] 长,读cháng,与“短”相对,如《隆中对》:“身长八尺.”引申为“长久地”,如《秋水》:“吾长见笑于大方之家.”... 6、甚者爪其肤以验其生枯 爪,名词用作动词,用手指抓 7、鸣鼓而聚之 聚,动词的使动词法,使……聚集 4.一词多义: 虽 ...
鬱莉衫5038人教版语文七年级上册文言文一词多义 -
严贪喻15389569974 ______ 一词多义一词多义1 观: ①昂首观之〔看〕 ②作青云白鹤观〔...的景象〕2 察: ①明察秋毫〔看〕 ②必细察其纹理〔观察〕3 时: ①余忆童稚时〔时候〕 ②故时有物外之趣〔时常〕4 以: ①徐喷以烟〔用〕 ②以丛草为林〔把〕5 为: ①项为之...
鬱莉衫5038口技中的词类活用和古今异义和通假字,一词多义有哪些? -
严贪喻15389569974 ______[答案] 通假字 满坐寂然(“坐”通“座”,座位) 满坐宾客无不伸颈(通“座”,座位) 少”通“稍” 宾客意少舒,稍稍正坐.... 7、众妙毕备(妙:形容词活用为名词,妙处) 一词多义 指:1.手有百指(名词,手指) 2.不能指其一端(动词,指出) ...
鬱莉衫5038口技 中的 通假字 古今异义 词类活用 一词多义 -
严贪喻15389569974 ______[答案] 通假字 满坐寂然(“坐”通“座”,座位) 满坐宾客无不伸颈(通“座”,座位) 少”通“稍” 宾客意少舒,稍稍正坐.... 7、众妙毕备(妙:形容词活用为名词,妙处) 一词多义 指:1.手有百指(名词,手指) 2.不能指其一端(动词,指出) ...
鬱莉衫5038人教版初一上下册,初二上册,古文,实词整理(一词多义,通假字,古今异义) -
严贪喻15389569974 ______ 通假字 七年级上册 1、项为之强 “强”(jiāng) 通“僵” 《童趣》 2、不亦说乎 “说”(yuè) 通“悦” 《〈论语〉十则》 3、诲女知之乎 “女”(rǔ) 同“汝” 《〈论语〉十则》 4、不知为不知,是知也 “知”(zhì) 通“智” 《〈论语〉十则》 5、...
鬱莉衫5038英语的一词多义 -
严贪喻15389569974 ______[答案] 作为世界上最通行的语言,英语在近年来的发展变化得到大众传媒,特别是计算机与网络发展的推动.但是,我国目前非专业... 针对这种情况,笔者特意为考生编制了这个一词多义总结.名为多义,实际还是一义,即这些单词在近年考试真题中出现时的...
鬱莉衫5038一词多义的歧义现象 -
严贪喻15389569974 ______ 现代汉语词汇本身就是这个样子,所以我们讨论词义或词性一般多在句子里讨论. 咬死了猎人的狗 这本身带上标点就是句子了. 这里有两种理解:这个狗把它主人咬死了. 其二是猎狗被咬死了. 再看例子:两个孩子的妈妈 一个是这个妈妈已经是两个子女的母亲了. 再也可以理解成:小明小华他们两个的妈妈. 还有,同一个词多用:雷锋是我们民族的骄傲! 谦虚使人进步,骄傲使人落后. 别说一个词,即便同一个句子,加上不同的语气,就截然相反. 这个玻璃杯是我打的. 这个玻璃杯是我打的? 这个玻璃杯是我打的!