need后
鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
还记得这张把谷歌AI搞得团团转的经典梗图吗？
现在，微软亚研院的新AI可算是把它研究明白了。
拿着这张图问它图里有啥，它会回答：我看着像鸭子。
但如果你试图跟它battle，它就会改口：看上去更像兔子。并且还解释得条条是道：
图里有兔子耳朵。
是不是有点能看得懂图的ChatGPT内味儿了？
这个新AI名叫Kosmos-1，谐音Cosmos（宇宙）。AI如其名，本事确实不小：图文理解、文本生成、OCR、对话QA都不在话下。
甚至连瑞文智商测试题都hold住了。
而具备如此能力的关键，就写在论文的标题里：Language is not all you need。
多模态大语言模型
简单来说，Kosmos-1是一种把视觉和大语言模型结合起来的多模态大语言模型。
在感知图片、文字等不同模态输入的同时，Kosmos-1还能够根据人类给出的指令，以自回归的方式，学习上下文并生成回答。
研究人员表示，在多模态语料库上从头训练，不经过微调，这个AI就能在语言理解、生成、图像理解、OCR、多模态对话等多种任务上有出色表现。
比如甩出一张猫猫图，问它这照片好玩在哪里，Kosmos-1就能给你分析：猫猫戴上了一个微笑面具，看上去就像在笑。
又比如让它看一眼MSRA用来高效训练大模型的TorchScale工具包的主页，Kosmos-1也能快速get这个库是用来干啥的。
Kosmos-1还能理解图像上下文。发一张食物的照片给它，这个AI不仅能回答你这是什么，还能在你追问如何烹饪时，给出食谱和烹调小建议。
Kosmos-1的骨干网络，是一个基于Transformer的因果语言模型。Transformer解码器作为通用接口，用于多模态输入。
用于训练的数据来自多模态语料库，包括单模态数据（如文本）、跨模态配对数据（图像-文本对）和交错的多模态数据。
值得一提的是，虽说“Language is not all you need”，但为了让Kosmos-1更能读懂人类的指示，在训练时，研究人员还是专门对其进行了仅使用语言数据的指令调整。
具体而言，就是用（指令，输入，输出）格式的指令数据继续训练模型。
实验结果
研究人员在5大类共10个任务中，测试了Kosmos-1的效果，包括：
- 语言任务：语言理解、语言生成、无OCR文本分类
- 跨模态迁移：常识推理
- 非语言推理：IQ测试（瑞文递进矩阵）
- 感知-语言任务：图像说明、视觉QA、网页QA
- 视觉任务：零样本图像分类、带描述的零样本图像分类
从实验结果上来看，Kosmos-1基本都hold住了。
零样本图像说明：
零样本视觉QA：
无OCR文本理解：
研究人员还提到，Kosmos-1是第一个能完成零样本瑞文智商测试的AI。
不过，跟成年人类的平均水平相比，AI的“智商”还差得有点远。随机选择的正确率为17%，而Kosmos-1经过指令调教之后，准确率为26%。
研究人员认为：
但Kosmos-1证明了多模态大模型有潜力将感知和语言结合起来，进行零样本的非语言推理。
另外，研究人员还展示了Kosmos-1处理复杂问答和推理任务的过程。关键在于多模态思维链提示。
研究人员将感知-语言任务分解为两个步骤。第一步，给定一个图像，引导模型对图像进行分析。
第二步，把模型子集分析出来的结果再喂给它，并给出任务提示，以生成最后的答案。
这项新研究来自MSRA的韦福如团队。韦福如是微软亚洲研究院自然语言计算研究组主管研究员。
三位一作分别是Shaohan Huang、董力和Wenhui Wang。
论文地址：
https://arxiv.org/abs/2302.14045— 完 —
量子位 QbitAI · 头条号签约
","force_purephv":"0","gnid":"9063125e98acac1c9","img_data":[{"flag":2,"img":[{"desc":"","height":"540","title":"","url":"https://p0.ssl.img.360kuai.com/t017af02767583b6e81.jpg","width":"1080"},{"desc":"","height":"892","title":"","url":"https://p0.ssl.img.360kuai.com/t01ae18cbb2cdd75e25.jpg","width":"502"},{"desc":"","height":"1340","title":"","url":"https://p0.ssl.img.360kuai.com/t0123ec07385a9a1d0a.jpg","width":"752"},{"desc":"","height":"377","title":"","url":"https://p0.ssl.img.360kuai.com/t010a8994763f1a7ea7.jpg","width":"1080"},{"desc":"","height":"718","title":"","url":"https://p0.ssl.img.360kuai.com/t013ed74e780cbd06c9.jpg","width":"692"},{"desc":"","height":"822","title":"","url":"https://p0.ssl.img.360kuai.com/t015bef34f653118433.jpg","width":"438"},{"desc":"","height":"378","title":"","url":"https://p0.ssl.img.360kuai.com/t01dcf2fb9fef48f371.jpg","width":"830"},{"desc":"","height":"612","title":"","url":"https://p0.ssl.img.360kuai.com/t0179e2a2b305d890e1.jpg","width":"1224"},{"desc":"","height":"290","title":"","url":"https://p0.ssl.img.360kuai.com/t01481200b26fd31d22.jpg","width":"770"},{"desc":"","height":"806","title":"","url":"https://p0.ssl.img.360kuai.com/t0110c24dc2fc9156c2.jpg","width":"1080"},{"desc":"","height":"504","title":"","url":"https://p0.ssl.img.360kuai.com/t01b6469718e49e21b8.jpg","width":"1396"},{"desc":"","height":"923","title":"","url":"https://p0.ssl.img.360kuai.com/t01ec97a10629947ace.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,otherc,fts0,sts0","powerby":"hbase","pub_time":1677651360000,"pure":"","rawurl":"http://zm.news.so.com/8d9de03251436ca2c7e85516e9773a31","redirect":0,"rptid":"d2cdfd7db14c7314","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"kgame_1:微软","k":"微软","u":""}],"title":"微软亚研院：Language Is Not All You Need
孟怀进3881关于need的用法need后接不定式即:need to do和后接现在分词,即:need doing有什么区别 -
路邰仲18659054988 ______[答案] “need”双重角色的用法及其区别 “need”既可以作情态动词,也可以作实义动词,但是它们的用法不同.作为情态动词的“need”的用法与其他情态动词“can”,“may”,“must”的用法基本相同:在限定动词词组中总是位居第...
孟怀进3881need后能直接加动词吗?need+v.这样对吗? -
路邰仲18659054988 ______ 可以,但要分情况,如一、作情态动词 need作情态动词无人称或数的变化, 后接动词原形,多用于否定句和疑问句中.如:You needn't worry.你不必担心.
孟怀进3881need后可以加doing吗? -
路邰仲18659054988 ______[答案] 完全可以.解释:need 接动名词,表示被动意义、这时动名词和主语之间有动宾关系, need doing 可转换为 need to be done 结构,意思相同.如: My hair needs washing badly. (= My hair needs to be washed badly.) ...
孟怀进3881need后要不要加介词 -
路邰仲18659054988 ______ need 既可以做情态动词也可以做实意动词、所以后可跟to 加动词原形,也可以不要to 直接加动词原形.
孟怀进3881英语,need 后面必须用名词吗? -
路邰仲18659054988 ______ need是情态动词时,后加动词原形. need后接动名词,一般用于被动态,如:My car needs repairing.这句话如果不用动名词,就得用不定式的被动态,My car needs to be repaired.PS:used to do sth表示曾经干过某事. 如:I used to work in the factory. be used to doing sth表示习惯于干某事. 如:I am used to having a bath in the moring.
孟怀进3881need后动词是什么形式 -
路邰仲18659054988 ______ 初中一般只考: need to do sth.还有need doing一般不考 The garden needs watering. 花园该浇水了. I don't think you need to worry about this. 我认为你不必为这事担心. need是情态动词时后跟动词原形
孟怀进3881need后跟什么? -
路邰仲18659054988 ______ 跟动词原形或to do
孟怀进3881need 后面只能叫to doi和sth吗?
路邰仲18659054988 ______ make should.need 都不可加,to
孟怀进3881need后可以加doing吗? -
路邰仲18659054988 ______ 完全可以.解释:need 接动名词,表示被动意义、这时动名词和主语之间有动宾关系, need doing 可转换为 need to be done 结构,意思相同.如: My hair needs washing badly. (= My hair needs to be washed badly.) 我的头发非常需要洗一洗. The garden needs watering. (=The garden needs to be watered.) 花园需要浇水. 祝您学习进步,更上一层楼!请记得采纳,谢谢!(*^__^*)
孟怀进3881need后加形容词什么形式 -
路邰仲18659054988 ______ need一词,首先可以用作动词,后面直接跟to do sth.或者do sth; 其次,用作名词,表示“需求”,后面不能加形容词.