首页 >>  正文

you后面能不能加is

来源:baiyundou.net   日期:2024-08-07

鱼羊 发自 凹非寺

量子位 | 公众号 QbitAI

还记得这张把谷歌AI搞得团团转的经典梗图吗?

现在,微软亚研院的新AI可算是把它研究明白了。

拿着这张图问它图里有啥,它会回答:我看着像鸭子。

但如果你试图跟它battle,它就会改口:看上去更像兔子。并且还解释得条条是道:

图里有兔子耳朵。

是不是有点能看得懂图的ChatGPT内味儿了?

这个新AI名叫Kosmos-1,谐音Cosmos(宇宙)。AI如其名,本事确实不小:图文理解、文本生成、OCR、对话QA都不在话下。

甚至连瑞文智商测试题都hold住了。

而具备如此能力的关键,就写在论文的标题里:Language is not all you need。

多模态大语言模型

简单来说,Kosmos-1是一种把视觉和大语言模型结合起来的多模态大语言模型。

在感知图片、文字等不同模态输入的同时,Kosmos-1还能够根据人类给出的指令,以自回归的方式,学习上下文并生成回答。

研究人员表示,在多模态语料库上从头训练,不经过微调,这个AI就能在语言理解、生成、图像理解、OCR、多模态对话等多种任务上有出色表现。

比如甩出一张猫猫图,问它这照片好玩在哪里,Kosmos-1就能给你分析:猫猫戴上了一个微笑面具,看上去就像在笑。

又比如让它看一眼MSRA用来高效训练大模型的TorchScale工具包的主页,Kosmos-1也能快速get这个库是用来干啥的。

Kosmos-1还能理解图像上下文。发一张食物的照片给它,这个AI不仅能回答你这是什么,还能在你追问如何烹饪时,给出食谱和烹调小建议。

Kosmos-1的骨干网络,是一个基于Transformer的因果语言模型。Transformer解码器作为通用接口,用于多模态输入。

用于训练的数据来自多模态语料库,包括单模态数据(如文本)、跨模态配对数据(图像-文本对)和交错的多模态数据。

值得一提的是,虽说“Language is not all you need”,但为了让Kosmos-1更能读懂人类的指示,在训练时,研究人员还是专门对其进行了仅使用语言数据的指令调整。

具体而言,就是用(指令,输入,输出)格式的指令数据继续训练模型。

实验结果

研究人员在5大类共10个任务中,测试了Kosmos-1的效果,包括:

  • 语言任务:语言理解、语言生成、无OCR文本分类
  • 跨模态迁移:常识推理
  • 非语言推理:IQ测试(瑞文递进矩阵)
  • 感知-语言任务:图像说明、视觉QA、网页QA
  • 视觉任务:零样本图像分类、带描述的零样本图像分类

从实验结果上来看,Kosmos-1基本都hold住了。

零样本图像说明:

零样本视觉QA:

无OCR文本理解:

研究人员还提到,Kosmos-1是第一个能完成零样本瑞文智商测试的AI。

不过,跟成年人类的平均水平相比,AI的“智商”还差得有点远。随机选择的正确率为17%,而Kosmos-1经过指令调教之后,准确率为26%。

研究人员认为:

但Kosmos-1证明了多模态大模型有潜力将感知和语言结合起来,进行零样本的非语言推理。

另外,研究人员还展示了Kosmos-1处理复杂问答和推理任务的过程。关键在于多模态思维链提示

研究人员将感知-语言任务分解为两个步骤。第一步,给定一个图像,引导模型对图像进行分析。

第二步,把模型子集分析出来的结果再喂给它,并给出任务提示,以生成最后的答案。

这项新研究来自MSRA的韦福如团队。韦福如是微软亚洲研究院自然语言计算研究组主管研究员。

三位一作分别是Shaohan Huang、董力和Wenhui Wang。

论文地址:

https://arxiv.org/abs/2302.14045

— 完 —

量子位 QbitAI · 头条号签约

","force_purephv":"0","gnid":"9063125e98acac1c9","img_data":[{"flag":2,"img":[{"desc":"","height":"540","title":"","url":"https://p0.ssl.img.360kuai.com/t017af02767583b6e81.jpg","width":"1080"},{"desc":"","height":"892","title":"","url":"https://p0.ssl.img.360kuai.com/t01ae18cbb2cdd75e25.jpg","width":"502"},{"desc":"","height":"1340","title":"","url":"https://p0.ssl.img.360kuai.com/t0123ec07385a9a1d0a.jpg","width":"752"},{"desc":"","height":"377","title":"","url":"https://p0.ssl.img.360kuai.com/t010a8994763f1a7ea7.jpg","width":"1080"},{"desc":"","height":"718","title":"","url":"https://p0.ssl.img.360kuai.com/t013ed74e780cbd06c9.jpg","width":"692"},{"desc":"","height":"822","title":"","url":"https://p0.ssl.img.360kuai.com/t015bef34f653118433.jpg","width":"438"},{"desc":"","height":"378","title":"","url":"https://p0.ssl.img.360kuai.com/t01dcf2fb9fef48f371.jpg","width":"830"},{"desc":"","height":"612","title":"","url":"https://p0.ssl.img.360kuai.com/t0179e2a2b305d890e1.jpg","width":"1224"},{"desc":"","height":"290","title":"","url":"https://p0.ssl.img.360kuai.com/t01481200b26fd31d22.jpg","width":"770"},{"desc":"","height":"806","title":"","url":"https://p0.ssl.img.360kuai.com/t0110c24dc2fc9156c2.jpg","width":"1080"},{"desc":"","height":"504","title":"","url":"https://p0.ssl.img.360kuai.com/t01b6469718e49e21b8.jpg","width":"1396"},{"desc":"","height":"923","title":"","url":"https://p0.ssl.img.360kuai.com/t01ec97a10629947ace.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,otherc,fts0,sts0","powerby":"hbase","pub_time":1677651360000,"pure":"","rawurl":"http://zm.news.so.com/8d9de03251436ca2c7e85516e9773a31","redirect":0,"rptid":"d2cdfd7db14c7314","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"kgame_1:微软","k":"微软","u":""}],"title":"微软亚研院:Language Is Not All You Need

郭疫包843you后边为什么要加are而不加is -
邵卖邱13462348618 ______ 刚学英语吗?虽然you可以是单数,但是它是第二人称,其后的动词、系词,都按复数形式.这是语法规则.

郭疫包843you是第几人称?后面应该跟什么be动词? -
邵卖邱13462348618 ______ 第二人称,are

郭疫包843为什么you的后面不能加is? -
邵卖邱13462348618 ______ you are,固定表达,规定的

郭疫包843you后为什莫要加are而不是is -
邵卖邱13462348618 ______[答案] 语法呀.you are 和i am 都是固定的.只有第三人称单数后面才加is的.

郭疫包843you 是单数你的意思时句子中的动词要不要+s -
邵卖邱13462348618 ______ you单数也是第二人称,只有第三人称单数才加s/es comfort后边加了S 是名词复数形式,不做动词用

郭疫包843Walk down Main Street and you'll see the post office (is) on the left. 此句可以加上is吗?为什么? -
邵卖邱13462348618 ______ 不可以.因为 is 本身是个动词性质的词,会和 see 冲突.这句话本身有两个分句构成,Walk down Main Street 是前面一句,you'll see the post office on the left 是后面一句,中间 and 连接.如果加上 is,注意The post office is on the left. 单独能成...

郭疫包843watching you's the only drug I need中,you后面接is是不是错了? -
邵卖邱13462348618 ______ 没错.这句歌词要分开看,主语是watching you,也就是说“看着你”是我所需的唯一的药,而不是“你”是我唯一的所需的药,如果说 你是我唯一的所需的药的话那么you are the only drug I need就是正确的.但是此句的主语不是you.不过这句话还是有问题的,这里的is 不能缩写,缩写是错的.我在国外留学,希望帮的上你.

郭疫包843you后面只能加are吗? -
邵卖邱13462348618 ______ 加are的各种形式(were),完成时用have(had)been,将来时用will be

郭疫包843Your后面怎么一下用is一下可以用are?请你帮忙指点一下?? -
邵卖邱13462348618 ______ 前者 主语是 The problem 所以用is . with your eyes是定语 后者 从句中的 主语是 your eyes所以 用are

郭疫包843i 后面能不能加are求解啊 -
邵卖邱13462348618 ______ I 后面可以加are.例如:You and I are good friends.我和你是好朋友.I后面不但可以加are,还可以加is.例如:I is the ninth letter.I是第九个字母.

(编辑:自媒体)
关于我们 | 客户服务 | 服务条款 | 联系我们 | 免责声明 | 网站地图 @ 白云都 2024