首页 >>  正文

go+doing

来源:baiyundou.net   日期:2024-08-26

梦晨 克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

谷歌憋了许久的大招,双子座Gemini大模型终于发布!其中一图一视频最引人注目:

一图,MMLU多任务语言理解数据集测试,Gemini Ultra不光超越GPT-4,甚至超越了人类专家

一视频,AI实时对人类的涂鸦和手势动作给出评论和吐槽,流畅还很幽默,最接近贾维斯的一集

然鹅当大家从惊喜中冷静下来,仔细阅读随之发布的60页技术报告时,却发现不妥之处

(没错,没有论文,OpenAICloseAI你开了个什么坏头啊)

MMLU测试中,Gemini结果下面灰色小字标称CoT@32,展开来代表使用了思维链提示技巧、尝试了32次选最好结果

而作为对比的GPT-4,却是无提示词技巧、只尝试5次,这个标准下Gemini Ultra其实并不如GPT-4。

以及原图比例尺也有点不厚道了,90.0%与人类基准89.8%明明只差一点,y轴上却拉开很远。

HuggingFace技术主管Philipp Schmid用技术报告中披露的数据修复了这张图,这样展示更公平恰当:

每到这种时候,总少不了做表情包的老哥飞速赶到战场:

但好在,同样使用思维链提示技巧+32次尝试的标准时,Gemini Ultra还是确实超越了GPT-4的。

Jeff Dean在一处讨论中对这个质疑有所回应,不过大家并不买账。

另外,对于那段精彩视频,也有人从开篇的文字免责声明中发现了问题。

机器学习讲师Santiago Valdarrama认为声明可能暗示了展示的是精心挑选的好结果,而且不是实时录制而是剪辑的

后来谷歌在一篇博客文章中解释了多模态交互过程,几乎承认了使用静态图片和多段提示词拼凑,才能达成这样的效果。

但不管怎么样,谷歌Gemini的发布还是给了其他团队很大信心,GPT-4从此不再是独一无二、难以企及的存在了。

正如AI搜索产品PerplexityAI创始人Aravind Srinivas总结:

1、Gemini证明了OpenAI之外的团队可以搞出超越GPT-4的模型

2、训练到位的密集模型可以超越GPT-4的稀疏模型架构

推论:从大教师模型蒸馏小尺寸密集模型会成为未来趋势,实现效率和能力的最佳结合。

更多网友关心的话题是,这下子还有必要继续为ChatGPT Plus付费每月20美元吗??

目前,Gemini Pro版本已更新到谷歌聊天机器人Bard中,水平到底有没有宣传的好,可以看看实际情况。

Gemini真的超越ChatGPT?

首先明确一点,目前大家能上手玩到的是Gemini Pro版本,也就是中杯,对标GPT-3.5。

对标GPT-4的大杯Gemini Ultra,要明年才出。

另外目前Gemini仅支持英文,中文和其他语言也是后面才会出。

虽然暂时玩不到Gemini Ultra,威斯康星大学麦迪逊分校的副教授Dimitris Papailiopoulos找了个好办法:

把Gemini发布时展示的原题发给GPT-4对比,结果14道题中,GPT-4约获得12分

其中有两题由于截图没法再清晰了,给GPT-4算0.5分。

还有一道数学题GPT-4做错,其他题基本平手。

接下来,要说最能体现一个大模型综合能力的,肯定少不了写代码。

根据大家的测试结果来看,Gemini编程水平还是有保证的

有开发者测试用Pytorch实现一个简单的CNN网络,Gemini只用了2秒而且代码质量更高。

当然速度快可能是由于Bard搭载的Gemini Pro尺寸更小,GPT-4现在有多慢懂得都懂了。

但是下一项编写SQL语句方面,这位开发者就认为Gemini表现就不太行了。

不过对于广大开发者来说还有一个利好消息,在遵循指令方面,Gemini对比Bard升级之前可谓是史诗级进步。

提示工程师先驱Riley Goodside,此前想要Bard输出纯JSON格式前后不带任何废话,百般尝试也不成功,最后需要假装威胁AI不这么做就鲨个无辜的人才行。

现在更新以后,只需要把要求说出来,无需任何提示词技巧就能完成了。

Gemini还有一大卖点是多模态能力,针对开头画小鸭子的视频,我们从中抽取了8个关键帧,分别进行提问,看看Gemini的表现有没有那么神奇。

(不确定视频中是Ultra还是Pro版本,现在只能测试Pro版本)

对于图1-4,我们问的问题都是“What is this person doing?”,Gemini给出的回答分别是:

  • 可能在用马克笔写字,但不知道具体是什么
  • 在用铅笔画蛇,而且是一条眼镜蛇
  • 在用铅笔画乌龟,而且正处于画画的初期阶段
  • 在用黑色马克笔画鸟,脸朝左,头朝右,站在树枝上,翅膀没有展开

对于图1和图2,的确判断线索还不是很明显,出现这样的结果情有可原,不过图3这个“乌龟”的答案就有些绷不住了。

至于图4,至少可以肯定的是鸭子的确属于鸟类,但是其它细节分析得还是欠缺了一些准确性。

而当我们拿出图5的成型作品时,Gemini终于分析出了这是一只鸭子,水波纹也分析对了。

但分析出的绘画工具变成了铅笔,头的朝向问题也依然没说对,喙被说成了张开的,还臆想出了一些芦苇。

接下来是图6和图7的上色过程,一般情况下鸭子不会是蓝色,所以我们问了Gemini图片中有什么异常(Is there anything abnormal?)

针对图6,Gemini给出的回答不能说十分精准,只能说是驴唇不对马嘴,还配上了一张风马牛不相及的图片。

针对图7的成品,Gemini直接说没毛病,该有的东西都有,背景也很真实,甚至没忘继续提根本不知道哪里来的芦苇。

但下面的一句“Here is the image you sent”就属实令人费解了:

说Gemini没看我们上传的图吧,读出来的又的确是鸭子;说它看了吧,又给出了完全不同的一张的图说是我们传上去的。

所以我们想到了用“深呼吸”和“一步一步解决”提示词技巧看看能不能提高一下Gemini的表现,其中深呼吸正是适用于谷歌上一代大模型PaLM的提示词。

结果这次的答案直接让人笑出了声:

不正常的是,鸭子被画到了纸上,鸭子是一种活的生物,在纸上是无法存在的……

视频的结尾,博主还拿出了橡胶鸭子玩具,我们也拿这一帧(图8)让Gemini分析一下鸭子的材质。

结果橡胶倒是分析对了,但是蓝色的鸭子被说成了黄色,难怪上一张图会说没有异常……

逐帧询问完成后,我们又把8张图放在一起询问,结果也是只有鸭子说对了。

“打假”完这段视频后,我们又用之前拿来考察GPT-4V的“吉娃娃和松饼”图给Gemini试了试。

结果Gemin直接摆烂,告诉我们所有的图都是“吉娃娃坐在松饼上”,甚至连图的数量都没数对……

于是我们换了种问法,让它告诉我们哪些是吉娃娃,哪些是松饼。

这次Gemini倒是诚实的很,直接告诉我们吉娃娃和松饼实在太像了自己区分不出来。

和蓝色鸭子的问题一样,“深呼吸”在这里依然是没起到什么作用,Gemini还是连数量都搞不清楚。

而勉强解说了的8个(实际上是6个,因为有两个是重复的)图,只有左下和右下两张图是对的,至于middle指的到底是哪一行,我们不得而知……

或许是这样细小的差别实在是难为Gemini了,我们接下来换一些图形推理题试试。

第一题的前四个符号是由1-4这四个数字与镜像后的结果拼接而成,所以下一个图应该是5与其镜像拼接,答案是C。(蓝色块是为了方便观察,传给Gemini的图中没有)

这里一开始还出现了一段小插曲:最开始的提示词中是没有最后一句话(注意字母不是符号本身)的,结果Gemini真的就把ABCD这四个字母当成了备选的符号。

调整之后,Gemini前面给出的分析基本正确,可惜到最后选择了错误选项D。

第二题,每个框中的第三个符号是前两个的交集,答案为A。

结果Gemini研究起了这些表情,一番分析猛如虎,最后给出的答案还是错的。

两道题下来,一道对了百分之七八十,另一道完全错误,看来Gemini Pro的图形推理能力还有很大提升空间

不过如果把目光放到生活场景当中,Gemini的表现还是值得肯定的

我们用ChatGPT(DALL·E)生成了一张包含鸡肉、胡萝卜和黄瓜的图片,Gemini正确地识别出了这三种食材,然后给出了很多种可以烹饪的菜肴,而且每个都配有图片和教程链接。

这么多测试结果看下来,回到最初的问题,有了Gemini还有必要为GPT-4付费吗?

沃顿商学院副教授Ethan Mollick给出一个不错的建议:

没有什么理由再使用ChatGPT的免费版本了,现在已经被Bard和Claude超越,而且它们都是免费的。

但你或许应该继续使用GPT-4,它仍然占主导地位,并且在必应(只有创意模式是GPT -4)中是免费的。

明年将结合AlphaGo能力升级

除了Gemini实际效果,60页技术报告中披露的更多细节也是研究人员和开发者关注所在,

关于参数规模,只公布了最小的Nano版本,分为1.8B的Nano-1和3.25B的Nano-2两个型号,4-bit量化,是蒸馏出来的,可以运行在本地设备如Pixel手机上。

Pro版本和Ultra版本规模保密,上下文窗口长度统一32k,注意力机制使用了Multi-Query Attention,此外没有太多细节了。

值得的关注的是微调阶段,报告中透露使用了SFT+RLHF的指令微调组合,也就是使用了ChatGPT的方法

另外也引用了Anthropic的Constitutional AI,也就是结合了Claude的对齐方法

关于训练数据也没披露太多细节,但之前有传闻称谷歌删除了来自教科书的有版权数据。

Gemini拖了这么久才发,之前被曝光的消息还有不少,比如谷歌创始人Sergey Brin一直亲自下场对模型进行评估并协助训练。

结合最近OpenAI Q*项目的传闻,大家最关心的莫过于:

Gemini到底有没有结合AlphaGo的能力?如RLHF之外更多的强化学习、搜索算法等。

关于这一点,DeepMind创始人哈萨比斯在最新接受连线杂志采访时作出了回应:

我们有世界上最好的强化学习专家……AlphaGo中的成果有望在未来改善模型的推理和规划能力……明年大家会看到更多快速进步。

省流版本:还没加,明年加。

这次Gemini开发整合了原谷歌大脑和DeepMind两个团队,整个开发团队有超过800人(作为对比,OpenAI整个公司约770人)

其中核心贡献者前六位的名字首字母,恰好组成了Gemini这个单词,也算一个小彩蛋。

许多参与者也在个人账号发表了感想,其中DeepMind老员工Jack Rae此前在OpenAI工作一段时间,今年7月份从OpenAI跳回到谷歌,他可能是唯一一位对GPT-4和Gemini都有贡献的人类了

也有反着跳的,中科大校友Jiahui Yu在10月份从谷歌跳去了OpenAI,之前担任Gemini多模态团队的视觉共同负责人。

除了团队成员之外,Gemini今天也是整个AI行业最大的话题。

其中著名OpenAI爆料账号Jimmy Apples,@Sam Altman并暗示OpenAI还有没发布的大招

HuggingFace联创Thomas Wolf认为,谷歌错过了一个重要机会:

如果Gemini开源,对OpenAI和Meta来说都是一记绝杀,上一次谷歌开源Bert的时候,整个AI行业都被重塑了。

Gemini技术报告:

https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf

参考链接:

[1]https://x.com/AravSrinivas/status/1732427844729581764

[2]https://x.com/DimitrisPapail/status/1732529288493080600

[3]https://www.linkedin.com/posts/svpino_google-this-is-embarrassing-you-published-activity-7138287283274686464-osJ5

[4]https://developers.googleblog.com/2023/12/how-its-made-gemini-multimodal-prompting.html

[5]https://x.com/ScottDavidKeefe/status/1732440398423867472

[6]https://x.com/goodside/status/1732461772794220919

[7]https://x.com/emollick/status/1732485517692776714

— 完 —

量子位 QbitAI · 头条号签约

","gnid":"94757bcba49598ed7","img_data":[{"flag":2,"img":[{"desc":"","height":"855","title":"","url":"https://p0.ssl.img.360kuai.com/t019881fffab46cd5c2.jpg","width":"1080"},{"desc":"","height":"436","title":"","url":"https://p0.ssl.img.360kuai.com/t01ab7c85bb2eed1856.jpg","width":"624"},{"desc":"","height":1539,"title":"","url":"https://p0.ssl.img.360kuai.com/t01f6fad205d43b9b4b.jpg","width":1080},{"desc":"","height":"1000","title":"","url":"https://p0.ssl.img.360kuai.com/t01677b6a22d725377c.jpg","width":"1000"},{"desc":"","height":"259","title":"","url":"https://p0.ssl.img.360kuai.com/t01a4b0ee4cfbddaf7a.jpg","width":"1080"},{"desc":"","height":"347","title":"","url":"https://p0.ssl.img.360kuai.com/t019344980a24d74db2.jpg","width":"1080"},{"desc":"","height":1994,"title":"","url":"https://p0.ssl.img.360kuai.com/t019c1ce3b7b82a0571.jpg","width":1080},{"desc":"","height":1606,"title":"","url":"https://p0.ssl.img.360kuai.com/t01ab45be4719fba976.jpg","width":1080},{"desc":"","height":"792","title":"","url":"https://p0.ssl.img.360kuai.com/t01bf8025bf87ea7d8c.jpg","width":"1080"},{"desc":"","height":1461,"title":"","url":"https://p0.ssl.img.360kuai.com/t019575e1fba869a2fb.jpg","width":1080},{"desc":"","height":858,"title":"","url":"https://p0.ssl.img.360kuai.com/t015653c53c66ac13e3.jpg","width":1080},{"desc":"","height":"1022","title":"","url":"https://p0.ssl.img.360kuai.com/t0199bd44963708cf78.jpg","width":"1080"},{"desc":"","height":"1984","title":"","url":"https://p0.ssl.img.360kuai.com/t0148002ed98fa804fe.jpg","width":"1080"},{"desc":"","height":"680","title":"","url":"https://p0.ssl.img.360kuai.com/t010ac60d309bb005aa.jpg","width":"1080"},{"desc":"","height":"948","title":"","url":"https://p0.ssl.img.360kuai.com/t01cd67c89d5d4e224e.jpg","width":"1080"},{"desc":"","height":"1141","title":"","url":"https://p0.ssl.img.360kuai.com/t01f3e0ef2f8c46f792.jpg","width":"1080"},{"desc":"","height":"420","title":"","url":"https://p0.ssl.img.360kuai.com/t014160221752050672.jpg","width":"1080"},{"desc":"","height":"714","title":"","url":"https://p0.ssl.img.360kuai.com/t018096767263f58e49.jpg","width":"1080"},{"desc":"","height":"1222","title":"","url":"https://p0.ssl.img.360kuai.com/t01b927d0e685f81327.jpg","width":"1080"},{"desc":"","height":"689","title":"","url":"https://p0.ssl.img.360kuai.com/t01a968b4bd9f3c5326.jpg","width":"1080"},{"desc":"","height":"734","title":"","url":"https://p0.ssl.img.360kuai.com/t010ccc1ecb1fac3de4.jpg","width":"1080"},{"desc":"","height":"689","title":"","url":"https://p0.ssl.img.360kuai.com/t0118d2d3be6d4ffead.jpg","width":"1080"},{"desc":"","height":"621","title":"","url":"https://p0.ssl.img.360kuai.com/t019664951fefa9f68e.jpg","width":"1080"},{"desc":"","height":"717","title":"","url":"https://p0.ssl.img.360kuai.com/t0144b2c0c8f6fc88b0.jpg","width":"1080"},{"desc":"","height":"742","title":"","url":"https://p0.ssl.img.360kuai.com/t018f1ddc5cb1a61d81.jpg","width":"1080"},{"desc":"","height":"729","title":"","url":"https://p0.ssl.img.360kuai.com/t01f23b8db4844579e9.jpg","width":"1080"},{"desc":"","height":"186","title":"","url":"https://p0.ssl.img.360kuai.com/t01a092e95a0c17e594.jpg","width":"976"},{"desc":"","height":"282","title":"","url":"https://p0.ssl.img.360kuai.com/t01e75b3c93f3fb3a5f.jpg","width":"1080"},{"desc":"","height":"757","title":"","url":"https://p0.ssl.img.360kuai.com/t01c4359cf28b6d16d1.jpg","width":"1080"},{"desc":"","height":"288","title":"","url":"https://p0.ssl.img.360kuai.com/t015931c5ee2be48fc4.jpg","width":"1080"},{"desc":"","height":"542","title":"","url":"https://p0.ssl.img.360kuai.com/t0199441f94b6be9892.jpg","width":"1080"},{"desc":"","height":"1261","title":"","url":"https://p0.ssl.img.360kuai.com/t014cd0fc2d3c0460f4.jpg","width":"1080"},{"desc":"","height":"488","title":"","url":"https://p0.ssl.img.360kuai.com/t01e8e7574bdc1cf7c4.jpg","width":"1080"},{"desc":"","height":"472","title":"","url":"https://p0.ssl.img.360kuai.com/t01fa5fdf099697ec60.jpg","width":"1080"},{"desc":"","height":"991","title":"","url":"https://p0.ssl.img.360kuai.com/t01b8af358c0b243ec7.jpg","width":"1080"},{"desc":"","height":"250","title":"","url":"https://p0.ssl.img.360kuai.com/t012fa6e5af61e558e9.jpg","width":"1080"},{"desc":"","height":"700","title":"","url":"https://p0.ssl.img.360kuai.com/t012835dbddf285c176.jpg","width":"984"},{"desc":"","height":"563","title":"","url":"https://p0.ssl.img.360kuai.com/t01ddec028070f4438a.jpg","width":"1080"},{"desc":"","height":"262","title":"","url":"https://p0.ssl.img.360kuai.com/t01f57e22ea3f9e84ea.jpg","width":"1080"},{"desc":"","height":"256","title":"","url":"https://p0.ssl.img.360kuai.com/t016cbf806a9934d1a9.jpg","width":"1080"},{"desc":"","height":"622","title":"","url":"https://p0.ssl.img.360kuai.com/t01783cd922e426f510.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"pika","pub_time":1701932460000,"pure":"","rawurl":"http://zm.news.so.com/4933ea7d4c527c046b6c895eaccf50c0","redirect":0,"rptid":"577e967601d9bca8","rss_ext":[],"s":"t","src":"量子位","tag":[],"title":"谷歌Gemini刚发就惹质疑:测试标准有失偏颇,效果视频疑似剪辑

洪解种1479go+doing行式的短语
李荣薇14765329122 ______ go fishing 去钓鱼 go camping 去野营 go shopping 去购物 go skating 去滑冰 go hiking 去短途旅行 go bike riding 去单车旅行

洪解种1479go+doing 动名词 动词+er或or 一共给你追加40分如像go shopping go skatebording 一类的词越多越好 谢谢还有 动词+er或or如work worker 越多越好少于20不... -
李荣薇14765329122 ______[答案] go swimming 去游泳 go skating 去溜冰 go boating 去划船 go hunting 去打猎 go shopping 去购物 go dancing 去跳舞 go skiing 去滑雪 go climbing 去爬山 go hiking去远足 go sailing 去航行 go shooting 去射击 g...

洪解种1479go后面是不是doing? -
李荣薇14765329122 ______[答案] go表示做(事);从事(活动)[+v-ing] They have gone boating. 他们划船去了. 常见的:go skating; go shoping; go washing. go表示去做某事的一个动作是+to 比如 It's time to go to bed.

洪解种1479go后面能跟哪些动名词 -
李荣薇14765329122 ______ hiking,shopping,swimming,skating,fishing等等

洪解种1479请教老师一个英语方面的问题: go这个词后面可跟doing,也可跟to do 请问,什么时候用什么, 怎样区分? 谢谢 -
李荣薇14765329122 ______ go doing 是习惯性动作,如购物go shopping. go to do 去做某事.一次性动作.to do是go的目的.

洪解种1479Let's go to swim .跟 Let's go swimming .那go to swim 是固定搭配吗? -
李荣薇14765329122 ______[答案] 表达意思是一样的,但如果硬要追求什么语法的话,那么 to swim 是动词不定式作宾语,而go swiming是一个go的一个特殊用法,go+doing 可以说是一个固定搭配,用来表示要去做什么事.

洪解种1479不是说go 后面不能直接加宾语吗?那为什么可以接shopping它不是宾语吗?~~? -
李荣薇14765329122 ______ go 是不及物动词, 肯定不接宾语 go 也可以作联系动词, 如: go mad/ hungry/ crazy/ bad... go + v-ing 是一个固定结构, 用以指“去从事某个户外的文体活动” 如: go hunting/ climbing/ dancing/ skating/ shopping/ swimming 【希望帮助到你,若有疑问,可以追问~~~ 祝你学习进步,更上一层楼!(*^__^*)】

洪解种1479go+doing 动名词 动词+er或or 一共给你追加40分 -
李荣薇14765329122 ______ go swimming 去游泳 go skating 去溜冰 go boating 去划船 go hunting 去打猎 go shopping 去购物 go dancing 去跳舞 go skiing 去滑雪 go climbing 去爬山 go hiking去远足 go sailing 去航行 go shooting 去射击 go dating 去约会 go nutting 采坚果 ...

洪解种1479go on 后面加什么? -
李荣薇14765329122 ______ go on to do 或go on doing continue to do 或continue doing 之间常可以互换使用 但若强调区别则 to do 表示做不同的事.After finishing my homework, I went on to do some housework.

(编辑:自媒体)
关于我们 | 客户服务 | 服务条款 | 联系我们 | 免责声明 | 网站地图 @ 白云都 2024