here+you+go
梦晨 克雷西 发自 凹非寺
量子位 | 公众号 QbitAI谷歌憋了许久的大招，双子座Gemini大模型终于发布！其中一图一视频最引人注目：
一图，MMLU多任务语言理解数据集测试，Gemini Ultra不光超越GPT-4，甚至超越了人类专家。
一视频，AI实时对人类的涂鸦和手势动作给出评论和吐槽，流畅还很幽默，最接近贾维斯的一集。
然鹅当大家从惊喜中冷静下来，仔细阅读随之发布的60页技术报告时，却发现不妥之处。
（没错，没有论文，OpenAICloseAI你开了个什么坏头啊）
MMLU测试中，Gemini结果下面灰色小字标称CoT@32，展开来代表使用了思维链提示技巧、尝试了32次选最好结果。
而作为对比的GPT-4，却是无提示词技巧、只尝试5次，这个标准下Gemini Ultra其实并不如GPT-4。
以及原图比例尺也有点不厚道了，90.0%与人类基准89.8%明明只差一点，y轴上却拉开很远。
HuggingFace技术主管Philipp Schmid用技术报告中披露的数据修复了这张图，这样展示更公平恰当：
每到这种时候，总少不了做表情包的老哥飞速赶到战场：
但好在，同样使用思维链提示技巧+32次尝试的标准时，Gemini Ultra还是确实超越了GPT-4的。
Jeff Dean在一处讨论中对这个质疑有所回应，不过大家并不买账。
另外，对于那段精彩视频，也有人从开篇的文字免责声明中发现了问题。
机器学习讲师Santiago Valdarrama认为声明可能暗示了展示的是精心挑选的好结果，而且不是实时录制而是剪辑的。
后来谷歌在一篇博客文章中解释了多模态交互过程，几乎承认了使用静态图片和多段提示词拼凑，才能达成这样的效果。
但不管怎么样，谷歌Gemini的发布还是给了其他团队很大信心，GPT-4从此不再是独一无二、难以企及的存在了。
正如AI搜索产品PerplexityAI创始人Aravind Srinivas总结：
1、Gemini证明了OpenAI之外的团队可以搞出超越GPT-4的模型
2、训练到位的密集模型可以超越GPT-4的稀疏模型架构
推论：从大教师模型蒸馏小尺寸密集模型会成为未来趋势，实现效率和能力的最佳结合。
更多网友关心的话题是，这下子还有必要继续为ChatGPT Plus付费每月20美元吗？？
目前，Gemini Pro版本已更新到谷歌聊天机器人Bard中，水平到底有没有宣传的好，可以看看实际情况。
Gemini真的超越ChatGPT？
首先明确一点，目前大家能上手玩到的是Gemini Pro版本，也就是中杯，对标GPT-3.5。
对标GPT-4的大杯Gemini Ultra，要明年才出。
另外目前Gemini仅支持英文，中文和其他语言也是后面才会出。
虽然暂时玩不到Gemini Ultra，威斯康星大学麦迪逊分校的副教授Dimitris Papailiopoulos找了个好办法：
把Gemini发布时展示的原题发给GPT-4对比，结果14道题中，GPT-4约获得12分。
其中有两题由于截图没法再清晰了，给GPT-4算0.5分。
还有一道数学题GPT-4做错，其他题基本平手。
接下来，要说最能体现一个大模型综合能力的，肯定少不了写代码。
根据大家的测试结果来看，Gemini编程水平还是有保证的。
有开发者测试用Pytorch实现一个简单的CNN网络，Gemini只用了2秒而且代码质量更高。
当然速度快可能是由于Bard搭载的Gemini Pro尺寸更小，GPT-4现在有多慢懂得都懂了。
但是下一项编写SQL语句方面，这位开发者就认为Gemini表现就不太行了。
不过对于广大开发者来说还有一个利好消息，在遵循指令方面，Gemini对比Bard升级之前可谓是史诗级进步。
提示工程师先驱Riley Goodside，此前想要Bard输出纯JSON格式前后不带任何废话，百般尝试也不成功，最后需要假装威胁AI不这么做就鲨个无辜的人才行。
现在更新以后，只需要把要求说出来，无需任何提示词技巧就能完成了。
Gemini还有一大卖点是多模态能力，针对开头画小鸭子的视频，我们从中抽取了8个关键帧，分别进行提问，看看Gemini的表现有没有那么神奇。
（不确定视频中是Ultra还是Pro版本，现在只能测试Pro版本）
对于图1-4，我们问的问题都是“What is this person doing?”，Gemini给出的回答分别是：
- 可能在用马克笔写字，但不知道具体是什么
- 在用铅笔画蛇，而且是一条眼镜蛇
- 在用铅笔画乌龟，而且正处于画画的初期阶段
- 在用黑色马克笔画鸟，脸朝左，头朝右，站在树枝上，翅膀没有展开
对于图1和图2，的确判断线索还不是很明显，出现这样的结果情有可原，不过图3这个“乌龟”的答案就有些绷不住了。
至于图4，至少可以肯定的是鸭子的确属于鸟类，但是其它细节分析得还是欠缺了一些准确性。
而当我们拿出图5的成型作品时，Gemini终于分析出了这是一只鸭子，水波纹也分析对了。
但分析出的绘画工具变成了铅笔，头的朝向问题也依然没说对，喙被说成了张开的，还臆想出了一些芦苇。
接下来是图6和图7的上色过程，一般情况下鸭子不会是蓝色，所以我们问了Gemini图片中有什么异常（Is there anything abnormal?）。
针对图6，Gemini给出的回答不能说十分精准，只能说是驴唇不对马嘴，还配上了一张风马牛不相及的图片。
针对图7的成品，Gemini直接说没毛病，该有的东西都有，背景也很真实，甚至没忘继续提根本不知道哪里来的芦苇。
但下面的一句“Here is the image you sent”就属实令人费解了：
说Gemini没看我们上传的图吧，读出来的又的确是鸭子；说它看了吧，又给出了完全不同的一张的图说是我们传上去的。
所以我们想到了用“深呼吸”和“一步一步解决”提示词技巧看看能不能提高一下Gemini的表现，其中深呼吸正是适用于谷歌上一代大模型PaLM的提示词。
结果这次的答案直接让人笑出了声：
不正常的是，鸭子被画到了纸上，鸭子是一种活的生物，在纸上是无法存在的……
视频的结尾，博主还拿出了橡胶鸭子玩具，我们也拿这一帧（图8）让Gemini分析一下鸭子的材质。
结果橡胶倒是分析对了，但是蓝色的鸭子被说成了黄色，难怪上一张图会说没有异常……
逐帧询问完成后，我们又把8张图放在一起询问，结果也是只有鸭子说对了。
“打假”完这段视频后，我们又用之前拿来考察GPT-4V的“吉娃娃和松饼”图给Gemini试了试。
结果Gemin直接摆烂，告诉我们所有的图都是“吉娃娃坐在松饼上”，甚至连图的数量都没数对……
于是我们换了种问法，让它告诉我们哪些是吉娃娃，哪些是松饼。
这次Gemini倒是诚实的很，直接告诉我们吉娃娃和松饼实在太像了自己区分不出来。
和蓝色鸭子的问题一样，“深呼吸”在这里依然是没起到什么作用，Gemini还是连数量都搞不清楚。
而勉强解说了的8个（实际上是6个，因为有两个是重复的）图，只有左下和右下两张图是对的，至于middle指的到底是哪一行，我们不得而知……
或许是这样细小的差别实在是难为Gemini了，我们接下来换一些图形推理题试试。
第一题的前四个符号是由1-4这四个数字与镜像后的结果拼接而成，所以下一个图应该是5与其镜像拼接，答案是C。（蓝色块是为了方便观察，传给Gemini的图中没有）
这里一开始还出现了一段小插曲：最开始的提示词中是没有最后一句话（注意字母不是符号本身）的，结果Gemini真的就把ABCD这四个字母当成了备选的符号。
调整之后，Gemini前面给出的分析基本正确，可惜到最后选择了错误选项D。
第二题，每个框中的第三个符号是前两个的交集，答案为A。
结果Gemini研究起了这些表情，一番分析猛如虎，最后给出的答案还是错的。
两道题下来，一道对了百分之七八十，另一道完全错误，看来Gemini Pro的图形推理能力还有很大提升空间。
不过如果把目光放到生活场景当中，Gemini的表现还是值得肯定的。
我们用ChatGPT（DALL·E）生成了一张包含鸡肉、胡萝卜和黄瓜的图片，Gemini正确地识别出了这三种食材，然后给出了很多种可以烹饪的菜肴，而且每个都配有图片和教程链接。
这么多测试结果看下来，回到最初的问题，有了Gemini还有必要为GPT-4付费吗？
沃顿商学院副教授Ethan Mollick给出一个不错的建议：
没有什么理由再使用ChatGPT的免费版本了，现在已经被Bard和Claude超越，而且它们都是免费的。
但你或许应该继续使用GPT-4，它仍然占主导地位，并且在必应（只有创意模式是GPT -4）中是免费的。
明年将结合AlphaGo能力升级
除了Gemini实际效果，60页技术报告中披露的更多细节也是研究人员和开发者关注所在，
关于参数规模，只公布了最小的Nano版本，分为1.8B的Nano-1和3.25B的Nano-2两个型号，4-bit量化，是蒸馏出来的，可以运行在本地设备如Pixel手机上。
Pro版本和Ultra版本规模保密，上下文窗口长度统一32k，注意力机制使用了Multi-Query Attention，此外没有太多细节了。
值得的关注的是微调阶段，报告中透露使用了SFT+RLHF的指令微调组合，也就是使用了ChatGPT的方法。
另外也引用了Anthropic的Constitutional AI，也就是结合了Claude的对齐方法。
关于训练数据也没披露太多细节，但之前有传闻称谷歌删除了来自教科书的有版权数据。
Gemini拖了这么久才发，之前被曝光的消息还有不少，比如谷歌创始人Sergey Brin一直亲自下场对模型进行评估并协助训练。
结合最近OpenAI Q*项目的传闻，大家最关心的莫过于：
Gemini到底有没有结合AlphaGo的能力？如RLHF之外更多的强化学习、搜索算法等。
关于这一点，DeepMind创始人哈萨比斯在最新接受连线杂志采访时作出了回应：
我们有世界上最好的强化学习专家……AlphaGo中的成果有望在未来改善模型的推理和规划能力……明年大家会看到更多快速进步。
省流版本：还没加，明年加。
这次Gemini开发整合了原谷歌大脑和DeepMind两个团队，整个开发团队有超过800人（作为对比，OpenAI整个公司约770人）。
其中核心贡献者前六位的名字首字母，恰好组成了Gemini这个单词，也算一个小彩蛋。
许多参与者也在个人账号发表了感想，其中DeepMind老员工Jack Rae此前在OpenAI工作一段时间，今年7月份从OpenAI跳回到谷歌，他可能是唯一一位对GPT-4和Gemini都有贡献的人类了。
也有反着跳的，中科大校友Jiahui Yu在10月份从谷歌跳去了OpenAI，之前担任Gemini多模态团队的视觉共同负责人。
除了团队成员之外，Gemini今天也是整个AI行业最大的话题。
其中著名OpenAI爆料账号Jimmy Apples，@Sam Altman并暗示OpenAI还有没发布的大招。
而HuggingFace联创Thomas Wolf认为，谷歌错过了一个重要机会：
如果Gemini开源，对OpenAI和Meta来说都是一记绝杀，上一次谷歌开源Bert的时候，整个AI行业都被重塑了。
Gemini技术报告：https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf
参考链接：[1]https://x.com/AravSrinivas/status/1732427844729581764
[2]https://x.com/DimitrisPapail/status/1732529288493080600[3]https://www.linkedin.com/posts/svpino_google-this-is-embarrassing-you-published-activity-7138287283274686464-osJ5[4]https://developers.googleblog.com/2023/12/how-its-made-gemini-multimodal-prompting.html[5]https://x.com/ScottDavidKeefe/status/1732440398423867472[6]https://x.com/goodside/status/1732461772794220919[7]https://x.com/emollick/status/1732485517692776714— 完 —
量子位 QbitAI · 头条号签约
","gnid":"94757bcba49598ed7","img_data":[{"flag":2,"img":[{"desc":"","height":"855","title":"","url":"https://p0.ssl.img.360kuai.com/t019881fffab46cd5c2.jpg","width":"1080"},{"desc":"","height":"436","title":"","url":"https://p0.ssl.img.360kuai.com/t01ab7c85bb2eed1856.jpg","width":"624"},{"desc":"","height":1539,"title":"","url":"https://p0.ssl.img.360kuai.com/t01f6fad205d43b9b4b.jpg","width":1080},{"desc":"","height":"1000","title":"","url":"https://p0.ssl.img.360kuai.com/t01677b6a22d725377c.jpg","width":"1000"},{"desc":"","height":"259","title":"","url":"https://p0.ssl.img.360kuai.com/t01a4b0ee4cfbddaf7a.jpg","width":"1080"},{"desc":"","height":"347","title":"","url":"https://p0.ssl.img.360kuai.com/t019344980a24d74db2.jpg","width":"1080"},{"desc":"","height":1994,"title":"","url":"https://p0.ssl.img.360kuai.com/t019c1ce3b7b82a0571.jpg","width":1080},{"desc":"","height":1606,"title":"","url":"https://p0.ssl.img.360kuai.com/t01ab45be4719fba976.jpg","width":1080},{"desc":"","height":"792","title":"","url":"https://p0.ssl.img.360kuai.com/t01bf8025bf87ea7d8c.jpg","width":"1080"},{"desc":"","height":1461,"title":"","url":"https://p0.ssl.img.360kuai.com/t019575e1fba869a2fb.jpg","width":1080},{"desc":"","height":858,"title":"","url":"https://p0.ssl.img.360kuai.com/t015653c53c66ac13e3.jpg","width":1080},{"desc":"","height":"1022","title":"","url":"https://p0.ssl.img.360kuai.com/t0199bd44963708cf78.jpg","width":"1080"},{"desc":"","height":"1984","title":"","url":"https://p0.ssl.img.360kuai.com/t0148002ed98fa804fe.jpg","width":"1080"},{"desc":"","height":"680","title":"","url":"https://p0.ssl.img.360kuai.com/t010ac60d309bb005aa.jpg","width":"1080"},{"desc":"","height":"948","title":"","url":"https://p0.ssl.img.360kuai.com/t01cd67c89d5d4e224e.jpg","width":"1080"},{"desc":"","height":"1141","title":"","url":"https://p0.ssl.img.360kuai.com/t01f3e0ef2f8c46f792.jpg","width":"1080"},{"desc":"","height":"420","title":"","url":"https://p0.ssl.img.360kuai.com/t014160221752050672.jpg","width":"1080"},{"desc":"","height":"714","title":"","url":"https://p0.ssl.img.360kuai.com/t018096767263f58e49.jpg","width":"1080"},{"desc":"","height":"1222","title":"","url":"https://p0.ssl.img.360kuai.com/t01b927d0e685f81327.jpg","width":"1080"},{"desc":"","height":"689","title":"","url":"https://p0.ssl.img.360kuai.com/t01a968b4bd9f3c5326.jpg","width":"1080"},{"desc":"","height":"734","title":"","url":"https://p0.ssl.img.360kuai.com/t010ccc1ecb1fac3de4.jpg","width":"1080"},{"desc":"","height":"689","title":"","url":"https://p0.ssl.img.360kuai.com/t0118d2d3be6d4ffead.jpg","width":"1080"},{"desc":"","height":"621","title":"","url":"https://p0.ssl.img.360kuai.com/t019664951fefa9f68e.jpg","width":"1080"},{"desc":"","height":"717","title":"","url":"https://p0.ssl.img.360kuai.com/t0144b2c0c8f6fc88b0.jpg","width":"1080"},{"desc":"","height":"742","title":"","url":"https://p0.ssl.img.360kuai.com/t018f1ddc5cb1a61d81.jpg","width":"1080"},{"desc":"","height":"729","title":"","url":"https://p0.ssl.img.360kuai.com/t01f23b8db4844579e9.jpg","width":"1080"},{"desc":"","height":"186","title":"","url":"https://p0.ssl.img.360kuai.com/t01a092e95a0c17e594.jpg","width":"976"},{"desc":"","height":"282","title":"","url":"https://p0.ssl.img.360kuai.com/t01e75b3c93f3fb3a5f.jpg","width":"1080"},{"desc":"","height":"757","title":"","url":"https://p0.ssl.img.360kuai.com/t01c4359cf28b6d16d1.jpg","width":"1080"},{"desc":"","height":"288","title":"","url":"https://p0.ssl.img.360kuai.com/t015931c5ee2be48fc4.jpg","width":"1080"},{"desc":"","height":"542","title":"","url":"https://p0.ssl.img.360kuai.com/t0199441f94b6be9892.jpg","width":"1080"},{"desc":"","height":"1261","title":"","url":"https://p0.ssl.img.360kuai.com/t014cd0fc2d3c0460f4.jpg","width":"1080"},{"desc":"","height":"488","title":"","url":"https://p0.ssl.img.360kuai.com/t01e8e7574bdc1cf7c4.jpg","width":"1080"},{"desc":"","height":"472","title":"","url":"https://p0.ssl.img.360kuai.com/t01fa5fdf099697ec60.jpg","width":"1080"},{"desc":"","height":"991","title":"","url":"https://p0.ssl.img.360kuai.com/t01b8af358c0b243ec7.jpg","width":"1080"},{"desc":"","height":"250","title":"","url":"https://p0.ssl.img.360kuai.com/t012fa6e5af61e558e9.jpg","width":"1080"},{"desc":"","height":"700","title":"","url":"https://p0.ssl.img.360kuai.com/t012835dbddf285c176.jpg","width":"984"},{"desc":"","height":"563","title":"","url":"https://p0.ssl.img.360kuai.com/t01ddec028070f4438a.jpg","width":"1080"},{"desc":"","height":"262","title":"","url":"https://p0.ssl.img.360kuai.com/t01f57e22ea3f9e84ea.jpg","width":"1080"},{"desc":"","height":"256","title":"","url":"https://p0.ssl.img.360kuai.com/t016cbf806a9934d1a9.jpg","width":"1080"},{"desc":"","height":"622","title":"","url":"https://p0.ssl.img.360kuai.com/t01783cd922e426f510.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"pika","pub_time":1701932460000,"pure":"","rawurl":"http://zm.news.so.com/4933ea7d4c527c046b6c895eaccf50c0","redirect":0,"rptid":"577e967601d9bca8","rss_ext":[],"s":"t","src":"量子位","tag":[],"title":"谷歌Gemini刚发就惹质疑：测试标准有失偏颇，效果视频疑似剪辑
边善雯4451翻译here you go -
龚胜削15748944766 ______ here you go 答对了;接着说;干得好;就是这样(口语,鼓励别人继续说) here you are 给你
边善雯4451给你也可以说there you go吗? -
龚胜削15748944766 ______ 通常说here u go,同here u r.中英之间不能总以中式思维去揣摩英语的说法,那么here u are的are又是什么意思呢.较为接近的汉语直译为“在这儿!”即给你.所以there u r,there u go的意思为“在那儿!”即自己去拿!当然这些词组还有楼上说的其他意思.如here u r,你原来在这儿啊!
边善雯4451Here you go and There you go这两个短语各有哪些意思?运用场合? -
龚胜削15748944766 ______[答案] “There you go.”“Here you go.”和“There you go.”听起来只有一字之差,所以很多人都会乱用,那么这二者倒底有什么区别呢?仔细区分,“Here you go.”指的是一件事情还在进行之中,而 ＂There you go.＂ 则是事情已经...
边善雯4451Here you go and There you go -
龚胜削15748944766 ______ “There you go.”“Here you go.”和“There you go.”听起来只有一字之差,所以很多人都会乱用,那么这二者倒底有什么区别呢?仔细区分,“Here you go.”指的是一件事情还在进行之中,而 ＂There you go.＂ 则是事情已经结束,例如店员...
边善雯4451Here we go 具体是什么意思? -
龚胜削15748944766 ______ 第一种解释: 这是一个很口语化的句子 经常出现在电影电视或者你说的歌曲中 其实也没什么特定的含义 就是一个类似动员性,或者号召性的句子 可以理解为 走吧 ,开始吧,行动吧, 具体的语境具体理解 当然如果你在口语中熟练运用的话 跟...
边善雯4451一道单项选择题:“Here you go” is the same as “ - ----------. -
龚胜削15748944766 ______ Here you go. 在英语中是很常见到的口语表达,相当于汉语简单一个 ”给“ 字.可以翻译为 “来,这给你” 所以答案应该选 D.
边善雯4451求here you go ,there you are ,there you go 的准确用法 -
龚胜削15748944766 ______ There you go. 就这样了. ＂There you go.＂ 是老美希望结束一段对话时,很自然会脱口而出的一句话,特别是在完成某项交易的时候.像是你去买一样东西,当你付完钱之后店员会说,＂There you go.＂ 或 ＂That's it.＂ 就表示交易已经完成,...
边善雯4451here you are and here you go有什么相同与不同 -
龚胜削15748944766 ______ here you are 是祈使句,给你的意思.here are you 是You are here 的倒装句.表示你在这儿啊.
边善雯4451Here you go跟Here you are的区别是什么? -
龚胜削15748944766 ______ 前者是走吧,开始行动吧的意思;后者是给你的意思,当你递东西给别人时说的.
边善雯4451there you go 可以翻译成,出来了.为什么这么翻译的 -
龚胜削15748944766 ______ there you go应该是口语吧.根据语境不同有不同的理解.就好比如点餐或者买东西,店员会说一句 there u go,表示“好了,可以了” 或者 你做对一件事,别人会说 there u go 表示“不错,很好”有种鼓励的意味 因为是口语,所以要自己多体会.