先射箭再画靶子
出品 | 虎嗅科技组
头图 | 虎嗅拍摄
从去年下半年开始,几乎所有硬件厂商都达成了一项默契:抱紧AI。
手机厂商认为这是继功能机和智能机后的“第三次变革”;PC厂商则要更加兴奋,因为他们所在的行业,过去十余年间都未曾感受过技术变革带来的红利。在一票大语言模型的带动下,“端侧AI”开始反复被提及,尽管这个概念诞生还不满一年。
在手机和PC厂商的叙事中,端侧AI不仅能够提升日常使用及办公效率,还是隐私保护和数据安全的最优解,甚至有厂商指出,端侧AI可以让每个用户拥有属于自己的“个人大模型”。
暂且不说这些理念是否存在“先射箭子后画靶子 ”之嫌,一个需要被前置讨论的问题是:大模型如何在端侧完成部署?
以手机端为例,目前发布且有实际演示的模型中,10亿参数量Stable Diffusion已经可以在搭载骁龙芯片的手机上运行,但再大一些的模型,比如让手机厂商们心心念念的Llama 2,其130亿参数规模跑在手机端就非常吃力,这还是在不考虑功耗问题的前提下。
也就是说,目前的大模型,有相当一部分根本无法打破端侧产品在硬件上的掣肘,毕竟云端算力可以通过增加机柜和GPU的方式提高,但手机和PC显然不具备这样的条件。
针对这个问题,3月31日,虎嗅科技组主办的“2024 AI内参会”上,邀请到了面壁智能CTO曾国洋,极客邦科技副总裁、TGO鲲鹏会总经理杨攀针对端侧AI和AGI行业的技术实践及应用场景展开了讨论。
以小博大,未尝不可
今年2月,面壁智能发布了20亿参数的开源端侧模型MiniCPM,在多个主流评测榜单中,该模型中英文分均超过Mistral-7B开源模型,甚至优于Llama 2-13B。
另外,该公司表示,该模型支持消费级显卡如1080Ti参数微调,以及主流手机处理器端侧推理。
在大模型从业者们疯狂堆砌参数的当下,面壁智能为何会选择另辟蹊径地去主攻一款小模型?
在内参会上,曾国洋就这一问题做出了回答:把MiniCPM称之为小模型可能不太准确,较为合适的名称应该是“更高效的模型”,就是在有限的资源内去把模型做得更好。
“如果简单地将模型参数规模做大的话,它确实会随着scaling law出现效果的提升,但它单一维度的提升是低效的。我们在研究出一个更优化的方法之后,其实是可以随着参数扩大,让模型爆发出一种更明显的增长。”曾国洋表示。
这里需要解释下scaling law的概念。即模型的最终性能主要与训练计算量、模型参数量和数据大小三者相关,而与模型的具体结构(层数/深度/宽度)基本无关。研发人员可以通过它在固定资源预算中,如额定的GPU数量、训练数据量或是训练时长下,匹配模型的最佳大小,且无需经历昂贵的试错。
面壁智能的思路就是,在遵循scaling law的情况下,对模型的细节进行更好的优化,使其在同等成本下达到更好的效果。
而成本问题也可能是未来端侧AI发展的最核心的推手。可以做个假设,如果未来在大模型领域出现了某个超级应用,会有上百万,乃至上千万人同时在线,用户都在云端使用模型的话,仅算力带宽这一项成本,对于创业团队来说都是难以承受的。
在今年2月MiniCPM发布会现场,面壁智能CEO李大海曾做过测算,用一台搭配骁龙855芯片的手机在本地端跑大模型,按照运行 5 年计算,每秒 7.5 tokens,那么 170 万 tokens 的推理成本仅需人民币 1 元,成本仅为 Mistral-Medium 的百分之一。
这里有处有趣的细节是,骁龙855是高通于2018年发布的终端SoC,用于演示似乎有些过于落后了。
曾国洋在AI内参会现场的发言,大概解释了这一问题:行业内有个误区是手机等终端的算力不够,但真正的瓶颈其实是显存带宽不够。曾国洋认为,随着端侧模型的落地,未来硬件层面可能会迎来一波升级。
“我觉得未来一到两年的时间,我们有机会看到一个相当于GPT3.5的模型跑在手机上。”曾国洋表示。
AGI时代,创业者们该怎么办?
无论是目前已经被大规模投入使用的云侧AI,还是行业内正在布局的端侧AI,亦或是两种混合部署,最终都指向行业翘首企盼的终极目标——AGI(通用人工智能)。
AGI听起来距离我们还很遥远,但无论是黄仁勋还是山姆·奥特曼都不止一次地表示过,AGI最快将在5年内问世。那么在当下,人工智能的创业者们该如何面对这即将到来的行业内的最大变数?
极客邦科技副总裁、TGO鲲鹏会总经理杨攀认为,经历了互联网时代和AIGC时代的创业者们很可能会陷入对两大路径的依赖当中:对移动互联网的路径依赖限制对AGI原生应用的想象,对云计算的路径依赖限制对OpenAI生态位定位的预判。
“业务负责人们需要思考的是,在不依赖当前AGI技术实现水平的情况下,对未来6-18个月的产品功能和市场变化做出预测。”杨攀表示,最终还是要落在场景上而不是功能上,因为后者很容易被AI所碾压。
正如一个无比现实的问题是,今年有望发布的GPT5,其能力可能会直接将部分应用甚至是行业覆盖掉。
如何避免被GPT5折叠?在杨攀看来,无论大模型能力有多么强大,最终它还是要同物理世界打交道,还是要接入外部的数据,如果你是数据的提供方,就会成为它坚实的伙伴。
因此AI创业者们必须要审视手中的项目是否具备数据优势,是否能给大模型提供数字世界或是物理世界的接口,以及同其他系统能力打交道的接口。
“相较于过去我们所熟知的程序,AI擅长的其实是模糊数据的处理,而这正是过去人类所擅长的工作。”杨攀补充道。
","gnid":"904f18274b09d694c","img_data":[{"flag":2,"img":[]}],"original":0,"pat":"art_src_1,fts0,sts0","powerby":"pika","pub_time":1712662538000,"pure":"","rawurl":"http://zm.news.so.com/4e0259a6af75f04df3cdddee70697238","redirect":0,"rptid":"215e32b3ba158be1","rss_ext":[],"s":"t","src":"虎嗅APP","tag":[{"clk":"ktechnology_1:gpu","k":"gpu","u":""}],"title":"大模型端侧部署,我们来聊点不一样的
富往滢2457开弓放箭的方法 -
姚缪兔18568905169 ______ 开弓放箭的方法: 1. 站立:双脚分开,略比肩宽,侧对着靶子,跨在起射箭线上; 2. 持弓:左手取弓,虎口在握弓处; 3. 取箭:右手取箭,右手食指和拇指捏住箭尾处,不得碰触羽毛; 4. 搭箭:箭尖从弓弦和弓把中间穿过,箭杆搭在箭台上,...
富往滢2457一个人将箭射在地上 在地上画个靶子 蕴含什么道理 -
姚缪兔18568905169 ______ 自欺欺人.
富往滢2457批评他人时,宜点到为止有何重要意义?
姚缪兔18568905169 ______ 人都是有自尊的,批评他人时,言语要简 练扼要.如果话讲多了,会起到相反的作用... 酒后, 景公射箭射到了靶子外面,满屋子的人却众口 一词地称赞他. 景公听后变了...
富往滢2457下列句子运用的修辞手法与例句相同的一项是() - 上学吧
姚缪兔18568905169 ______ 秘诀内容:一抵、二靠、三塌、四绷紧 ,五夹住 解释: 所谓“一抵”,就是食指和拇指要尽可能抵住弓眼,这样可以获得发射瞬间前手很好的稳定性,特别是那些用横打法弹着点总偏左右的弓友来说,这“一抵”可以让弹道左右偏差的问题立...
富往滢2457一条直线从下往上画在转下来画有一个剑头是什么成语 -
姚缪兔18568905169 ______ 【成语词条】命悬一线 【成语拼音】mìng xuán yī xiàn 【常用程度】常用 【成语结构】紧缩式 【感情色彩】中性词 【产生年代】现代
富往滢2457靶子共几画 -
姚缪兔18568905169 ______ 靶 简体笔画:13画 康熙笔画:13画 子 简体笔画:3画 康熙笔画:3画
富往滢2457关尹子是谁,他和列子说的两次话分别是什么意思?(关尹子教射) -
姚缪兔18568905169 ______[答案] “关尹子”只是以官代名而已.关是指老子出函关的关,守关的人叫做关令尹,名字叫做喜,所以称为关令尹喜,后人尊称为... 列子曰:“知之矣.”关尹子曰:“可矣,守而勿失也.” 译文 列子学习射箭,射中了靶子,去请教关尹子.关尹子说:“你知...
富往滢2457如何形容一个射箭的场景 -
姚缪兔18568905169 ______[答案] 是现代射箭么.. 那你可以形容场馆的大小、 一般射箭馆都很大、 还有高度、如果有5、6、70米远程的话、馆会很高、 要不就是露天的、草地 还可以说明有多少个靶子、 有些大场馆会并排摆放20~30个靶子.小的训练场地就只有5、6个 旁边叠摞着备...