狮子英文发音
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI谷歌经典Transformer论文8位作者的最后一位,创业去向已定!
新公司base东京,目标是做一家“世界级人工智能研究室”,目前已知的创始成员有两位,Transformer作者Llion Jones和另一位谷歌前同事。
![](https://p0.ssl.img.360kuai.com/t01364e66e35ad4ad34.jpg)
Llion Jones表示,虽然对谷歌没有恶意,但这家公司确实让他有“被困住的感觉”:
谷歌已经发展到了一种规模,让我觉得在里面我什么都做不了。
我发现自己总在找各种软件出bug的原因,以及这个bug是谁写的……这极大地分散了我研究的注意力。
此次出来创业,AI圈全是祝福声,从英伟达高级AI科学家Jim Fan到也从谷歌离职创业的高产研究员Yi Tay,都在线表示了自己的祝福。
![](https://p0.ssl.img.360kuai.com/t01b3f9bea6fe0f248e.jpg)
有网友羡慕称:这正是我想做的那种研究!
![](https://p0.ssl.img.360kuai.com/t0107eee983b8013e95.jpg)
所以,Llion Jones创办的新公司究竟要做什么,在创办新公司之前他又有哪些值得一提的研究?
Transformer八子最后一人出走
创业之前,Llion Jones在谷歌已经干了8年。
他本硕毕业于伯明翰大学,在Delcam、油管、谷歌都工作过,谷歌是他待得最久的一家公司。
据FourWeekMBA介绍称,在他之前的工作经历中,“曾两度与谷歌的工作擦肩而过”。
第一次是他刚毕业找工作时,虽然投了谷歌伦敦软件工程师的简历,并通过了两轮电话面试,但最终相比谷歌,他选择了位于英国的CAD/CAM软件公司Delcam。
第二次是工作18个月后,他又接到了谷歌的招聘电话,询问他是否想重新申请,但他依旧没去谷歌,而是随后加入了YouTube。
在Youtube做三年软件工程师期间,他对人工智能产生兴趣,自学了Coursera的机器学习课程,并终于在2015年的时候加入谷歌研究院,担任里面的高级软件工程师。
也正是在此期间,他与其他七名作者一起发表了那篇著名的Transformer论文Attention Is All You Need。
这篇论文如今已经成为大部分大模型的“奠基研究”,引用次数达到8.5w+。
![](https://p0.ssl.img.360kuai.com/t0196b216b26e274556.jpg)
随后,Llion Jones还与其他研究人员一起,发表了名为Natural Questions: A Benchmark for Question Answering Research的一篇论文。
![](https://p0.ssl.img.360kuai.com/t0156ea980e8430aecc.jpg)
这篇论文提出了第一个公开可用的自然语言问答数据集,这些语料由谷歌搜索引擎收到的查询问题构成,一共有30多万个样本。
目前,这篇论文的引用已经达到1300+次。
除此之外,Llion Jones也在谷歌参与了不少研究,包括ProtTrans、Tensor2Tensor等。
![](https://p0.ssl.img.360kuai.com/t0194853fc619bee0f3.jpg)
之所以选择离开谷歌,是因为公司目前已经发展到一种规模,使得他无法继续进行自己想做的工作。
除了每天都在浪费精力排查其他人的bug,他还需要花时间从这家公司中找资源,试图获得访问某些数据的权限。据彭博社采访Llion Jones称:
遗憾的是,我确实感到自己在谷歌之外(的事情中)干活效率更高。
因此,在这家互联网巨头工作多年后,他意识到自己还是想做一家初创公司,而不是离职加入OpenAI等其他AI公司。
毕竟在Llion Jones眼中,OpenAI从微软和其他投资者那里筹集了数十亿美元后,现在正在靠近谷歌这样的互联网巨头,其创新力同样正在减弱。
目前Llion Jones在东京已有一段时间,在领英上可以看见,他还给自己起了个日文名ライオン(狮子),也和英文名发音有所对应。
所以,这个在日本的新公司究竟要做什么?
新公司要做“AI集群”
这个新公司名叫sakana.ai,其中sakana是日语“魚”(さかな)的罗马读音。
![](https://p0.ssl.img.360kuai.com/t01345185864a80e743.gif)
顾名思义,sakana.ai在做的事情也像“鱼群”一样:
大自然中的鱼会基于某种简单的规则成群活动。因此,AI们也能借鉴它们的思想,无需更大的体积就能完成很复杂的任务。
具体来说,公司计划开发一种基于自然启发智能(nature-inspired intelligence)的基础模型,借鉴自然领域中的“进化”和“集体智慧”思想,让一群AI协作,类似于当前AI领域的生物启发计算方向。
据《金融时报》介绍称,Llion Jones认为,当前的AI模型之所以存在局限性,是因为它们被设计成无法改变的结构,这种结构往往是脆弱的。
相比之下,发挥“集体智慧”的自然系统,对于周围的变化非常敏感。基于此原理搭建的AI也会具有更好的安全性、更低的搭建成本。
虽然目前模型还没有搭建起来,不过或许可以从两位前谷歌研究员在2021年的共同研究找到一点参考信息:
![](https://p0.ssl.img.360kuai.com/t01a31644d935566f9d.jpg)
这篇研究提出了一种叫做AttentionNeuron的网络层,可以将每个输入通道连接到一个独立的神经网络模块,通过注意力机制交流信息。
这样即使输入顺序被随机打乱,网络输出也是已知的,具有良好的鲁棒性。
在自动驾驶环境CarRacing中测试表明,AttentionNeuron即使没学习过环境内容,也可以实现一定程度上的自动驾驶,表现出一定的泛化能力。
![](https://p0.ssl.img.360kuai.com/t01bab346951e8a1457.jpg)
这种AI具体如何落地应用?
一方面,这类AI也能像大模型一样,用于生成文本、图像、代码等多个模态的内容;
另一方面,它也能给ChatGPT这样的产品提供支持、协同更多大模型产品工作,实现能力上的“无缝衔接”。
目前,sakana.ai已经建立了官网,上面有一小段话的介绍,表示新公司将位于日本东京,“要做一个世界级的AI研究实验室”。
![](https://p0.ssl.img.360kuai.com/t010689280559b05f29.jpg)
之所以选择东京,是因为北美那边的生成式AI研究人员竞争非常激烈(手动狗头),但在日本这边也能找到一些高质量AI人才。
公司融资情况目前尚未透露,毕竟办公室还没搭起来。
不过据CNBC透露,sakana.ai目前已经从学术圈聘请了一名兼职研究员,未来还将招揽更多人才。
One More Thing
其实,“Transformer八子”全部离职,今年7月已有征兆。
虽然Llion Jones的领英显示,他在谷歌干到了今年8月:
![](https://p0.ssl.img.360kuai.com/t0107326468614e40b8.jpg)
不过就在7月份,论文Attention Is All You Need悄悄更新过一版arXiv,8名作者的邮箱(包括Llion Jones的谷歌邮箱)已经全部被划掉了:
![](https://p0.ssl.img.360kuai.com/t019c311998e85d786a.jpg)
(8月份这篇论文又更新了一版,所有邮箱都被加了回来)
至少在一个月前,8人全部离职创业的念头就已经尘埃落定了。
参考链接:
[1]https://sakana.ai/[2]https://arxiv.org/pdf/1706.03762v6.pdf[3]https://www.cnbc.com/2023/08/17/transformer-co-author-llion-jones-leaves-google-for-startup-sakana-ai.html[4]https://www.ft.com/content/1f0cee71-2a44-4080-8c79-b037243ac6f5[5]https://twitter.com/YesThisIsLion— 完 —
量子位 QbitAI · 头条号签约
","gnid":"939df77eba893ee4a","img_data":[{"flag":2,"img":[{"desc":"","height":"1080","title":"","url":"https://p0.ssl.img.360kuai.com/t01364e66e35ad4ad34.jpg","width":"1080"},{"desc":"","height":"157","title":"","url":"https://p0.ssl.img.360kuai.com/t01b3f9bea6fe0f248e.jpg","width":"1080"},{"desc":"","height":"117","title":"","url":"https://p0.ssl.img.360kuai.com/t0107eee983b8013e95.jpg","width":"1080"},{"desc":"","height":"264","title":"","url":"https://p0.ssl.img.360kuai.com/t0196b216b26e274556.jpg","width":"1080"},{"desc":"","height":"305","title":"","url":"https://p0.ssl.img.360kuai.com/t0156ea980e8430aecc.jpg","width":"1080"},{"desc":"","height":"779","title":"","url":"https://p0.ssl.img.360kuai.com/t0194853fc619bee0f3.jpg","width":"1080"},{"desc":"","height":"245","s_url":"https://p0.ssl.img.360kuai.com/t01345185864a80e743_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01345185864a80e743.gif","width":"498"},{"desc":"","height":"301","title":"","url":"https://p0.ssl.img.360kuai.com/t01a31644d935566f9d.jpg","width":"1080"},{"desc":"","height":"370","title":"","url":"https://p0.ssl.img.360kuai.com/t01bab346951e8a1457.jpg","width":"1080"},{"desc":"","height":"430","title":"","url":"https://p0.ssl.img.360kuai.com/t010689280559b05f29.jpg","width":"1080"},{"desc":"","height":"221","title":"","url":"https://p0.ssl.img.360kuai.com/t0107326468614e40b8.jpg","width":"1080"},{"desc":"","height":"530","title":"","url":"https://p0.ssl.img.360kuai.com/t019c311998e85d786a.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1692335340000,"pure":"","rawurl":"http://zm.news.so.com/a9a2445446574b32713c9cf457df3c67","redirect":0,"rptid":"5b8e90e0ea8b83ab","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:谷歌","k":"谷歌","u":""},{"clk":"ktechnology_1:lion","k":"lion","u":""}],"title":"Transformer出逃八子最后一人正式创业!坐标日本搞AI“群”模型
陈姬单3146狮子英语怎么说 -
禄容炎13365228775 ______ 狮子英语说lion. 狮子(学名:Panthera leo;英文名:Lion):简称狮,中国古称狻猊.是一种生存在非洲与亚洲的大型猫科动物,是现存平均体重最大的猫科动物,也是在世界上唯一一种雌雄两态的猫科动物. 生活在热带稀树草原和草地,...
陈姬单3146狮子怎么翻译
禄容炎13365228775 ______ 英语:Lion 日语:ライオン 韩国语:사자 泰文:สิงโต 德语:Löwe 俄语:лев 法语:Lion 拉丁语:leonis 葡萄牙语:leão
陈姬单3146dickety tackety tack怎么读? -
禄容炎13365228775 ______ dickety tackety tack怎么读:['diki][ˈtækɪtɪ][tæk] 含义: 类似中国顺口溜的东西Dickety tackety tack放在一起作为象声词. 扩展资料: 常见的英文象声词: 1.表示人哭的象声词cry:哭,喊,未必有泪.哭泣.大声痛哭,尖叫.流泪.Tears:...
陈姬单3146狮子的英文是什么
禄容炎13365228775 ______ lion 很帅的读音啊
陈姬单3146奶牛,鸭,大象,农场,肥胖的,狐狸,狮子,猪,绵羊,用英文怎么读? -
禄容炎13365228775 ______[答案] milk cow, duck, elephant,fat, farm, fox, lion, pig, sheep
陈姬单31460n怎么读 -
禄容炎13365228775 ______ 你好!on 英[ɒn] 美[ɑ:n] prep. (表示方向) 向; (表示对象) 对; (表示位置) 在…上; (表示时间) 在…之时; adv. (放,穿,连接) 上; 向前,(继续)下去; adj. 活动着的情况,状态; 使用着的; 发生着的; 计划中的; [例句]He is sitting beside her on the sofa他挨着她坐在沙发上.
陈姬单3146狮子老虎熊狗猴子猪的英语单词怎么读 -
禄容炎13365228775 ______ Lion tiger bear dog monkey pig 狮子老虎熊狗猴子猪
陈姬单3146求.鸟 狮子 老虎 猴子 的英语音标.急. -
禄容炎13365228775 ______ bird [bə:d] 鸟 lion ['laiən]狮子 monkey ['mʌŋki]猴子,是这些吧!
陈姬单3146cherry怎么读?
禄容炎13365228775 ______ cherry 英[ˈtʃeri] 美[ˈtʃɛri] n. 樱桃; 樱桃树; 樱桃色; 处女膜; [例句]The cherry blossom came out early in Washington this year. 今年华盛顿的樱花开得很早. [其他] 复数:cherries
陈姬单3146我在动物园里看到了兔子 ,大象,老虎,狮子...... 用英语怎么读 -
禄容炎13365228775 ______ I saw some rabbits[ˈræbɪt] elephants[ˈelifənt] tigers and lions in the zoo