![](https://p0.ssl.img.360kuai.com/t016345ed3d3592a481.jpg)
作者
|Neil Shen
邮箱
|[email protected]理解了人类的语言,就理解了世界。一直以来,人工智能领域的学者和工程师们都试图让机器学习人类的语言和说话方式,但进展始终不大。因为人类的语言太复杂,太多样,而组成它背后的机制,往往又充满着不可名状的规律。过去人们在自然语言处理中多采用 RNN 循环神经网络,它十分类似于人类逻辑上对语言的理解——强调上下文顺序、前后文逻辑关系。但是这种顺序方式让 RNN 无法实现并行计算,也就是说,它的速度十分缓慢,而规模也很难扩大。直到 2017 年 6 月 12 日,一篇名为Attention is All You Need的论文被提交到预印论文平台 arXiv 上。一切从此改变。Transformer 的提出直接导致导致了现在生成式 AI 风暴。机器好像在一瞬间就学会了如何与人类自如交流。在Transformer提出前,人们讨论的是如何让智能音箱听懂你的提问,而Transformer之后,人们讨论的重点变成了该如何防范AGI 通用智能对人类造成的危险。Attention is All You Need这篇论文的重要性可见一斑,刚刚过去的 12 号正是它六周岁生日。Transformer 这个名字据说来自论文联合作者之一的Llion Jones,原因无它,因为 attention (注意力)这个词听上去实在是有点不酷。Llion Jones 也是目前八个论文联合作者中唯一一个还在谷歌上班的人。剩下的七个人都纷纷离职创业。最有名的大概是Character AI,创始人是论文作者之一的Noam Shazeer,他之前在谷歌工作了 20 年,负责构建了 LaMDA。那么Transformer 究竟有什么点石成金的魔力呢?我们尽量用通俗易懂的话来解释。Transformer 彻底抛弃了前面提到的 RNN 循环神经网络这套逻辑,它完全由自注意力机制组成。大家都有过这样的经验,
打乱个一子句中字词序顺的多很时候不并响影对你句子的解理。比如上面这句。这是因为人脑在处理信息时会区分权重,也就是说,我们的注意力总是被最重要的东西吸引走,次要的细节则被忽略。Transformer 模仿了这一点,它能够自动学习输入的序列中不同位置之间的依赖关系并计算其相关性(而不是对整个输入进行编码)。这让针对序列的建模变得更加容易和精准。在深度学习中引入这种机制,产生了两个明显好处。一方面,并行计算得以实现,基于Transformer架构的模型可以更好地利用 GPU 进行加速。由此,Transformer为预训练模型的兴起奠定了基础,随着模型的规模越来越大,神经网络开始出现所谓“智能涌现”,这正是人们认为像 GPT 这样的大模型打开了 AGI 通用人工智能大门的原因。另一方面,尽管最开始Transformer的提出是被用来解决自然语言,更准确地说,机器翻译问题,但很快人们就发现,这种注意力机制可以推广到更多领域——比如语音识别和计算机视觉。基于Transformer的深度学习方法实际上适用于任何序列——无论是语言还是图像,在机器眼中它们不过是一个个带规律的向量。在这两种优点的共同作用下,人工智能领域迎来了前所未有的爆发,后面的故事我们都知道了。
![](https://p0.ssl.img.360kuai.com/t015e2c80ab94641c5d.jpg)
下面是关于Transformer的几个 fun facts。前面三个来自英伟达 AI 科学家 Jim Fan 庆祝Transformer架构被提出六周年的推文。
1、注意力机制不是Transformer提出的。注意力机制是深度学习三巨头之一的Yoshua Bengio于 2014 年提出的。这篇名为 Neural Machine Translation by Jointly Learning to Align and Translate 的论文中首次提出了注意力机制。堪称自然语言处理里程碑级的论文。在那之后许多人都投身于对注意力机制的研究,但直到Transformer论文的出现大家才明白——相对别的因素而言,只有注意力机制本身才是重要的。
2、Transformer和注意力机制最初都只为了解决机器翻译问题。未来人们回溯 AGI 的起源,说不定要从谷歌翻译开始。尽管注意力机制几乎可以用在深度学习的所有领域,但一开始不管是Yoshua Bengio的论文还是Transformer架构,都单纯是为了提高机器翻译的效果。
3、Transformer一开始并未引人注意,至少对NeurIPS来说如此。NeurIPS 2017上一共有 600 多篇论文被接受,Transformer 是其中之一,但也仅此而已了。讽刺的是当年NeurIPS上的三篇最佳论文联合起来的引用次数只有五百多次。
4、OpenAI 在Transformer发布的第二天就 all in 。虽然很多人一开始并没有意识到Transformer的威力,但这其中显然不包括 OpenAI。他们在Transformer 甫一发布就迅速意识到了这意味着什么,并迅速决定完全投入其中。实际上,GPT 中的 T 正是Transformer。
5、Transformer几乎立刻取代了 LSTM 的地位。在Transformer提出之前,自然语言处理使用广泛的是名叫长短期记忆网络 LSTM 的序列生成模型,它的一大缺陷是对输入内容的先后顺序敏感,因此无法大规模使用并行网络计算。然而在Transformer被提出之前,许多人都认为 LSTM 将在很长一段时间内容主导NLP的发展。
????出海活动推荐印尼,一个人口近3亿的多岛国家,正迅速崛起为全球新消费市场的热门目的地。品玩Global邀请您参与将于6月20日举办的“出海印尼,新消费快速破局之道”目的地出海活动,一同探索印尼独特的文化魅力和多元的商业生态!*点击下图二维码,即可报名!![](https://p0.ssl.img.360kuai.com/t0159f31ecef9271307.jpg)
![](https://p0.ssl.img.360kuai.com/t0156959cf05830e769.jpg)
![](https://p0.ssl.img.360kuai.com/t016331fc30f147ee96.jpg)
","gnid":"9d6914ee6bb428744","img_data":[{"flag":2,"img":[{"desc":"","height":"616","title":"","url":"https://p0.ssl.img.360kuai.com/t016345ed3d3592a481.jpg","width":"1080"},{"desc":"","height":"500","title":"","url":"https://p0.ssl.img.360kuai.com/t015e2c80ab94641c5d.jpg","width":"750"},{"desc":"","height":"720","title":"","url":"https://p0.ssl.img.360kuai.com/t0159f31ecef9271307.jpg","width":"1080"},{"desc":"","height":"1920","title":"","url":"https://p0.ssl.img.360kuai.com/t0156959cf05830e769.jpg","width":"1080"},{"desc":"","height":"748","title":"","url":"https://p0.ssl.img.360kuai.com/t016331fc30f147ee96.jpg","width":"1080"}]}],"original":0,"pat":"art_src_1,fts0,sts0","powerby":"hbase","pub_time":1686708248000,"pure":"","rawurl":"http://zm.news.so.com/4bf956f26542f4d07aaabf57b30a183f","redirect":0,"rptid":"7db5f0c421940a81","rss_ext":[],"s":"t","src":"未来科技力","tag":[{"clk":"ktechnology_1:lion","k":"lion","u":""}],"title":"ChatGPT的“底座”Transformer诞生六周年:在它之后世界地覆天翻
於制堵3919翻天覆地是什么生肖 -
皇峰钥15531827055 ______ 你好,答案是羊 属羊人常因举止优雅,对人富有同情心而被人称道.属羊人喜欢儿童和小动物,是自然主义者.属羊人们很会理家.属羊人们能轻易谅解别人的过错,理解别人的难处.属羊人们在时间上慷慨,在金钱上大方,当别人落得无处...
於制堵3919翻天覆地闹不停.好吃懒做吃不够打一动物 -
皇峰钥15531827055 ______ 1、应该是猪 2、你看猪不停地拱地、而且拱拱就会将头抬起再冲天哼哼. 3、还有猪 是好吃懒做的
於制堵3919不知妖怪变神仙,翻天覆地害百姓. 猜生肖 -
皇峰钥15531827055 ______ 这道谜语的答案可能是“猴”.在谜语“一三独立在门外,刀光剑影闪光光,不知妖怪变神仙,翻天覆地害百姓“中,重点词汇是“独立在门外”,可以联想到孙悟空的“在门外”,此外,后文的“刀光剑影”“妖怪变神仙”“翻天覆地”等词汇,也能联想到孙悟空的神通广大,因此,谜底的答案为“猴”.
於制堵3919翻天覆地闹不停,好吃懒做吃不够打一生肖 -
皇峰钥15531827055 ______ 按常理来说是猪 不过可能是羊..........
於制堵3919虎踞龙盘今胜昔,天翻地覆慨而慷. -
皇峰钥15531827055 ______[答案] 该句意思是:虎踞龙盘的帝王之城南京啊,今天的面貌胜过往昔,面对着天翻地覆的变化,我不由得心潮澎湃,慷慨激昂! 出自: 七律·人民解放军占领南京 钟山风雨起苍黄, 百万雄师过大江. 虎踞龙盘今胜昔, 天翻地覆慨而慷. 宜将剩勇追穷寇,...
於制堵3919一个空军飞行大队多少架飞机
皇峰钥15531827055 ______ 24架.飞行中队是航空兵的基本战术分队.一般是24架,另外有2架作为临时战备补充,在飞行大队建制内或单独遂行作战任务.通常一个中队就是一种型号的战机,但是...
於制堵3919最彻底的变化 打一成语 -
皇峰钥15531827055 ______ 翻天覆地 对吗?翻天覆地 【解释】:覆:翻过来.形容变化巨大而彻底.也指闹得很凶.【出自】:唐·刘商《胡茄十八拍》诗:“天翻地覆谁得知,如今正南看北斗.”【示例】:真象~的变动就快要临头了. ◎沙汀《兽道》【近义词】:天翻地覆、沧海桑田【反义词】:一成不变【语法】:联合式;作定语、宾语;含褒义,形容社会变化很大 对事物而言——翻天覆地! 对动物而言——改头换面! 为什么不赞同?舍不得?哼哼
於制堵3919最彻底的变化 打一成语 -
皇峰钥15531827055 ______ 翻天覆地 对吗?翻天覆地 【解释】:覆:翻过来.形容变化巨大而彻底.也指闹得很凶.【出自】:唐·刘商《胡茄十八拍》诗:“天翻地覆谁得知,如今正南看北斗.” 【示例】:真象~的变动就快要临头了. ◎沙汀《兽道》【近义词】:天翻地覆、沧海桑田 【反义词】:一成不变 【语法】:联合式;作定语、宾语;含褒义,形容社会变化很大 对事物而言——翻天覆地! 对动物而言——改头换面! 为什么不赞同?舍不得?哼哼
於制堵3919帮忙猜一个字迷 -
皇峰钥15531827055 ______ 最长的腿---- 一步登天 其他的成语谜: 最怪的人---虎背熊腰 最高的巨人---顶天立地 最大的嘴---口若悬河 最大的手---一手遮天 最吝啬的人---一毛不拔 最宽阔的胸怀---虚怀若谷 最长的寿命---万寿无疆 最宝贵的话---金玉良言 最厉害的贼--...
於制堵3919虎踞龙盘今胜昔,天翻地覆慨而慷.宜将剩勇追穷寇,... -
皇峰钥15531827055 ______[答案] 本诗反映的历史事件就是渡江战役 摧毁了国民党的长江防线,彻底结束了国民党的反动统治,基本上解放了中国大陆.为新中国的成立提供了基础. 此役,人民解放军伤亡6万余人,歼灭国民党军11个军部、46个师共43万余人,解放了南京、上海、武...