word2010包括功能
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI里程碑式论文word2vec获得NeurIPS时间检验奖，可谓实至名归。
但一作Tomas Mikolov在Facebook上发表的长篇获奖感言，却充满了失望和不满。
论文最初被ICLR拒稿都算小事了，他还暗讽了OpenAI首席科学家Ilya Sutskever（当时两人都在谷歌）：
我们当然生活在激动人心的时代，但不要对那些“想要垄断基于数十上百位科学家辛勤工作的技术、同时声称这一切都是为了人类利益的人”抱有太多信心。
Mikolov话中所指的是word2vec之后又一个里程碑式研究seq2seq，发表于2014年，不出意外的话也将会获得2024年的NeurIPS时间检验奖。
Tomas Mikolov声称seq2seq的想法最初来自于他，在谷歌大脑工作期间与Quoc Le和Ilya有过多次讨论。
但他跳槽到Facebook后，很惊讶看到最终发表的成果中自己没有成为共同作者。
这正是金钱大量流入AI领域的时候，每个想法都价值连城。
看到深度学习社区迅速变成某种权力的游戏，我很悲哀。金钱和权力确实会腐蚀人心……
从word2vec到seq2seq
最初word2vec论文投稿到首届ICLR会议（当时还只是一个workshop），尽管接受率高达70%，但还是被据搞了。
这让Mikolov感慨，审稿人想要预测一篇论文未来的影响是多么困难。
不少研究者都有同感，如今在大模型与AI绘画都大量应用的LoRA作者微软Weizhu Chen透露，当初第一次投稿时也被拒了，因为审稿人认为太简单。
大多数真正有效的事情往往都是简单而优雅的。
Mikolov这些年听到了很多对word2vec的评论，正面负面都有，但并没有真正在网络上回应过。
不知何故，研究界不断被某些人的公关式宣传淹没，他们用这种方式博取引用数和别人的注意力，我不想成为其中一份子。
借着这次获奖加10周年的机会，Mikolov分享了一些这篇经典论文的背后故事。
首先是很多人抱怨word2vec的代码很难理解，甚至有人以为Mikolov是故意让大家看不懂的。
现在他澄清了“不，我还没那么邪恶”，只是在等待被批准发布代码的几个月中试图让它更短、更快，最终代码被过度优化了。
现在回想起来，如果谷歌大脑团队中没有Greg Corrado和Jeff Dean，我怀疑是否会获得批准——我认为word2vec可能是谷歌开源的第一个广为人知的AI项目。
尽管word2vec是Mikolov被引用次数最高的论文，但他却从未认为这是自己最有影响力的项目。
实际上word2vec最初是他的RNNLM项目中一个子集，这个项目很快被人们遗忘了。
在我看来，它至少和AlexNet一样具有颠覆性。
RNNLM开始于2010年，深度学习还处在黑暗时代，Mikolov列举了其中首次展示的想法：
- 循环神经网络的可扩展训练，他提出了梯度裁剪（Gradient Clipping）
- 神经语言模型首次生成文本，他从2007年开始就展示这样的例子
- 动态评估
- 字符和子词级的神经语言建模
- 神经语言模型适应，现在被称为微调
- 第一个公开可用的语言模型评测基准，也就是修改后的Penn Treebank数据集
2012年，Mikolov从捷克布尔诺理工大学博士毕业后加入了谷歌大脑。
他表示自己很幸运，那里有大量神经网络的信徒，允许自己研究word2vec、展示其潜力，但他不想给人们留下一切都很完美的印象。
在word2vec之后，Mikolov想通过改进谷歌翻译来普及神经语言模型。开始与Franz Och的团队合作，期间提出了几个可以补充甚至取代当时机器翻译的模型。
核心想法在他加入谷歌大脑之前就已经提出，也就是在不同语言句子对上训练，然后使用生成模型翻译看到的第一句话。
当时在短句子上效果很好，较长句子效果还不佳。他与谷歌大脑中的其他人（主要是Quoc Le和Ilya Sutskever）多次讨论过这个项目，他们在自己跳槽到Facebook后接手。
当他们最终以现在著名的“seq2seq”发表我的想法时，我感到非常惊讶，不仅没有提到我作为合著者，而且我的老朋友们也忘记在论文致谢部分提到我，他们感谢了谷歌大脑中除了我之外的每一个人。
……
大家看到Mikolov的长篇感言，也是百感交集。
康奈尔大学助理教授Volodymyr Kuleshov借word2vec被拒稿的故事，鼓励大家不要因论文同行评议过程而灰心，“好的想法终会得到应有的认可”。
也有人认为，Mikolov指出的贡献分配、引用数量和影响力等问题，不光是NLP的问题，而是整个AI领域都存在。
参考链接：[1]https://www.facebook.com/tomas.mikolov/posts/pfbid0avhBpB2WULd3KNtAieyiDCFpP9MQggxW1xSh6RXZDjWF6sGzgpYa638KMAyF75JSl
[2]https://twitter.com/AravSrinivas/status/1736090919718605169[3]https://www.fit.vutbr.cz/~imikolov/rnnlm/— 完 —
量子位 QbitAI · 头条号签约
","gnid":"954f631d671adb7ae","img_data":[{"flag":2,"img":[{"desc":"","height":"800","title":"","url":"https://p0.ssl.img.360kuai.com/t014bf6021c5f88631a.jpg","width":"800"},{"desc":"","height":"247","title":"","url":"https://p0.ssl.img.360kuai.com/t0144e4b69d5cd71888.jpg","width":"1080"},{"desc":"","height":"390","title":"","url":"https://p0.ssl.img.360kuai.com/t016a5dda35669e3dd1.jpg","width":"1080"},{"desc":"","height":"213","title":"","url":"https://p0.ssl.img.360kuai.com/t017c8fb285560b190b.jpg","width":"1080"},{"desc":"","height":796,"title":"","url":"https://p0.ssl.img.360kuai.com/t0190e64ea90df2096c.jpg","width":1080},{"desc":"","height":"264","title":"","url":"https://p0.ssl.img.360kuai.com/t01993755674ab15dc5.jpg","width":"1080"},{"desc":"","height":"178","title":"","url":"https://p0.ssl.img.360kuai.com/t013136b9e2a4575ae6.jpg","width":"1080"},{"desc":"","height":"148","title":"","url":"https://p0.ssl.img.360kuai.com/t01ddc51c65b055fa88.jpg","width":"1080"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"pika","pub_time":1702878240000,"pure":"","rawurl":"http://zm.news.so.com/c1aba604ce3f0d1377c6aa08959fbed5","redirect":0,"rptid":"59445fd3aa31fcd7","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:谷歌","k":"谷歌","u":""},{"clk":"ktechnology_1:facebook","k":"facebook","u":""}],"title":"word2vec作者曝与Ilya等十年积怨：seq2seq也是我的想法
皮娟将999word2010字处理的功能是什么?求解 -
终雅傅17647246103 ______ 文字处理软件Word2010概述 文字信息处理,简称字处理,就是利用计算机对文字信息进行加工处理,其处理过程大致包括以下三个环节: (1)文字录入:用键盘或其他输入手段将文字信息输入到计算机内部,即将普通文字信息转换成计算机认识的数字信息,便于计算机的识别和加工处理. (2)加工处理:利用计算机中的文字信息处理软件对文字信息进行编辑、排版、存储、传送等处理,制作成人们所需要的表现形式. (3)文字输出:将制作好的机内表现形式用计算机的输出设备转换成普通文字形式输出给用户
皮娟将999在word2010中,＂文档视图＂方式有哪些 -
终雅傅17647246103 ______ 在Word2010中提供了多种视图模式供用户选择,这些视图模式包括“页面视图”、“阅读版式视图”、“Web版式视图”、“大纲视图”和“草稿视图”等五种视图模式.用户可以在“视图”功能区中选择需要的文档视图模式,也可以在Word...
皮娟将999怎样使用word2010的文档? -
终雅傅17647246103 ______ Word2010 - 简介 Word2010,最显著的变化就是“文件”按钮代替了word2007中的office按钮,使用户更容易从较旧的版本word2003或者word2000等老的版本中适应过来.另外,word2010和word2007一样,都取消了传统的菜单模式,取而代...
皮娟将999word2010的制表功能有何特点? -
终雅傅17647246103 ______ Word的主要功能与特点可以概括为如下几点: 所见即所得 用户用Word软件编排文档,使得打印效果在屏幕上一目了然 Microsoft Office Word 2007 . 直观的操作界面 Word软件界面友好,提供了丰富多彩的工具,利用鼠标就可以完成选择,排...
皮娟将999Word 2010 的批注和修订功能有什么作用 -
终雅傅17647246103 ______ Word 2010 的批注和修订是用于审阅别人的 Word 文档的两种方法. 批注是读者在阅读 Word 文档时所提出的注释、问题、建议或者其他想法.批注不会集成到文本编辑中.它们只是对编辑提出建议,批注中的建议文字经常会被复制并粘贴到文本中,但批注本身不是文档的一部分. 修订却是文档的一部分.修订是对 Word 文档所做的插入和删除.可以查看插入或删除的内容、修改的作者,以及修改时间.如果文档经过多次编辑,就可以查看第一次的编辑,还有助于根据「作者」确定如何整合各次编辑.
皮娟将999谁能告诉我word2010和word2013有什么区别?求解?
终雅傅17647246103 ______ 当然区别呀,首先版本不一样,所携带的功能就不全部一样,包括界面什么的.然后就是word2010不支持win7系统,word2013支持.