co怎么读

ChatGPT爆火以来，大语言模型和Transformer几乎成了同义词，然而真的如此吗？

刚刚，一个由国人主导，总共27所大学、研究机构和公司组成的开源研究团队，联名发表重磅论文《RWKV：在Transformer的时代重新发明RNN》，受到学术界大量关注。

RWKV就是论文中提出的新深度学习模型架构，以循环神经网络RNN为基础魔改而来。

实际上RWKV模型的开源发布比论文要早不少，并且已经在开源社区和行业内产生不小影响力。

其创始人彭博在知乎等平台也非常活跃。

在人类玩家打分的大模型匿名竞技场Chatbot Arena最新一期榜单中，RWKV在一众Transformer中排名第6，并且与7-11名相比拉开一个分数段。

并且RWKV也有在线Demo可玩。（地址在文末）

有意思的是，参与论文的EleutherAI实验室表示，论文还不是完全版本，由于不便公布的截止日期而被迫提前发布，以后还会继续完善。

那么就先来看一下，到目前为止RWKV团队都做出了哪些成果。

时间复杂度比GPT低

RWKV设计灵感来自苹果21年的研究《An Attention Free Transform》，团队意识到如果在公式中使用循环矩阵（circular matrices）就可以将网络结构写成RNN。

与GPT系列的时间复杂度O(n^2)相比，RNN的时间复杂度只有O(n),空间复杂度是O(1)。

这意味着生成内容的速度不会随长度而夸张增涨，显存占用也是恒定的。

一作彭博在接受36kr采访时曾这样形容：

传统RNN由于并行化的方式难以扩大规模，RWKV通过使每个通道的时间衰减与数据无关，可以在训练期间像Transformer一样做并行化。

训练好的140亿参数RWKV在多个数据集上的表现与开源Transformer大模型相当。

另外团队指出RWKV并非没有缺陷，虽然大致与Transformer的性能匹配，但对提示更敏感，并难以整合非常长的信息。

物理出身现在卖灯的论文一作

RWKV背后是一支不小的论文团队，总共27家大学、研究机构和公司组成，作者达30人。

论文一作Peng Bo，毕业于香港大学物理系，编程经验20+年，曾在世界最大外汇对冲基金之一Ortus Capital就职，负责高频量化交易。

还出版过一本关于深度卷积网络的书籍《深度卷积网络·原理与实践》。

他的主要关注和兴趣方向在软硬件开发方面，在此前的公开访谈中，他曾明确表示AIGC是自己的兴趣所在，尤其是小说生成。

目前，Peng Bo在Github有1.3k的followers，知乎粉丝已经超过了11万人，随着RWKV论文的发布，这个数字还在增加。

除了关注RWKV模型、论文发布和最新进展，吃瓜网友们最讶异的还是Peng Bo的身份之多样：

不仅仅是RWKV模型一作、元智能OS创始人，他的最主要公开身份是一家灯具公司禀临科技的联合创始人，主要是做阳光灯、吸顶灯、便携台灯什么的。

乍一看这个跨行有点猛，物理出生，搞过量化金融，写了20年程序，然后主业卖灯，根据爱好搞了个大模型，走的还不是主流transformer路线……

并且Peng Bo本人应该是一个喵星人资深爱好者，Github、知乎、微信头像，以及灯具公司的官网首页、微博上，都有一只黄色橘猫的身影。

ps. 如果你也好奇RWKV这个词该怎么读，根据元智能OS团队在播客《三五环》的读法，应该是“Rua库”

论文地址：

参考链接：

— 完 —

量子位 QbitAI · 头条号签

","gnid":"9546f6f4efbe7b154","img_data":[{"flag":2,"img":[{"desc":"","height":"459","title":"","url":"https://p0.ssl.img.360kuai.com/t018cc21c7bc30a317b.jpg","width":"1080"},{"desc":"","height":"581","title":"","url":"https://p0.ssl.img.360kuai.com/t010adef1ebd3baffda.jpg","width":"1080"},{"desc":"","height":"532","title":"","url":"https://p0.ssl.img.360kuai.com/t016996e8772aacdd1b.jpg","width":"1080"},{"desc":"","height":"910","title":"","url":"https://p0.ssl.img.360kuai.com/t012c7c4dbe8c564daa.jpg","width":"1080"},{"desc":"","height":"300","title":"","url":"https://p0.ssl.img.360kuai.com/t01c99aad89dc96f0bf.jpg","width":"1080"},{"desc":"","height":"1360","title":"","url":"https://p0.ssl.img.360kuai.com/t01ec992d1e47249f87.jpg","width":"1048"},{"desc":"","height":"616","title":"","url":"https://p0.ssl.img.360kuai.com/t01d92172b82f60b58f.jpg","width":"1080"},{"desc":"","height":"519","title":"","url":"https://p0.ssl.img.360kuai.com/t01e09c4a823549220f.jpg","width":"1080"},{"desc":"","height":"1144","title":"","url":"https://p0.ssl.img.360kuai.com/t019804c2fe5f526ace.jpg","width":"1136"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1684821060000,"pure":"","rawurl":"http://zm.news.so.com/165aba39fb8967800c6bcceb893e7a31","redirect":0,"rptid":"2f9e70bfc3f47e65","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:github","k":"github","u":""}],"title":"RNN在大模型时代「复活」，27家机构联名重磅论文来了！

党芸凯25941、为什么CO念一氧化碳,而不念氧化碳?还有“一氧化氮”也是?2、为什么Na2O念“氧化钠”而不念“氧化二钠”?简单回答即可,越快越好, -
巩毕虹17823064100 ______[答案] 如果CO念一氧化碳就无法与CO2区分 Na2O念“氧化钠”是因为钠和氧的化合物只有这一种

党芸凯2594Ltd怎么读?是不是要念全称Limited? -
巩毕虹17823064100 ______[答案] Co.,Ltd. 作为有限公司的常用缩写,读音必须读 完整的单词 Co.要读成company Ltd.要读成limited Ltd. =limited 【'limitid】

党芸凯2594公司的英文缩写为Co.怎么读,是哪个单词的缩写 -
巩毕虹17823064100 ______[答案] 是company的缩写,读的时候读全称就可以了 Co.,Ltd.是Company Limited 的缩写

党芸凯2594元素符号的读音语音 -
巩毕虹17823064100 ______ 元素符号表示一种元素,还可以表示这种元素的一个原子,大多数固态单质也常用元素符号表示.元素符号通常用元素的拉丁名称的第一个字母(大写)来表示,如碳-C.如果几种元素名称的第一个字母相同,就在第一个字母(必须大写)后面...

党芸凯2594COVID怎么读? -
巩毕虹17823064100 ______ COVID读成:科为德(谐音) COVID读成:科为德(谐音)

党芸凯2594为什么CaO读氧化钙,但是CO读一氧化碳?为什么CaO不读一氧化钙? 在什么条件下要读“1”? -
巩毕虹17823064100 ______ 因为一氧化碳还有二氧化碳存在 需要区分,二氧化钙没有其他情况了,所以不需要区分

党芸凯2594Communication technology Co.,LTD ;英文口语怎么说后面的 Co.,直接念字母? -
巩毕虹17823064100 ______[答案] Co.,LTD只读 limited 就行了

党芸凯2594有限公司的缩写是CO.,LTD,用英文读出来该怎么说呢?是直接说XXcomperny limited?还是怎么说啊? -
巩毕虹17823064100 ______[答案] Company,Limited 直接在前面加公司名字就可以了

党芸凯2594化学式 [Co(NH3)5H2O]Cl3 怎么读 -
巩毕虹17823064100 ______[答案] 三氯化一水五氨合钴

党芸凯2594;Ni和4CO产生【Ni(CO)4】,【Ni(CO)4】怎么读?四羰合镍? -
巩毕虹17823064100 ______[答案] 四碳酰镍