高情商聊天对话
鱼羊 梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
大规模语言模型，微信版，来了！
并且甫一登场，就没藏着掖着：
论文、API接口、在线试玩网站……一条龙全都齐备。
续写文本、阅读理解等常规任务就不说了，这个名叫WeLM的AI，竟然直接让我和李白跨时空聊起了杜甫：
我：现在有一首关于你的歌，其中一句歌词是「要是能重来，我要选李白」，请问你自己有什么看法？
李白：我要选杜甫。
这还不算完，WeLM甚至还治好了我不会聊天的毛病，分分钟教会我如何高情商说话。
这么一个AI，参数量不算大，目前处于百亿水平。
但值得关注的是，实验结果显示，它在18个中文语言任务里，效果堪比参数量是其25倍的模型。
是不是有点手痒想上手一试了？先奉上链接，咱们再仔细说说，这波微信是怎么做到的。
体验链接：https://welm.weixin.qq.com/docs/playground/API接口：https://welm.weixin.qq.com/docs/api/论文地址：https://arxiv.org/abs/2209.10372
「学富五车」的大模型
微信语言大模型WeLM，全名Well-Read Language Model，也就是「学富五车的语言模型」。
在翻译任务上，WeLM不光可以做到基本的，甚至三语夹杂也难不倒它。
在文本续写任务上，只需给出开头就能生成适应不同风格的文本。
这种多语言、多任务能力是怎么做到的？
其实WeLM与著名的GPT-3是同类，都是自回归解码器结构，微信团队选择这种结构就是看中其在海量数据中掌握无穷范式的能力。
在具体实现方法上，WeLM还有两项特色。
一是采用RoPE相对位置编码，与传统的固定位置编码相比能更好处理长文本，比如理解整篇文章甚至整本书。
二是使用62k个token的SentencePiece并保留其中的空格和Tab，这样更有利于下游任务。
使用这些方法，WeLM总共设计了从13亿到100亿参数的三个版本，可按需调用。
其中100亿参数的满血版WeLM在14项中文任务中整体表现超过同大小的模型，甚至在零样本任务上超过比它大25倍的模型。
这其中最大的秘诀就是精心准备的高质量训练数据上充分训练，也就是「学富五车」的含义所在。
高质量训练数据包括从Common Crawl下载的近两年中文网页、大量书籍、新闻、论坛数据和学术论文。
收集到的数据总量超过10TB，其中包含750G英文数据，中文中夹杂的英日韩语为了语义连贯也全部保留。
不过这还不算完，需要经过清洗、去重等一系列步骤才能算得上是高质量数据。
首先是去除噪声和脏数据，结合使用规则和模型检测后，超过87%的数据被过滤。
再利用SimHash算法去重，进一步过滤掉40%的数据。
接下来要去除一切和测评相关的数据，保证公平性，以 17-gram 为检测重复粒度再次过滤了0.15%的数据。
一系列处理后留下的数据量为262B tokens，最后再对这些数据进行不同比重的采样，使数据平滑分布在各个话题上。
对于预训练，团队认为当今多数大模型的训练都不够充分，WeLM 100亿参数版的训练量基本与1750亿的GPT-3相当（300B tokens），在128张A100上训练用了大概24天时间。
为了保证训练效率，WeLM在训练过程中还使用了完全可原地复现的形式，不管发生任何问题都能从最近的checkpoint恢复。
自1750亿参数的GPT-3之后，语言模型规模越来越大，到今年谷歌的PaLM已经达到5400亿，中文大模型同样有这个趋势。
可以看出微信团队选择了另一条路线，以高质量训练数据和高效训练做到「四两拨千斤」的效果。
到这一步WeLM已经有了不错的表现，不过接下来这个步骤再次将其零样本泛化能力提到新的高度。
研究团队针对76个数据集各人工撰写10-20个Prompt，将原任务中的文本关系的标签和输入信息转化成流畅通顺的自然语言形式，更符合自回归语言模型的训练形式。
使用这些Prompt对模型微调后，相当于让模型学会了面对多样的Prompt该做什么。如果遇到相似Prompt形式的全新任务，也可以有更稳定的表现。
实验证明，在全量数据上微调后的模型在新的NLP任务上具备更优秀的零样本迁移能力，同时也使得微调变为一项一劳永逸的工作。
最后，研究团队还测试了WeLM的三个额外能力。
通过提供示例，WeLM可以对自己的决策作出解释，不过这种能力不太稳定，还需要进一步探索。
通过简单提问，WeLM可以对结果进行自我纠正和检查能力，为后续提高性能提供了可能方向。
WeLM还表现出一定的记忆能力，如果输入内容完美匹配前文，即使内容很长、出现频次很低，模型依然可以准确的生成剩下的部分。
最后再来总结一下，WeLM精通中文的同时掌握英日韩等多种外语、可以通过少样本或零样本学习执行全新任务，同时以合理尺寸做到与25倍参数量的模型相媲美使用成本较低，总之就是奔着实用性和大规模落地去的。
同步开放在线体验与API，也是希望有想法的开发者能方便的用起来，让WeLM大模型真正实用的工具。
WeLM怎么用
具体来说，WeLM线上Demo目前释出的功能包括：对话-采访、阅读理解、翻译、改写、续写以及自由任务。
在正式开始跟WeLM玩耍之前，记得要先给模型扔一段简单的「范文」，也就是「prompt」。
在线网站会给出一些默认的prompt，你也可以自行修改设计。需要遵循的设计原则是：
第一，描述清楚；第二，例子具备代表性（多个例子更好）。
以文本分类任务为例，prompt应该长这样：
其中的技巧包括，首先，把分类任务用自然语言清晰地表达出来，在上面这个示例中，「微博」即为输入，「类别」即为输出。
其次，在第一句的指令型描述中，需要把可能的分类结果都列出来。
最后，如果效果不佳，可以尝试加入更多例子，让WeLM更清楚你到底想要做怎样的任务。
另外，正如前文所说，WeLM拥有零样本学习能力。
所以直接把它当作问答搜索引擎来用，也不是不行（手动狗头）。
如果你还想得到更多样化的生成结果，token数量、temperature等参数均可调整。
更重要的一点是，WeLM已开放API接口 。也就是说，如果身为开发者的你想在自己的App里用上这个大模型，填写调查问卷注册即可。
One More Thing
说起来，这样的大模型要是真的落地应用了，妈妈岂不是再也不用担心我因为不会聊天而母胎solo ？
比如说……
你还有什么有趣的脑洞？大胆招呼起来~
— 完 —
量子位 QbitAI · 头条号签约
","force_purephv":"0","gnid":"9c8fa94c74c319be7","img_data":[{"flag":2,"img":[{"desc":"","height":"895","title":"","url":"https://p0.ssl.img.360kuai.com/t0183d838d04b013cfb.jpg","width":"1080"},{"desc":"","height":"433","title":"","url":"https://p0.ssl.img.360kuai.com/t01a439e6a7cc3872c1.jpg","width":"1080"},{"desc":"","height":"448","title":"","url":"https://p0.ssl.img.360kuai.com/t01f62df56545a5fc55.jpg","width":"926"},{"desc":"","height":"780","title":"","url":"https://p0.ssl.img.360kuai.com/t0101e0931bc75b9dd0.jpg","width":"1080"},{"desc":"","height":"186","title":"","url":"https://p0.ssl.img.360kuai.com/t01decc9a7411e5c14b.jpg","width":"1080"},{"desc":"","height":"504","title":"","url":"https://p0.ssl.img.360kuai.com/t015ab6830be253ad28.jpg","width":"702"},{"desc":"","height":"366","title":"","url":"https://p0.ssl.img.360kuai.com/t01dbba6ff68c8f48fc.jpg","width":"1080"},{"desc":"","height":"885","title":"","url":"https://p0.ssl.img.360kuai.com/t01aa25ba1f380120d5.jpg","width":"1080"},{"desc":"","height":"410","title":"","url":"https://p0.ssl.img.360kuai.com/t011ed0e409260909b1.jpg","width":"1080"},{"desc":"","height":"394","title":"","url":"https://p0.ssl.img.360kuai.com/t012b5defec0f985fda.jpg","width":"1080"},{"desc":"","height":"362","title":"","url":"https://p0.ssl.img.360kuai.com/t015de1c196ad44b909.jpg","width":"1080"},{"desc":"","height":"590","title":"","url":"https://p0.ssl.img.360kuai.com/t0103900330932fcbc5.jpg","width":"1080"},{"desc":"","height":"172","title":"","url":"https://p0.ssl.img.360kuai.com/t01a845c7b819addfab.jpg","width":"1080"},{"desc":"","height":"691","title":"","url":"https://p0.ssl.img.360kuai.com/t012010cdb16e286b75.jpg","width":"1080"},{"desc":"","height":"1039","title":"","url":"https://p0.ssl.img.360kuai.com/t0135e81ca1e147c336.jpg","width":"1080"},{"desc":"","height":"363","title":"","url":"https://p0.ssl.img.360kuai.com/t01018ce6f14e4f767c.jpg","width":"1080"},{"desc":"","height":"310","title":"","url":"https://p0.ssl.img.360kuai.com/t0147738e0f94f40ce4.jpg","width":"292"},{"desc":"","height":"776","title":"","url":"https://p0.ssl.img.360kuai.com/t01557e80744e6b9894.jpg","width":"867"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1665636540000,"pure":"","rawurl":"http://zm.news.so.com/24a4298444f64e380c8e571828c2669a","redirect":0,"rptid":"b46353f6192f5bcf","s":"t","src":"量子位","tag":[{"clk":"kculture_1:李白","k":"李白","u":""}],"title":"微信版大语言模型来了:跨时空对话李白、教你高情商说话,在线可玩
穆贝兔3487真正高情商的人,都是怎么沟通的 -
倪委秆19483609589 ______ 真正高情商的人,他们主要是,能够会说话,知道什么时候该说话,知道什么时候该沉默!1、与人谈话时要心平气和,不要带有过多的个人情绪,多一点包容,少一点责备.2、交谈时肢体语言也要得体,不要搔首弄姿,切勿指指点点,挤眉弄眼,给人有教养的感觉.3、做一个很好的倾听者,别人说话的时候,不要四处张望,分神.也不要面无表情让人扫兴.
穆贝兔3487高情商的职场高手,是怎么说话的 -
倪委秆19483609589 ______ 高情商的职场高手说话时,言辞组织恰如其分,从而既能达到自己的目的,又能让对方愉快接受.双方在愉快的沟通当中就把问题解决了.这才是真正的高手!
穆贝兔3487在干嘛怎么高情商回复? -
倪委秆19483609589 ______ 下面是三种高情商的回复示例:1、常规回复简单回一句:刚下班,刚吃完饭,准备去健身,散步,然后问她在干嘛.虽然这样的问答简单,但能让你们有话可聊,比如:你还健身啊,看不出来嘛!你可以回:对啊,我每周健身三次,我可是有...
穆贝兔3487当女孩说累如何高情商回复?
倪委秆19483609589 ______ 当女孩说累时高情商回复示例:辛苦了,等你忙完给你奖励;我带你去放松一下;我现在来找你;宝贝,给你一个抱抱;累了没关系,我会一直在身边的.如果女生跟你说...
穆贝兔3487对方说交个朋友怎么高情商回答?
倪委秆19483609589 ______ 高情商的回复示例:刚下班,刚吃完饭,准备去健身,散步,然后问她在干嘛.虽然这样的问答简单,但能让你们有话可聊;也可以采用幽默式回答,女生问你,在干嘛?...
穆贝兔3487怎样说话才算最高情商 -
倪委秆19483609589 ______ 不需要可以去隐藏自己,自己就是自己,承认、接纳自己吧.如果你想提高情商,你只能多去了解人情世故,等等.
穆贝兔3487高情商聊天术对方说嘿,我有件东西落你那了我该怎么回复? -
倪委秆19483609589 ______ 当对方说“嘿,我有件东西落你那了”,你需要根据具体情况和关系,选择合理的回复方式.以下是几个可能的情况和回复:1. 如果你的关系比较熟悉且真的有人向你借过东西或给你留过物品,可以示意对方是什么东西,并感谢对方提醒你并期待能很快归还.2. 如果你的关系比较陌生或者你确实没有接受过任何物品,那么需要表示自己的疑惑,提醒对方具体是什么物品,并强调自己的谨慎原则.3. 如果你的关系比较暧昧或者你根本就不认识对方,可以以调侃或者幽默的方式回应,并对关系做适当的界定.不论是哪种回答方法,都需要注意维持礼貌和尊重,保持社交技巧和情商,以达到更好的沟通效果.
穆贝兔3487高情商的怎么问男朋友在干嘛? -
倪委秆19483609589 ______ 我们聊的会很多.现在开始上班了,我们可以聊一些工作上的事情.可以聊聊同事之间比较开心的话题.你可以聊一聊最近自己新的想法和打算以及目标.包括自己想瘦身想美容之类的,这些话题都可以跟男朋友聊的.你在上学那也可以聊一...