food翻译成中文的汉语
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
首个中英双语的语音对话开源大模型来了！
这几天，一篇关于语音-文本多模态大模型的论文出现在arXiv上，署名公司中出现了李开复旗下大模型公司01.ai——零一万物的名字。
这篇论文提出了一个中英双语可商用对话模型LLaSM，同时支持录音和文本输入，“混合双打”也没有问题：
论文认为，“语音聊天”才是AI与人之间更方便自然的交互方式，而不仅仅是通过文本输入。
用上大模型，有网友已经在想象“躺着说话就能写代码”的场景了。
这项研究来自LinkSoul.AI、北大和零一万物，目前已经开源，也可以在抱抱脸中直接试玩。
一起来看看它的效果如何。
支持文本语音输入，手机也可玩
据研究人员表示，LLaSM是第一个支持中英文双语语音-文本多模态对话的开源可商用对话模型。
那么，就来看看它的语音文本输入和中英双语能力如何。
首先来个中英文化碰撞，让它用英文评价一下李白：
还可以，正确地说出了李白的朝代。如果看不懂英文，让它直接翻译成中文也没问题：
接下来再试试中英混合提问，在中文里面掺杂一个“fried food”，模型输出也不错：
再试探一下模型，让它进行一些评价，看看李白和杜甫哪个更厉害。
可以看出，模型思考一会后给出了非常中立的评价，也具备大模型的基本“端水常识”（手动狗头）
当然，不止是电脑，手机也能玩。
我们试着用语音输入“给我推荐一个菜谱吧”：
可以看到模型准确地输出了一个“茄子芝士”的菜谱，就是不知道好不好吃。
不过，我们在尝试的时候也发现，这个模型有时候会出bug。
例如有时候它并不能很好地“听懂人话”。
要求输出中英混合的内容，它会假装看不懂并输出英文：
而当中英混合询问想听“Taylor Swift的Red”时，模型更是直接出大bug，反反复复输出一句话，甚至停不下来……
总体来看，当遇到中英混合的提问或要求时，模型输出能力还是不太行。
不过分开的话，它的中英文表述能力还是不错的。
那么，这样的模型究竟是怎么实现的呢？
做了个什么新模型？
从试玩来看，LLaSM主要有两个特点：一个是支持中英输入，另一个是语音文本双输入。
要做到这两点，分别需要在架构和训练数据上做一些调整。
架构上，LLaSM将当前的语音识别模型和大语言模型做了个整合。
LLaSM由三个部分构成，分别包括自动语音识别模型Whisper、模态适配器和大模型LLaMA。
其中，Whisper负责接收原始语音输入，并输出语音特征的向量表示；模态适配器负责对齐语音和文本嵌入；LLaMA则负责理解语音和文本输入的指令，并生成回复。
模型的训练一共分为两个阶段，第一阶段训练模态适配器，冻结编码器和大模型，也就是让它来学习语音和文本对齐；第二阶段冻结编码器，训练模态适配器和大模型，来学习多模态对话能力。
训练数据上，研究人员整理出了一个包含19.9万个对话和50.8万个语音-文本样本的数据集LLaSM-Audio-Instructions。
而在50.8万个语音-文本样本中，有8万个中文语音样本，42.8万个英文语音样本。
研究人员主要基于WizardLM、ShareGPT和GPT-4-LLM等数据集，通过文本转语音技术，给这些数据集生成语音包，同时过滤掉无效对话。
这也是目前最大的中英文语音文本指令遵循数据集，不过目前还在整理中，据研究人员表示，整理完后会进行开源。
不过，论文暂时没有对比它和其他语音模型或文本模型的输出效果。
作者介绍
这篇论文来自LinkSoul.AI、北京大学和零一万物。
共同一作Yu Shu和Siwei Dong均来自LinkSoul.AI，此前曾经在北京智源人工智能研究院工作。
LinkSoul.AI是一家AI初创公司，之前推出过首个开源Llama 2的中文语言大模型。
作为李开复旗下的大模型公司，零一万物也在这次研究中有所贡献。作者Wenhao Huang的Hugging Face主页显示，他毕业于复旦大学。
论文地址：
https://arxiv.org/abs/2308.15930Demo地址：
https://huggingface.co/LinkSoul/LLaSM-Cllama2— 完 —
量子位 QbitAI · 头条号签
","gnid":"9d09be357c2b2dde0","img_data":[{"flag":2,"img":[{"desc":"","height":"434","title":"","url":"https://p0.ssl.img.360kuai.com/t01bbabd22cb2b22c13.jpg","width":"1080"},{"desc":"","height":"720","s_url":"https://p0.ssl.img.360kuai.com/t01eec94e6c04de1932_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01eec94e6c04de1932.gif","width":"1080"},{"desc":"","height":"820","title":"","url":"https://p0.ssl.img.360kuai.com/t01882bc346ee712b9f.jpg","width":"894"},{"desc":"","height":"581","title":"","url":"https://p0.ssl.img.360kuai.com/t01ad7b7599e26ebefe.jpg","width":"882"},{"desc":"","height":"261","title":"","url":"https://p0.ssl.img.360kuai.com/t01e787e38b792ef1b3.jpg","width":"1080"},{"desc":"","height":"462","title":"","url":"https://p0.ssl.img.360kuai.com/t013e230912996cfc4e.jpg","width":"763"},{"desc":"","height":"790","s_url":"https://p0.ssl.img.360kuai.com/t016ad8480853d5952d_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t016ad8480853d5952d.gif","width":"893"},{"desc":"","height":"565","s_url":"https://p0.ssl.img.360kuai.com/t017b88cab207186b1d_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t017b88cab207186b1d.gif","width":"640"},{"desc":"","height":"789","s_url":"https://p0.ssl.img.360kuai.com/t0126d7327009a6c82e_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0126d7327009a6c82e.gif","width":"893"},{"desc":"","height":"789","s_url":"https://p0.ssl.img.360kuai.com/t0126322315180c44e4_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0126322315180c44e4.gif","width":"893"},{"desc":"","height":"554","title":"","url":"https://p0.ssl.img.360kuai.com/t019c1fccd913775af2.jpg","width":"924"},{"desc":"","height":"253","title":"","url":"https://p0.ssl.img.360kuai.com/t0175f4d4a41ae28505.jpg","width":"941"},{"desc":"","height":"227","title":"","url":"https://p0.ssl.img.360kuai.com/t01429671751a374d90.jpg","width":"675"},{"desc":"","height":"437","title":"","url":"https://p0.ssl.img.360kuai.com/t01678e4ad5ef848c19.jpg","width":"1080"},{"desc":"","height":"624","title":"","url":"https://p0.ssl.img.360kuai.com/t01701b7a0ce8e37aaf.jpg","width":"816"}]}],"original":0,"pat":"art_src_3,fts0,sts0","powerby":"hbase","pub_time":1693630380000,"pure":"","rawurl":"http://zm.news.so.com/9eeba46a44a6c2350fa2e9d4b129f843","redirect":0,"rptid":"e54fcdaecb3732da","rss_ext":[],"s":"t","src":"量子位","tag":[{"clk":"ktechnology_1:李开复","k":"李开复","u":""}],"title":"国产语音对话大模型来了：李开复零一万物参与，中英双语多模态
谈盼山5009Chinese food英语介绍,像长寿面、米饭、德州扒鸡,最好有汉语翻译,六年级水平就行.(30分钟内) -
邬解顾13950293748 ______[答案] chinese food There are many different kinds of food in China.It's famous in the world.A lot of foreigners like it very much ,too.It's very popular in the world.They're Cantonese food,Sichuan food,Shanghai food,Hunan food and so on.Generally speaking,...
谈盼山5009put more food是什么意思中文翻译 -
邬解顾13950293748 ______ put more food 放更多的食物 双语例句1 It is wasteful to put more food on your plate than you can eat.(在盘子里放多过于你能吃得下的食物是浪费的.)2 Billy put more food on the hook.比利放了更多的食物在吊钩上.
谈盼山5009i like food是什么意思中文翻译 -
邬解顾13950293748 ______ I like food(我喜欢的食物) I very like ice creamsstrawberriesorangeshamburgerschicken and grills.but I do not like broccolipearstomatoseggsFrench friesbananas and salad.I happly very many!
谈盼山5009food is very chinese翻译成中文
邬解顾13950293748 ______ 这食物很中国化
谈盼山5009不难,小学三年级内容,英语翻译中文 中文翻译英文 英文单词的反义词、复数、序数词、单数 -
邬解顾13950293748 ______ 选我选我 拜托了 我在做任务 1 今天很热 2 白色毛衣 3 举行表演 4天气预报 5 teacher's desk 6 Look at his shoes 7问老师 8做一件连衣裙 9go to bed 10 分享食物 11 cool 12 black 13 ou畅伐扳和殖古帮汰爆咯r 14 second 15 tomatoes 16babies 17 child 选我选我 拜托了 我在做任务
谈盼山5009把What's your favourite food翻译成中文 -
邬解顾13950293748 ______[答案] 你最喜爱的食物是什麽? 谢谢采纳!
谈盼山5009中国的食物是非常美味的翻译成中文是什么 -
邬解顾13950293748 ______ 是翻译成英文吧?Chinese food is very delicious
谈盼山5009翻译问题 chinese food是可数名词么?
邬解顾13950293748 ______ 如果是我自己的话...我同意你...我觉得Chinese food 在这里应该是一个整体来算入世界上最健康的食物的...所以我也会填is 一般情形下是不可数的. 但是在句子里提到food表示食物“种类”(着重指'不同种类的食物')的时候,是可数的. 例如: 我喜欢不同的食物和水果.I like different kinds of foods and fruits. 我就觉得这里并没有强调什么种类的吖...
谈盼山5009what's your favorite food?Fish.翻译成中文 -
邬解顾13950293748 ______[答案] 你最喜欢的食物是什么?鱼.
谈盼山5009中文是食物在桌子上,翻译成The food are on the table对吗? -
邬解顾13950293748 ______[答案] 不对,因为food不可数,所以are应该改成is