首页 >>  正文

ai翻唱软件

来源:baiyundou.net   日期:2024-07-05

来源丨新智元(ID:AI_era)

编辑丨桃子 好困

一夜之间,「AI孙燕姿」火遍全网。

B站上,AI孙燕姿翻唱的林俊杰「她说」、周董「爱在西元前」、赵雷「成都」等等,让一众网友深陷无法自拔。

「冷门歌手」孙燕姿新晋成为2023年度热门歌手,掀起许多人的追星狂欢。

网友表示,「听了一晚上AI孙燕姿,出不去了......」

这些翻唱歌曲,是由Eternity丨L、罗斯特_x等UP主通过开源项目自制后并上传。

(作者似乎特意在「半岛铁盒」中加入了一秒空白,凑成5分20秒)

UP主:Eternity丨L

除了AI孙燕姿,还有AI周杰伦,AI王心凌、AI林志炫...

可能许多人做梦也没有想到,2023年华语乐坛竟以这种形式复兴了。

「AI孙燕姿」在线营业

前段时间,一位TikTok网友用AI创作了一首「Heart on My Sleeve」很快蹿红网络,引来1000多万人围观。

听完这首歌的网友纷纷表示,太让我惊讶了,简直太疯狂!

这首歌正是用两位美国流行音乐人Drake和The Weeknd的声音创作而成。先通歌手声音训练AI,然后再用AI来创作。

在国内,B站上AI翻唱的华语乐坛歌曲也渐渐成为许多人关注的焦点,孙燕姿、王心凌、周杰伦等明星纷纷「复出」。

而最火的莫过于孙燕姿,凭借「天后音色」的称号,直接成为AI新宠儿。

UP主:罗斯特_x

有人还自制了AI孙燕姿粤语版《爱来的太迟》。

然而,对于AI音乐制作,在整个音乐行业并非是一个新事物了。只不过生成式AI的大火,让AI翻唱的门槛再次被拉低。

比如,年初,谷歌还曾推出了文本到音乐模型MusicLM,通过将音乐的生成过程视为分层的序列到序列建模任务,并以24 kHz的频率生成高保真的音乐。

对于许多歌迷来讲,AI翻唱一定程度上满足了自己的许多遐想。

还有一些歌迷,自己训练了已故经典老歌手的AI,包括阿桑、张国荣、姚贝娜、邓丽君等等。

这或许是一种数字永生,通过这样一种方式让久违的声音再次回到人们心里。

Midjourney出图逼真的超强能力,让人们惊呼画家要失业了。对于AI翻唱,难道歌手也要被去取代吗?

一位UP主@阿张Rayzhang用自己的音色训练出的AI唱Killer Queen后,瞬间感觉太恐怖了。

紧急录制一个视频后,并附上了「AI歌手会让翻唱区集体失业吗?我被AI版的我爆杀!」标题。

有网友称,自己就是AI第一批受害者画手,感觉什么职业也逃不掉。

有些人也表示,翻唱的有些地方一点也不像。

要知道,对于AI翻唱来讲,也需要丰富的特定艺术家音色训练数据,这样AI生成的作品才更加真实。

就目前的技术,虽然歌手的唱腔、技巧和风格等还不能完全模仿,但音色已经基本能完全复刻。

但是真正的大家是不能被取代。

AI翻唱火虽火,但由AI创作音乐的另一面,是迫在眉睫的版权问题。

AI创作的「Heart on My Sleeve」在TikTok上风靡一时后,完整版被上传到了Apple Music、Spotify、YouTube等平台上。

就此,美国歌手Drake对此在Ins表达了不满,「这是(压死骆驼的)最后一根稻草了」。目前,这首歌因为侵权问题已经下架。

《金融时报》称,拥有Taylor Swift、Bob Dylan等巨星版权的环球音乐集团,正敦促Spotify和苹果阻止AI工具从其艺术家的版权歌曲中抓取歌词和旋律。

但是有些艺术家却不吝啬自己的声音,马斯克前女友Grimes在网上表示,

「任何人都可以使用我的声音AI生成歌曲。」不过,还得再付50%的版权。

而这次大火的AI翻唱背后的原始项目「so-vits-svc」的作者,据称也是因为太多人滥用,而删除了项目。

SoVitsSvc:唱歌声音转换

项目地址:https://github.com/svc-develop-team/so-vits-svc

歌声转换模型使用SoftVC内容编码器来提取源音频语音特征,然后将向量直接送入VITS,而不是转换为基于文本的中间格式。因此,音高和音调都可以被保留下来。

此外,项目开发者还通过采用NSF HiFiGAN作为声码器(vocoder),从而解决了声音中断的问题。

特征输入改为Content Vec · 采样率统一使用44100Hz 由于参数的改变,以及模型结构的精简,推理所需的GPU显存明显减少。 增加选项1:vc模式的自动音高预测,这意味着在转换语音时不需要手动输入音高键,男声和女声的音高可以自动转换。但是,这种模式在转换歌曲时,会造成音高偏移。 增加选项2:通过k-means聚类方案减少音色泄漏,使音色与目标音色更相似。 增加选项3:增加NSF-HIFIGAN增强器,对一些训练集少的模型有一定的音质增强效果,但对训练好的模型有负面影响,所以默认关闭。

将G_0.pth和D_0.pth放在logs/44k目录下。

预处理0. 音频切片利用audio-slicer-GUI或audio-slicer-CLI工具,将原始音频切片至5秒-15秒。长一点也没问题,但太长(比如30秒)可能会在训练甚至预处理时导致「torch.cuda.OutOfMemoryError」,俗称爆显存。

切片后,删除过长和过短的音频。1. 重采样至44100Hz和单声道python resample.py

2. 自动将数据集分成训练集和验证集,并生成配置文件python preprocess_flist_config.py3. 生成hubert和f0python preprocess_hubert_f0.py完成上述步骤后,dataset目录将包含预处理的数据,dataset_raw文件夹可以被删除。现在,你可以修改生成的config.json中的一些参数——keep_ckpts:在训练中保留最后的keep_ckpts模型。设置为0将保留所有模型,默认是3。

all_in_mem:将所有数据集加载到RAM中。当某些平台的磁盘IO太低,而系统内存比你的数据集大得多时,可以启用。

训练python train.py -c configs/config.json -m 44k

推理模型在需要使用「inference_main.py」。

举个例子:python inference_main.py -m "logs/44k/G_30400.pth" -c "configs/config.json" -s "nen" -n "君の知らない物語-src.wav" -t 0

虽然原始项目组现已停止维护,但有不少网友都进行了fork并且也做了一些更新。比如下面这个图形化界面:

项目地址:https://github.com/voicepaw/so-vits-svc-fork

AI「复活」AI翻唱之外,许多网友此前曾做了类似的项目,比如「AI-Talk」让马斯克和乔布斯进行了穿越时空的对话。

视频中,AI不但模拟了他们的声音,还在一定程度上模拟了其对话思路,使得交流过程十分流畅。AI让我们与逝者的对话成为可能。此前,B站UP主用AI还复活了老奶奶。对于老奶奶的声音制作,直接把过去已有的音频上传,素材基本来自于过去的电话录音、录像视频或者微信语音。并用音频编辑软件AU进行调整,调整的方向主要在降噪、人声增强等等。

然后将更加清晰的音频样本切割成若干秒的短句,方便进行标注。最后将处理好的音频打包放入语音合成系统中去。

利用语音合成系统,就可以尝试输入文本转语音了。

网友见证科技狠活AI孙燕姿的歌,已经唱到许多网友的心坎。

最近沉迷AI「翻唱」,上至AI侃爷唱罚酒,下至苏小玎唱真相是真。但说句正经的,确实还是AI届顶流孙燕姿的翻唱最好听。

这几天沉迷B站的AI孙燕姿,刚刚听了一首《一场游戏一场梦》,太好听了,唱到心坎里

不少网友听过AI翻唱的歌曲后,感受到AI歌手的可怕之处:科技的力量真是让人细思极恐。

深深感受到了什么叫做科技的力量......

这就是AI生命,数字飞升!

还有网友对逝去歌手的怀念。

参考资料:https://github.com/svc-develop-team/so-vits-svchttps://www.bilibili.com/video/BV1io4y1w73k/?vd_source=eecf800392d116d832e90ad1c9ae70f6

找靠谱商机,关注创业邦视频号!

","gnid":"9c92e79f708c43ca8","img_data":[{"flag":2,"img":[{"desc":"","height":"340","s_url":"https://p0.ssl.img.360kuai.com/t01e24fad97371453d0_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01e24fad97371453d0.gif","width":"900"},{"desc":"","height":"463","title":"","url":"https://p0.ssl.img.360kuai.com/t010f5c64a901a5a749.jpg","width":"1080"},{"desc":"","height":"370","s_url":"https://p0.ssl.img.360kuai.com/t0123bc0bd6dcbf8142_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0123bc0bd6dcbf8142.gif","width":"664"},{"desc":"","height":"130","title":"","url":"https://p0.ssl.img.360kuai.com/t017a997ad212b44bbd.jpg","width":"660"},{"desc":"","height":"629","title":"","url":"https://p0.ssl.img.360kuai.com/t01b79d36dc0c473a0a.jpg","width":"1080"},{"desc":"","height":"235","title":"","url":"https://p0.ssl.img.360kuai.com/t01c6cd048ace552e0e.jpg","width":"1080"},{"desc":"","height":"338","title":"","url":"https://p0.ssl.img.360kuai.com/t018b39375293456764.jpg","width":"600"},{"desc":"","height":"438","title":"","url":"https://p0.ssl.img.360kuai.com/t01302e326b7e1aa1f4.jpg","width":"1080"},{"desc":"","height":"244","title":"","url":"https://p0.ssl.img.360kuai.com/t01ea4fc79ccda0c82a.jpg","width":"1080"},{"desc":"","height":"1036","title":"","url":"https://p0.ssl.img.360kuai.com/t01afc7237361fb4e9d.jpg","width":"1080"},{"desc":"","height":"368","s_url":"https://p0.ssl.img.360kuai.com/t0167bc52ac3108611a_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0167bc52ac3108611a.gif","width":"668"},{"desc":"","height":"193","title":"","url":"https://p0.ssl.img.360kuai.com/t01028b71f1e83f1a62.jpg","width":"1080"},{"desc":"","height":"396","title":"","url":"https://p0.ssl.img.360kuai.com/t0127eb51b113e182b8.jpg","width":"1080"},{"desc":"","height":"248","title":"","url":"https://p0.ssl.img.360kuai.com/t015ef825ffd85556e6.jpg","width":"1080"},{"desc":"","height":"113","title":"","url":"https://p0.ssl.img.360kuai.com/t0139d42038401a6989.jpg","width":"1080"},{"desc":"","height":"271","title":"","url":"https://p0.ssl.img.360kuai.com/t01c304560b940d6ea2.jpg","width":"1080"},{"desc":"","height":"688","title":"","url":"https://p0.ssl.img.360kuai.com/t016cbb1eefd4c8420a.jpg","width":"1080"},{"desc":"","height":"355","s_url":"https://p0.ssl.img.360kuai.com/t0180136c6272829932_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0180136c6272829932.gif","width":"639"},{"desc":"","height":"356","s_url":"https://p0.ssl.img.360kuai.com/t01ba280637d2558677_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01ba280637d2558677.gif","width":"640"},{"desc":"","height":"162","title":"","url":"https://p0.ssl.img.360kuai.com/t01674a906bea2edad7.jpg","width":"590"},{"desc":"","height":"194","title":"","url":"https://p0.ssl.img.360kuai.com/t017de82f0584a0b6bb.jpg","width":"1080"},{"desc":"","height":"190","title":"","url":"https://p0.ssl.img.360kuai.com/t01dc01171a015f7bdd.jpg","width":"1080"},{"desc":"","height":"271","title":"","url":"https://p0.ssl.img.360kuai.com/t0141b0c9afbe22f1b4.jpg","width":"1080"},{"desc":"","height":"164","title":"","url":"https://p0.ssl.img.360kuai.com/t01c93d1514acfd8793.jpg","width":"710"},{"desc":"","height":"262","title":"","url":"https://p0.ssl.img.360kuai.com/t019200c02575035d3a.jpg","width":"1080"},{"desc":"","height":"312","title":"","url":"https://p0.ssl.img.360kuai.com/t0167149e06bb929e30.jpg","width":"1080"},{"desc":"","height":"160","title":"","url":"https://p0.ssl.img.360kuai.com/t017d7c1f97a5f8e5ce.jpg","width":"1000"},{"desc":"","height":"250","title":"","url":"https://p0.ssl.img.360kuai.com/t0100dcbeddf567c690.jpg","width":"900"},{"desc":"","height":"250","title":"","url":"https://p0.ssl.img.360kuai.com/t0126b91f1607f12236.jpg","width":"900"},{"desc":"","height":"250","title":"","url":"https://p0.ssl.img.360kuai.com/t01dd6c4c1a24262906.jpg","width":"900"},{"desc":"","height":"500","title":"","url":"https://p0.ssl.img.360kuai.com/t011f59401f8fc2d2f5.jpg","width":"900"},{"desc":"","height":"86","s_url":"https://p0.ssl.img.360kuai.com/t0168d708fb07b3e36c_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0168d708fb07b3e36c.gif","width":"634"}]}],"original":0,"pat":"mxc,art_src_1,fts0,sts0,op50_st","powerby":"cache","pub_time":1683716476000,"pure":"","rawurl":"http://zm.news.so.com/572c0683155c6ea866d5f9b694b801ac","redirect":0,"rptid":"435ac6be184b5a52","rss_ext":[],"s":"t","src":"创业邦","tag":[{"clk":"kfun_1:孙燕姿","k":"孙燕姿","u":""},{"clk":"kfun_1:华语乐坛","k":"华语乐坛","u":""}],"title":"「AI孙燕姿」全网沸腾!AI翻唱大爆发,整个华语乐坛都「复兴」了

宣瑞文2169现在哪种音乐软件歌曲最全,音效最好??? -
满广蕊17298785278 ______ 中国原创音乐基地,最全最好,不过要注册http://www.5sing.com/index.html 还有就是酷狗了,酷狗音乐非常全,不必注册,但音乐更新较慢

宣瑞文2169视频翻唱用什么软件录?看到网上好多视频翻唱录的挺好(就是对着摄像
满广蕊17298785278 ______ Cool Edit

宣瑞文2169初音真的消失了么?(没有初音我怎么活呀!?) -
满广蕊17298785278 ______ 这首歌曲《初音未来的消失》的背景是人工AI演唱系统初音未来的系统出现了问题,即将崩溃,在她的最后的时间里,为她的创造者演唱了最后一首歌,就是这一首,曲子的节奏这么快也是因为如此,在歌词的最后也是出现了重复的两句“系统出现错误”,再加上这首歌出版后雅虎、百度等搜索引擎都同一时间无法搜索到初音,所以嘛,LZ不用这么担心啦,她的歌还会继续,她可是世界的歌姬啊!

宣瑞文2169如何让自己唱的全民K歌上推荐? -
满广蕊17298785278 ______ 全民k歌被官方推荐的方法:扎实的歌曲基础、掌握全民K歌官方推送热门方法、通过各种媒体平台分享自己的作品. 一、扎实的歌曲基础 首先,你的歌曲至少会让观众在听完后无法抗拒.掌握歌曲的节奏,各种音调的准确性等等,这些都是必...

宣瑞文2169全民k歌能不能看见对方是不是在线呢? -
满广蕊17298785278 ______ 能的,只要你在全民k歌里关注了对方,那么就算对方微信删除了你的微信,也不会受影响. 《全民K歌》是一款由腾讯公司出品的k歌软件,具有智能打分、专业混音、好友擂台、修音、趣味互动以及社交分享功能.2014年8月26日,《全民K...

宣瑞文2169yy麦克风混响器 - YY唱歌用的什么软件啊YY里他们唱歌有回响的效果,然后声音
满广蕊17298785278 ______ 推荐给你个软件,【{MVBOX 4.0版本} 一款集录音、录像、卡拉OK、虚拟视频等功能的音视频娱乐工具,海量的歌曲库,超强的练唱功能,最新特效素材, 带给你全新的K歌体验.】这个软件还支持虚拟视频【在QQ和UC 歪歪】全支持,里面有歌曲.自己想唱的时候关闭歌词就光有伴奏音乐了. 在我共享资源就有这个软件.MVBOX 4.0版本

宣瑞文2169airpods3怎么连接荣耀手机
满广蕊17298785278 ______ 华为手机如何连接airpods耳机?1、第一我们在保证蓝牙耳机有电的情况下,打开充电盒盖子.2、长按充电盒后面的小按钮直到指示灯变成白色一闪一闪.3、进入华为手机设置,点击蓝牙.4、打开蓝牙搜索配对,找到Airpods然后配对,即可连接成功了

宣瑞文2169airpods2有分离警报吗
满广蕊17298785278 ______ 有的.苹果耳机离开多远提示,你可以自己设置 AirPods 的距离范围,当 AirPods 在这个范围之外,就会发出警报提示.如果用户不小心将 AirPods 遗忘在某个地方,在离开了这个位置一定的距离之后,iPhone 就会出现一条通知消息以提示用户 AirPods 被忘在了这个地方.如果想要及时收到这条消息提醒,请为“查找”应用开启通知.此外,用户还可以设置 AirPods 的距离范围,当 AirPods 在这个范围之外,就会发出警报提示.设为丢失模式的 AirPods 无论是否在充电仓内,都可以发出提示音.

宣瑞文2169歌词显示软件 -
满广蕊17298785278 ______ 天天动听,手机酷狗,酷狗叮咚,QQ音乐播放器,开心听…等等,本人推荐你用酷狗叮咚,他有精准KRL歌词显示,真正带给你卡啦OK的视觉享受…

宣瑞文2169荣耀30pro风险管控软件如何解除
满广蕊17298785278 ______ 操作方法如下:1、首先加入风险应用管控的图标是带感叹号的.2、然后在手机答主界面上,找到手机管家,点击即可进入.3、然后进入新的界面之后,找到并点击病毒查杀.4、然后进入新的界面,可以看到风险的良应用,点击该软件即可.5、最后出现提示,点击左侧的解除管控即可.

(编辑:自媒体)
关于我们 | 客户服务 | 服务条款 | 联系我们 | 免责声明 | 网站地图 @ 白云都 2024