【随便写写的音频专栏】六、简单的AI语音合成混音案例分析
2023-08-02 23:07:56 来源: 哔哩哔哩
前言
在看这篇之前,希望你已经看过前面的几篇内容,了解基本的操作,但并不需要你了解的特别深入,你可以通过之后的一些案例来进一步学习。此次分析的工程是我之前做的一个简单的AI语音合成视频。需要注意的是:AI合成的语音与传统的人声干声的混音略有不同,下面会提及。链接如下:
/video/BV1JX4y1s7dx
(资料图)
一、AI合成与假立体声(选看)
单声道、双声道和全景声是什么:
对声音的体积感的探索由来已久,最早可以追寻至文艺复兴时期,威尼斯乐派通过在建筑内将合唱团分为左右两组,从而借助建筑的回声达到立体声的效果。在此之前的演出均是将合唱团安排在正中间,其声音的立体感便大打折扣。
而对于现代的回放设备,同样经历了一个由单声道到双声道,最后发展出了现在的全景声。我想你应该已经理解了单声道和双声道的意思,单声道即只有一个声音在正中间播放,双声道即有两个声音在左右大概各30度的位置播放。
在这一基础上继续发展,便有了、等声道的360度环绕声,以及最低声道标准的全景声。这里的小数点表达的是分割符的意思,并不是小数,指的是音箱数量,即环绕一圈的5只音箱和1个低音音箱构成的环绕声系统,即环绕一圈的7只音箱和1只低音音箱和头顶的2只音箱构成的全景声系统。
近几年,厂家开始推出全景声制作的相关插件、渲染器,使全景声混音真正可行性,并且因为苹果对于空间音频的推广,在国外全景声混音作品日益增加。但遗憾的是,全景声在目前国内的市场认可度并不高,国内相当多的混音师对全景声技术也并不感冒,所以你甚至很难在网络上找到全景声混音的相关内容。
假立体声是什么:
前面提到立体声是由双声道构建的,但并不是双声道就一定会有很强的立体感。用两个单声道的音频同样可以做成立体感,这就是被称为假立体声的手法。其声学原理在于:信号差,即左右声道的信号差越大,立体感越强。
也就是说,基于这个原理,将两轨单声道音频稍微各往左右打一点,然后扩大两者之间的信号差即可,这也是几乎所有的image声像类效果器的基本原理。
给AI语音合成的一些建议(选看):
在这个视频中,我使用的是称为RVC变声器的技术,它可以加载人声音色,再通过给它的人声干声推理出新的人声音频。
干声提取与处理:
我使用的是UVR5来提取人声,但提取出的人声不能直接使用,因为仍然会混有很大的混响,会影响AI模型的推理。所以需要使用去混响插件,此外我还用EQ做了高切(保证人声的主要频率范围完整即可),并且用门限器去除产生的杂音。据我实践得出的结论,对于很多AI模型而言,干音的高频会极大的干扰其推理的效果,但高切后推理出的音频并不会缺失高频。
假立体声:
用AI合成出来的音频为单声道,而推理过程会需要提供一些参数,所以提供微调这些参数,就可以得到两个天然存在信号差的单声道音频。然后通过调整其声像,就可以得到立体感十足的声音了。
这个做法目前看来应该是b站首发,并不是说假立体声是什么新鲜的手法,而是指的我所见过的绝大多数AI语音合成作品,其声音都是中置的单声道而缺乏立体感。
值得一提的是,立体感以及声音的宽度并非越大越好,你当然可以通过调整伴奏,来为人声让出更多的空间。但是最重要的是人声要和伴奏契合。
二、手术EQ与clip gain(必看)
希望你已经看到eq扫频和自动化的内容了。clip gain则是对音频本身的音量包络线进行处理,控制音量不要忽高忽低,更好进入地压缩。值得一提的是,这种做法调整的音量会经过该轨道所有的效果器,而自动化是在经过了效果器后再调整音量。
对声音中不好听的频段,可以通过扫频的方式确定并衰减它,这就是常说的手术eq,因为就像是在做一些精细的摘除手术一样。很多多段的eq插件也是做这个用的,因为往往会有多个频段需要去调整,一般三、四段eq就足够了。
三、伴奏的人声让位(必看)
人声让位在这类混音中可以说是最重要的手法了。有多种方式可以让伴奏为人声空出位置,比如在时间、响度、频率上,你可以对伴奏在人声的重要频率上进行衰减(可以通过侧链再用eq match的功能快速寻找到这些频段),也可以通过侧链压缩的方式在时间和响度上对人声进行避让。
四、人声eq与压缩(必看)
传统做法通常会先用eq,再用压缩,因为你在eq中改变的虽然是某个频段的音量,但还是会影响整体输出的音量大小,所以接下来用压缩控制音量就显得是一件十分自然的事情。但实际上在数字时代,daw完全可以先压缩再用eq,虽然这并不常用。
五、总线的处理(选看)
虽然这个视频并没有在总线做什么,但其实可以在总线上稍微做一下eq和染色等,比如前一个视频当中,我在总线上加了一个磁带模拟的效果器。
对于这类视频,在调整好伴奏和人声的比例后,可以通过限幅器将响度提升至-14lufs。当然也可以略大一些,但我一般并不建议上次b站的视频响度超过-10lufs。
封面来源:重返未来1999
标签:
为您推荐
精彩放送
热门文章
精彩图片
热文
-
美媒:美国下周或宣布更多对乌克兰军事支持
-
钧达股份:公司TOPCon电池产品市占率持续提升
-
崇信:贝贝小南瓜绘就增收大“丰”景
-
灵台:特色养殖拓宽群众致富路
-
唯有碎银几两,可解万千惆怅
-
天下3风中追风是秦奋吗(风中追风天下三)
-
河北张家口:“云端假期”也精彩
-
湖北检察机关依法对李铁涉嫌受贿、行贿、单位行贿、非国家工作人员受贿、对非国家工作人员行贿案提起公诉
-
2023年07月中国农产品(玉米、大豆)供需形势分析
-
俄媒:卢卡申科称,计划中一半以上俄战术核武已交付并分散在白俄各地
-
特朗普再遭刑事指控,美媒:小特朗普发声提到数次指控时机“可疑”
-
多瑙河港口伊兹梅尔夜间遇袭,泽连斯基:乌南部爆炸造成严重破坏
-
菲律宾失联飞机确认坠毁 机上2人遇难
-
韩国本月将面向全民开展空袭民防演习,系六年来首次
-
四川女生考上中国科学院大学,幽默答问逗乐网友 对话本人:心态要好,报生物是因喜欢
-
李梦分享美国幸福生活 张隆前妻最新发声:孩子看到不雅照已不认爸爸
-
华亭:撂荒地治理唤醒“沉睡”土地
-
玉门:麦后复种 稳产增效促增收
-
肃北:抢抓时令发展“美丽经济”
-
徽县:试种洋葱喜获丰收
-
瓜州:草畜产业绘丰景 乡村振兴走“牛”路
-
强军之路丨成为一个兵
-
大庆石化丁二烯系统微量氧分析仪中标结果公告
-
惜哉挂鞭树
-
财政部发布进一步支持小微企业和个体工商户发展有关税费政策
-
猪价飙升!冲入9元,猪价涨幅后续或将有限?
-
猪价上涨是触底反弹还是昙花一现? 朱增勇:下半年猪价上涨空间和速度相对有限
-
08月02日:全国农产品批发市场猪肉平均价格为21.40元/公斤
-
多地猪价冲破年内新高,后续如何?发改委定调!
-
澳大利亚一前保育员被控性虐待91名儿童,涉超1600项罪行
-
西班牙中部一住宅楼发生爆炸 造成至少1死12伤
-
快讯!外媒:俄无人机袭击对乌多瑙河港口伊兹梅尔造成“严重”破坏
-
一小型水上飞机在俄罗斯克拉斯诺亚尔斯克边疆区坠毁 致2人死亡
-
美国阿拉斯加州一儿童玩耍时用枪打死玩伴
-
晶核全技能详细讲解 全技能玩法攻略介绍
-
专家学者齐聚金城 共话人文地理学转型发展
-
【陇拍客】多彩活动欢庆肃南裕固族自治县成立69周年
-
暑假期间兰州市博物馆延长开放时间
-
微海报|14张海报带你“数”览上半年甘肃省各市州经济“成绩单”→
-
【陇拍客】全景展现甘谷大像山景区:旖旎风光 风景如画
-
2024年12月28号出生彭姓宝宝取名叫什么生辰八字五行查询
-
暑期旅行趋势洞察: “跟着唐诗去旅行”成亲子游热门选项
-
汽车零部件无尘生产加工车间
-
两部门:对月销售额10万元以下增值税小规模纳税人 免征增值税
-
本科第二批次录取院校B段网上征集志愿预通知
-
08月02日猪评:持续上涨!局部破9,集团拉涨明显,要涨疯了?
-
加拿大要求社交平台向媒体支付内容费用,Meta:将删除旗下平台上的新闻
-
泽连斯基:乌克兰夜间遭袭 基础设施被破坏
-
俄罗斯西伯利亚中北部发生5.1级地震
-
日本高滨核电站1号机组开始发电送电