硬件产品tvc广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>AI配(pei)樂(le)？還(hai)是(shi)登(deng)頂(ding)會(hui)的(de)那(na)種(zhong)！｜Interspeech 2022

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】今(jin)天(tian) ，語(yu)音(yin)研(yan)究(jiu)領(ling)域(yu)最(zui)大(da)、最全(quan)面(mian)的國(guo)際(ji)學(xue)術(shu)会議(yi)Interspeech 2022，即(ji)將(jiang)圓(yuan)滿(man)落(luo)幕(mu)。

在(zai)有(you)聲(sheng)小(xiao)說(shuo)中(zhong)，適(shi)宜(yi)的背(bei)景(jing)音乐可(ke)以(yi)大幅(fu)提(ti)升(sheng)聽(ting)感(gan)，增(zeng)強(qiang)用(yong)戶(hu)的沈(chen)浸(jin)式(shi)體(ti)驗(yan)。

近(jin)期(qi)，火(huo)山(shan)语音（字(zi)節(jie)跳(tiao)動(dong) AI Lab 智能(neng)语音與(yu)音頻(pin)團(tuan)隊(dui)）提出(chu)了(le)基(ji)於(yu)篇(pian)章(zhang)級(ji)情(qing)节理(li)解(jie)的有声小说配乐系(xi)統(tong)，能夠(gou)自(zi)动化(hua)地(di)挑(tiao)選(xuan)並(bing)組(zu)合(he)出貼(tie)合文(wen)章情节、烘(hong)托(tuo)感情氛(fen)圍(wei)的背景音乐，同(tong)時(shi)与语音合成(cheng)的有声小说音频進(jin)行(xing)精(jing)準(zhun)的时間(jian)戳(chuo)對(dui)齊(qi)和(he)混(hun)音，極(ji)大节省(sheng)了後(hou)期配乐的人(ren)力(li)投(tou)入(ru)。該(gai)項(xiang)成果(guo)已(yi)入选Interspeech2022。

Interspeech是国际语音通(tong)信(xin)協(xie)会ISCA组織(zhi)的语音研究领域顶级会议之(zhi)壹(yi)，也(ye)被(bei)稱(cheng)為(wei)全球(qiu)最大的綜(zong)合性(xing)语音信號(hao)處(chu)理盛(sheng)会，在世(shi)界(jie)範(fan)围內(nei)享(xiang)有极高(gao)声譽(yu)，并受(shou)到(dao)全球各(ge)地语言(yan)领域人士(shi)的廣(guang)泛(fan)關(guan)註(zhu)。

此(ci)次(ci)，火山语音团队共(gong)有七(qi)篇論(lun)文成功(gong)入选，内容(rong)涵(han)蓋(gai)音频合成、音频理解等(deng)多(duo)個(ge)技(ji)术方(fang)向(xiang)的突(tu)破(po)。

音频合成方向

針(zhen)对语音合成有声書(shu)的自动化配乐系统

An Automatic Soundtracking System for Text-to-Speech Audiobooks

具(ju)体來(lai)说，该系统可以分(fen)为情节劃(hua)分(Plot Partition)、情节分類(lei)(Plot Classification) 和 音乐选擇(ze)(Novel Selection) 三(san)个部(bu)分。

前(qian)兩(liang)部分主(zhu)要(yao)通過(guo)NLP技术實(shi)現(xian)了篇章级语意(yi)理解，能够自动将小说文本(ben)进行片(pian)段(duan)式的情节划分，做(zuo)到預(yu)測(ce)多達(da)十(shi)二(er)类的情节；第(di)三部分則(ze)实现了基于语意及(ji)小说音频長(chang)度(du)的啟(qi)發(fa)式規(gui)则，自动化地從(cong)音乐庫(ku)中选择合适的音乐片段并与小说音频进行自动混音。

该系统在与人工(gong)配乐的对比(bi)实验中，目(mu)前的合格(ge)率(lv)已追(zhui)平(ping)人工水(shui)平（均(jun)为88.75%）；優(you)秀(xiu)率也高达45%，但(dan)对比人工 52.5%的數(shu)據(ju)指(zhi)標(biao)还略(lve)有差(cha)距(ju)。

有声小说自动化配乐系统框(kuang)架(jia)

在语音合成有声小说的場(chang)景和業(ye)務(wu)中，自动化精配背景音乐的加(jia)入不(bu)僅(jin)能够大幅度提升用户的听覺(jiao)感受和代(dai)入感，还极大降(jiang)低(di)了音频后期的人力投入成本。

目前，自动化精配背景音乐已經(jing)在番(fan)茄(qie)小说等业务中開(kai)始(shi)應(ying)用。

一种借(jie)助(zhu)声学參(can)考(kao)特(te)征(zheng)和对比学習(xi)的高品(pin)質(zhi)歌(ge)唱(chang)轉(zhuan)換(huan)方法(fa)

Towards High-Fidelity Singing Voice Conversion with Acoustic Reference amd Contrastive Predictive Coding

近年(nian)来伴(ban)隨(sui)语音后验概(gai)率（Phonetic Posterior Grams，PPG）特征的广泛使(shi)用，语音转换效(xiao)果取(qu)得(de)了顯(xian)著(zhu)提升，但PPG特征在声学信息(xi)上(shang)的缺(que)失(shi)导致(zhi)了在風(feng)格和自然(ran)度方面的转换效果并不盡(jin)如(ru)人意，尤(you)其(qi)对于「歌唱」這(zhe)种对声学表(biao)现力极高要求(qiu)的场景。

基于上述(shu)考量(liang)，本篇论文在端(duan)到端歌唱转换模(mo)型(xing)的基礎(chu)上，一方面嘗(chang)試(shi)使用了梅(mei)爾(er)譜(pu)、無(wu)監(jian)督(du)声学表征和语音識(shi)別(bie)模型中间層(ceng)表征等多种附(fu)加特征来補(bu)足(zu)歌唱转换模型对声学信息的需(xu)求，同时確(que)保(bao)音色(se)效果不受影(ying)響(xiang)，最終(zhong)通过对比明(ming)确了无监督声学表征的效果优勢(shi)。

另(ling)一方面，针对转换模型的编碼(ma)器(qi)輸(shu)出結(jie)果，团队选择增加一个对比预测编码（Contrastive Predictive Coding，CPC）模塊(kuai)以提高编码结果的連(lian)貫(guan)性，增强模型对声学信息的建(jian)模能力。

通过与基础模型的主觀(guan)評(ping)测对比，团队提出的优化方案(an)獲(huo)得了明显收(shou)益(yi)，主观评测MOS分提升了0.18；同时该方法也被證(zheng)明可以提升语音音色的歌唱能力，音准客(ke)观指标提升了6%，达到較(jiao)好的跨(kua)域转换效果。

结合附加声学特征和CPC模块的歌唱转换系统框架

如今语音转换和歌唱转换已在視(shi)频和歌曲(qu)創(chuang)作(zuo)方面有相(xiang)关的应用，而(er)论文提出的方法可以进一步(bu)提升直(zhi)播(bo)场景以及视频创作中的语音转换和歌唱转换的自然度，提升用户体验的同时降低创作門(men)檻(kan)。

音频理解方向

结合对話(hua)上下(xia)文的流(liu)式 RNN-T 语音识别

Bring Dialogue-Context into RNN-T for Streaming ASR

日(ri)常(chang)生(sheng)活(huo)中，人們(men)说出的语音内容通常与所(suo)处的上下文（context）相关，而在对话任(ren)务中，憑(ping)借歷(li)史(shi)輪(lun)次的对话文本所包(bao)含(han)的与當(dang)前句(ju)有关的信息，可以提升语音识别效果。

基于此，该论文提出将对话历史作为 context 输入到流式RNN-T模型中，總(zong)结出幾(ji)种不同的引(yin)入对话历史的方法和訓(xun)練(lian)策(ce)略，最终获得了比單(dan)句 ASR 提升5%+的识别效果。

（a）基础 RNN-T 结構(gou) （b）引入对话历史到 predictor 的结构 （c）引入对话历史到 encoder 的结构

首(shou)先(xian)针对 RNN-T的结构特點(dian)，论文提出将对话历史更(geng)早(zao)地引入到 RNN-T 的 predictor（上圖(tu)(b)） 和 encoder（上图(c)），从而可以更充(chong)分地将对话历史信息融(rong)入到 RNN-T 模型中。

其次论文提出了两种训练策略：有/无对话历史输入模型的聯(lian)合训练（joint training）和对话历史添(tian)加随機(ji)擾(rao)动（context perturbation）。

Joint training 策略降低了模型在对话历史缺失情況(kuang)下的性能損(sun)失，而 context perturbation 则解決(jue)了对话历史含有的识别錯(cuo)誤(wu)对 context-aware ASR 模型的幹(gan)扰。

最后论文通过在神(shen)经網(wang)絡(luo)语言模型（neural network language model，NNLM）中引入对话历史，来获得更好的语言模型，并用于 beam-search 解码，进一步提升识别效果。

在 Switchboard-2000h 的公(gong)开数据中，采(cai)用论文方法引入对话历史，将基于RNN-T的语音识别系统的性能在两个测试集(ji)上相对提升了4.8% / 6.0%（无语言模型的情况下） 和 10.6% / 7.8%（有语言模型的情况下）。

基于连續(xu)整(zheng)合发放(fang)机制(zhi)的融合说话人差異(yi)和语音内容的字级别说话人转换点檢(jian)测

Token-level Speaker Change Detection Using Speaker Difference and Speech

Content via Continuous Integrate-and-Fire

说话人转换点检测（Speaker Change Detection, SCD）任务常常作为说话人分聚(ju)类子(zi)任务或(huo)者(zhe)语音识别（Automatic Speech Recognition，ASR）模型的前端模块被研究者人員(yuan)所了解。

目前该领域提出的大部分解决方案都(dou)只(zhi)应用了说话人特征的差异，而忽(hu)略了语音内容可以在SCD任务中发揮(hui)作用这一方向。

基于此，火山语音团队提出一种综合考慮(lv)「说话人差异」与「语音内容」两條(tiao)線(xian)索(suo)的说话人转换点检测方法，主要通过连续整合发放机制（Continuous Integrate-and-fire，CIF）来达成。

目前该方式能够获取到字级别的说话人差异和语音内容，在同樣(yang)的表示(shi)粒(li)度上融合了两部分线索之后，就(jiu)可以在字的声学邊(bian)界处成功进行说话人转换点的判(pan)斷(duan)。

基于 CIF 的融合两条线索的字级别说话人转换点检测方案

在真(zhen)实錄(lu)制的会议数据集AISHELL-4上，基于该方法提出的方案相比于目前比较有競(jing)爭(zheng)力的基线方法，获得了絕(jue)对2.45%的等純(chun)度覆(fu)盖度（Equal Purity Coverage，EPC）提升。

同时也通过实验证明「说话人差异」与「语音内容」都能作为说话人转换点判断的线索使用，而且(qie)同时使用两条线索才(cai)是目前最优的方案。此外(wai)，该方法所提出的在字符(fu)的声学边界处进行说话人转换点检测，相比于逐(zhu)幀(zhen)进行检测更具优势，做到直接(jie)处理多说话人的语音并输出字序(xu)列(lie)以及说话人转换的位(wei)置(zhi)。应用场景上，适用于多人参与且快(kuai)速(su)交(jiao)替(ti)对话的场景，例(li)如会议等语音场景。

注意机制编解码器端到端语音识别模型中基于上下文矢(shi)量学习的内部语言模型估(gu)計(ji)

Internal Language Model Estimation Through Explicit Context Vector Learning for Attention-based Encoder-Decoder ASR

论文地址(zhi)： https://arxiv.org/abs/2201.11627

目前，端到端语音识别模型建模已经成为语音界主流建模方法，其显著优点在于建模操(cao)作簡(jian)单、所建模型性能突出且致密(mi)，即无需对字典(dian)、声学模型和语言模型单獨(du)建模，而是将三者合而为一。换言之，端到端语音识别模型既(ji)具有声学模型功能，又(you)具有语言模型功能。

但这种致密性在一定(ding)条件(jian)下会給(gei)模型的适用性和靈(ling)活性帶(dai)来不利(li)影响。譬(pi)如端到端识别模型和语言模型之间的融合不再(zai)满足傳(chuan)统的貝(bei)葉(ye)斯(si)后验概率原(yuan)理，而是一个后验概率和条件概率的相加。

当具備(bei)这样的条件，如更多的文本语料(liao)以及将模型自适应到某(mou)一特定领域识别的时候(hou)，传统的端到端识别模型和语言模型的融合只能带来次优的结果，使模型优越(yue)性不能得到充分发挥。

对于此，论文基于贝叶斯后验概率原理，将端到端估计的后验概率拆(chai)解成似(si)然概率和「内部语言模型」概率乘(cheng)積(ji)形(xing)式，目标是更好地估计「内部语言模型」，从而讓(rang)模型更高效地与外部语言模型融合，进而提出两个「内部语言模型」的估计方法，分别是一次性靜(jing)態(tai)上下文矢量学习方法以及基于輕(qing)量级神经网络动态上下文矢量学习方法，两种估计方法无需任何(he)額(e)外假(jia)設(she)，在多种语料以及多种環(huan)境(jing)下验证了提出方法的有效性。

在跨域条件下相对传统的语言模型融合方法，我(wo)们提出的方法能取得19.05% 相对正(zheng)向收益；在域内条件下，新方法也能取得7.4%的正向收益。

使用原始序列流利度特征提升口(kou)语流利度打(da)分性能

Using Fluency Representation Learned from Sequential Raw Features for Improving Non-native Fluency Scoring

对于英(ying)语口语学习者而言，除(chu)了发音标准之外，流利程(cheng)度也可以在某种程度上反(fan)映(ying)学习者的英语水平。

作为评價(jia)学习者英语能力的重(zhong)要維(wei)度之一，口语流利度主要反映了学习者发音语速的快慢(man)以及是否(fou)出现异常停(ting)頓(dun)等发音现象(xiang)。

对此火山语音团队提出了一种基于原始序列特征的英语口语流利度建模方法，利用原始序列特征来替换传统的手(shou)工设计特征，如语速，停顿次数等，即在音素(su)层级提取出音素时长以及声学特征并对其进行建模；此外还将静音作为一种特殊(shu)音素，用于表征詞(ci)和词之间的停顿现象。

a. 原始序列特征提取 b. 流利度建模

这种基于原始特征序列建模方法超(chao)过了领域内其他(ta)方案, 在机器预测结果和人类專(zhuan)家(jia)打分之间相关性达了0.817，接近专家和专家之间的相关性 0.831。

该方案将原始时长、停顿和声学信息融合到一个序列建模框架中，让机器自动去(qu)学习和任务相关的流利度特征，更好用于流利度打分。

应用场景方面，该方法可被应用于有流利度自动评估的需求场景中，例如口语考试以及各种在线口语练习等。

基于多任务和遷(qian)移(yi)学习方法的MOS自动打分

A Multi-Task and Transfer Learning based Approach for MOS Prediction

语音质量是反映语音合成(Text-To-Speech, TTS)、语音转换(Voice Conversion, VC)等系统性能的主要指标；而MOS(Mean Opinion Score)则是标注人员对合成音频进行听力测试后，针对该音频的语音质量进行的主观评价分数。

在Interspeech 2022语音质量打分挑戰(zhan)(VoiceMOS)中，火山语音团队在主领域賽(sai)道斬(zhan)获第四(si)名(ming)。

针对两种领域赛道，火山语音团队提出了一种多任务学习方法，利用较多的主领域数据来协助子领域部分模块训练，同时将自动语音识别(Automatic Speech Recognition, ASR)的知(zhi)识迁移到MOS打分任务。

在wav2vec2.0上构建ASR系统，然后将系统wav2vec2.0部分作为MOS打分模型的编码器，通过两种不同领域的解码器来对不同领域的数据进行MOS评分。

多任务的MOS打分结构

针对不同语音转换(VC)系统的合成音频打分任务，上述方案在主领域测试集上，SRCC指标和该比赛中最好的方案相差0.3%；在子领域测试集上，SRCC指标与该比赛中最好的方案相差0.2%。

MOS自动打分的目标是利用机器对合成音频自动打分来替换掉(diao)标注人员的人工评分，节約(yue)大量人力物(wu)力，达到省时省錢(qian)的效果，这对于推(tui)进语音合成(TTS)和语音转换(VC)的技术发展(zhan)具有重要意義(yi)。

火山语音，字节跳动AI Lab Speech&Audio 智能语音与音频团队，长期以来面向抖(dou)音、剪(jian)映、番茄小说、飛(fei)书等业务提供(gong)领先的AI语音技术能力及全棧(zhan)產(chan)品解决方案，并通过火山引擎(qing)向外部企(qi)业开放技术服(fu)务。

参考資(zi)料：

https://www.interspeech2022.org/返(fan)回(hui)搜(sou)狐(hu)，查(zha)看(kan)更多

責(ze)任编辑：