国外餐饮店广告词

kaifangshideshijie，ziyouzhaomusanguoyingxiongjiaose，suishikaiqicijiduijue，ganshoubieyangsanguo。daliangdefuzhirenwujingguojingxinsheji，zaiwanchengsuoyoudeshiyanhou，jiaosejiangbeizhuanhuanchengxindejiaose。wangyoumenkeyisuishisuidizaixianjiaoliuzuixindemowanzixun。ruanjianyongyoudesuoyoutushuziyuanjingguoxitongfenleihou，yonghukeyigenjufenleigengjiandandizhaodaozijixihuandetushu。dongtaitupianchuangjian，dangnizaihuwaihuozaigegeweizhishi，ditutongchangshihuodongde。只(zhi)需(xu)3秒(miao)就(jiu)能(neng)偷(tou)走(zou)妳(ni)的(de)聲(sheng)音(yin)！微(wei)軟(ruan)發(fa)布(bu)語(yu)音合(he)成(cheng)模(mo)型(xing)VALL-E：網(wang)友(you)驚(jing)呼(hu)「電(dian)話(hua)詐(zha)騙(pian)」門(men)檻(kan)又(you)拉(la)低(di)了(le)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】微软新模型VALL-E實(shi)現(xian)地(di)表(biao)最(zui)強(qiang)zero-shot语音合成，剛(gang)開(kai)口(kou)声音就被(bei)偷了？

讓(rang)ChatGPT幫(bang)你寫(xie)劇(ju)本(ben)，Stable Diffusion生(sheng)成插(cha)圖(tu)，做(zuo)視(shi)頻(pin)就差(cha)個(ge)配(pei)音演(yan)員(yuan)了？它(ta)來(lai)了！

最近(jin)来自(zi)微软的研(yan)究(jiu)人(ren)员发布了壹(yi)个全(quan)新的文(wen)本到(dao)语音（text-to-speech, TTS）模型VALL-E，只需要(yao)提(ti)供(gong)三(san)秒的音频樣(yang)本即(ji)可(ke)模擬(ni)輸(shu)入(ru)人声，並(bing)根(gen)據(ju)输入文本合成出(chu)對(dui)應(ying)的音频，而(er)且(qie)還(hai)可以(yi)保(bao)持(chi)說(shuo)话者(zhe)的情(qing)感(gan)基(ji)調(tiao)。

論(lun)文鏈(lian)接(jie)：https://arxiv.org/abs/2301.02111

項(xiang)目(mu)链接：https://valle-demo.github.io/

代(dai)碼(ma)链接：https://github.com/microsoft/unilm

先(xian)看(kan)看效(xiao)果(guo)：假(jia)設(she)你有(you)了一段(duan)3秒鐘(zhong)的錄(lu)音。

然(ran)後(hou)只需要输入文本「Because we do not need it.」，即可獲(huo)得(de)合成的语音。

甚(shen)至(zhi)使(shi)用(yong)不(bu)同(tong)的隨(sui)機(ji)種(zhong)子(zi)，还能進(jin)行(xing)个性(xing)化(hua)的语音合成。

VALL-E还能保持说话人的環(huan)境(jing)声，比(bi)如(ru)输入這(zhe)段语音。

再(zai)根据文本「I think it's like you know um more convenient too.」，就能输出合成语音的同時(shi)保持环境声。

而且VALL-E也(ye)能保持说话人的情緒(xu)，比如输入一段憤(fen)怒(nu)的语音。

再根据文本「We have to reduce the number of plastic bags.」，同样可以表達(da)愤怒的情绪。

在(zai)项目网站(zhan)上(shang)还有更(geng)多(duo)的例(li)子。

從(cong)方(fang)法(fa)上具(ju)體(ti)来说，研究人员从现成的神(shen)經(jing)音频编解(jie)码器(qi)模型中(zhong)提取(qu)的離(li)散(san)编码来訓(xun)練(lian)语言(yan)模型VALL-E，并將(jiang)TTS视為(wei)一个條(tiao)件(jian)语言建(jian)模任(ren)務(wu)而非(fei)連(lian)續(xu)信(xin)號(hao)回(hui)歸(gui)。

在預(yu)训练階(jie)段，VALL-E接受(shou)的TTS训练數(shu)据达到了6萬(wan)小(xiao)时的英(ying)语语音，比现有系(xi)統(tong)用到的数据大(da)了幾(ji)百(bai)倍(bei)。

并且VALL-E还展(zhan)现出了语境學(xue)習(xi)（in-context learning）能力(li)，只需将unseen speaker的3秒註(zhu)冊(ce)录音作(zuo)为声音提示(shi)，即可合成高(gao)質(zhi)量(liang)的个性化语音。

实驗(yan)結(jie)果表明(ming)，VALL-E在语音自然度(du)和(he)说话人相(xiang)似(si)度方面(mian)明顯(xian)優(you)於(yu)最先进的zero-shot TTS系统，还可以在合成中保留(liu)说话人的情感和声音提示的声学环境。

Zero-shot语音合成

過(guo)去(qu)十(shi)年(nian)，通(tong)过神经网絡(luo)和端(duan)到端建模的发展，语音合成取得了巨(ju)大突(tu)破(po)。

但(dan)目前(qian)級(ji)聯(lian)的文本到语音（TTS）系统通常(chang)利(li)用具有声学模型的pipeline和使用mel譜(pu)图作为中間(jian)表示的声码器（vocoder）。

雖(sui)然一些(xie)高性能的TTS系统可以从單(dan)个或(huo)多个揚(yang)声器中合成高质量的语音，但它仍(reng)然需要来自录音室(shi)的高质量清(qing)潔(jie)数据，从互(hu)联网上抓(zhua)取的大規(gui)模数据無(wu)法滿(man)足(zu)数据要求(qiu)，而且會(hui)导致(zhi)模型的性能下(xia)降(jiang)。

由(you)于训练数据相对較(jiao)少(shao)，目前的TTS系统仍然存(cun)在泛(fan)化能力差的問(wen)題(ti)。

在zero-shot的任务设置(zhi)下，对于训练数据中沒(mei)有出现过的的说话人，相似度和语音自然度都(dou)会急(ji)剧下降。

为了解決(jue)zero-shot的TTS问题，现有的工(gong)作通常利用说话人適(shi)应（speaker adaption）和说话人编码（speaker encoding）等(deng)方法，需要額(e)外(wai)的微调，復(fu)雜(za)的预先设計(ji)的特(te)征(zheng)，或沈(chen)重(zhong)的结構(gou)工程(cheng)。

與(yu)其(qi)为这个问题设计一个复杂而特殊(shu)的网络，鑒(jian)于在文本合成領(ling)域(yu)的成功(gong)，研究人员認(ren)为最終(zhong)的解决方案(an)应當(dang)是(shi)盡(jin)可能地用大量不同的数据来训练模型。

VALL-E模型

在文本合成领域，来自互联网的大规模无標(biao)記(ji)数据直(zhi)接餵(wei)入模型，随著(zhe)训练数据量的增(zeng)加(jia)，模型性能也在不斷(duan)提高。

研究人员将这一思(si)路(lu)遷(qian)移(yi)到语音合成领域，VALL-E模型是第(di)一个基于语言模型的TTS框(kuang)架(jia)，利用海(hai)量的、多样化的、多speaker的语音数据。

为了合成个性化的语音，VALL-E模型根据3秒enrolled录音的声学token和音素(su)prompt来生成相应的声学token，这些信息(xi)可以限(xian)制(zhi)说话人和內(nei)容(rong)信息。

最后，生成的声学token被用来与相应的神经编解码器合成最终波(bo)形(xing)。

来自音频编解码器模型的离散声学token使得TTS可以被视为有条件的编解码器语言建模，所(suo)以一些先进的基于提示的大模型技(ji)術(shu)（如GPTs）就可以被用在TTS任务上了。

声学token还可以在推(tui)理(li)过程中使用不同的采(cai)样策(ce)略(lve)，在TTS中產(chan)生多样化的合成结果。

与以前的TTS训练数据集(ji)，如LibriTTS相比，论文中提供的新数据集包(bao)含(han)更多的噪(zao)声语音和不準(zhun)確(que)的轉(zhuan)录，但提供了不同的说话人和语体（prosodies）。

研究人员认为，文章(zhang)中提出的方法对噪声具有魯(lu)棒(bang)性，并可以利用大数据来实现良(liang)好(hao)的通用性。

值(zhi)得注意(yi)的是，现有的TTS系统總(zong)是用几十个小时的单语者数据或几百个小时的多语者数据进行训练，比VALL-E小几百倍以上。

总之(zhi)，VALL-E是一种全新的、用于TTS的语言模型方法，使用音频编解码代码作为中间表征，利用大量不同的数据，賦(fu)予(yu)模型强大的语境学习能力。

推理：In-Context Learning via Prompting

语境学习（in-context learning）是基于文本的语言模型的一个令(ling)人惊訝(ya)的能力，它能夠(gou)预測(ce)未(wei)見(jian)过的输入的标簽(qian)而不需要额外的參(can)数更新。

对于TTS来说，如果模型能够在不进行微调的情況(kuang)下为未见过的说话者合成高质量的语音，那(na)麽(me)該(gai)模型就被认为具有语境中学习能力。

然而，现有的TTS系统的语境中学习能力并不强，因(yin)为它們(men)要么需要额外的微调，要么对未见过的说话者来说会有很(hen)大的退(tui)化。

对于语言模型来说，prompting是必(bi)要的，以便(bian)在zero-shot的情况下实现语境学习。

研究人员设计的提示和推理如下：

首(shou)先将文本转換(huan)为音素序(xu)列(lie)，并将enrolled录音编码为声学矩(ju)陣(zhen)，形成音素提示和声学提示，这兩(liang)种提示都用于AR和NAR模型中。

对于AR模型，使用以提示为条件的基于采样的解码，因为beam search可能导致LM进入无限循(xun)环；此(ci)外，基于抽(chou)样的方法可以大大增加输出的多样性。

对于NAR模型，使用貪(tan)婪(lan)解码来選(xuan)擇(ze)具有最高概(gai)率(lv)的token。

最后，使用神经编解码器来生成以八(ba)个编码序列为条件的波形。

声学提示可能与要合成的语音之间不一定(ding)存在语義(yi)關(guan)系，所以可以分(fen)为两种情况：

VALL-E：主(zhu)要目标是为未见过的说话者生成給(gei)定的内容。

该模型的输入为一个文本句(ju)子、一段enrolled语音及(ji)其相应的转录。将enrolled语音的转录音素作为音素提示添(tian)加到给定句子的音素序列中，并使用注册语音的第一層(ceng)声学token作为声学前綴(zhui)。有了音素提示和声学前缀，VALL-E为给定的文本生成声学token，克(ke)隆(long)这个说话人的声音。

VALL-E-continual：使用整(zheng)个转录和话语的前3秒分別(bie)作为音素和声学提示，并要求模型生成连续的内容。

推理过程与设置VALL-E相同，只是enrolled语音和生成的语音在语义上是连续的。

实验部(bu)分

研究人员在LibriSpeech和VCTK数据集上評(ping)估(gu)了VALL-E，其中所有测試(shi)的说话人在训练语料(liao)庫(ku)中都没有出现过。

VALL-E在语音自然度和说话人相似度方面明显优于最先进的zero-shot TTS系统，在LibriSpeech上有+0.12的比较平(ping)均(jun)选项得分（CMOS）和+0.93的相似度平均选项得分（SMOS）。

VALL-E在VCTK上也以+0.11 SMOS和+0.23 CMOS的性能改(gai)进超(chao)越(yue)了基線(xian)系统，甚至达到了針(zhen)对ground truth的+0.04CMOS得分，表明在VCTK上，未见过的说话者的合成语音与人類(lei)录音一样自然。

实验中还可以发现，VALL-E能够保持声音环境（如混(hun)響(xiang)）和声音提示的情绪（如愤怒等）。

安(an)全隱(yin)患(huan)

强大的技术如果被亂(luan)用，就可能对社(she)会造(zao)成危(wei)害(hai)，比如电话诈骗的门槛又被拉低了！

由于VALL-E具有潛(qian)在的惡(e)作剧和欺(qi)骗的能力，微软并没有开放(fang)VALL-E的代码或接口以供测试。

有网友分享(xiang)道：如果你给系统管(guan)理员打(da)电话，录下他(ta)们说「你好」的几句话，然后根据这几句话重新合成语音「 你好，我(wo)是系统管理员。我的声音是唯(wei)一标識(shi)，可以进行安全验證(zheng)。」我之前一直认为这是不可能的，你不可能用那么少的数据来完(wan)成这个任务。现在看来，我可能錯(cuo)了......

在项目最后的道德(de)声明（Ethics Statement）中，研究人员表示「本文的实验是在模型使用者为目标说话人并得到说话人认可的假设下进行的。然而，当该模型推廣(guang)到看不见的说话人时，相关部分应该伴(ban)有语音编辑模型，包括(kuo)保证说话人同意執(zhi)行修(xiu)改的協(xie)議(yi)和檢(jian)测被编辑语音的系统。」

为了降低这种風(feng)險(xian)，可以建立(li)一个检测模型来區(qu)分音频剪(jian)辑是否(fou)由 VALL-E 合成。在进一步(bu)开发这些模型时，我们还将把(ba)微软人工智能原(yuan)則(ze)付(fu)諸(zhu)实踐(jian)。

参考(kao)資(zi)料：

https://arxiv.org/abs/2301.02111返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：