经济广告文案例子

neirongshifeichangdefengfua，henduozhongleidedaojurangzhegeshijiebiandegengjiadeyouqu；·zaicaozuozouweishangwanmeifukejingdianDOTA，zouweifangfengzheng，shunjianmiaoshadiren；kuaijiefenxiang：yijianfenxiangzhigedashejiaopingtai，yuqinpenghaoyougongxiangzijidejiazuo～yigezhuanmendezhuanyehuadejiaoliudetaolundeguanliguganfuwupingtai；yuquanguoqiyexinyongxinxigongshixitongtongbugengxin，tigongfadingdaibiaorenzhucezibentongyishehuixinyongdaimagongsidizhidenggongshangxinxi壹(yi)個(ge)模(mo)型(xing)解(jie)決(jue)兩(liang)種(zhong)模態(tai)，谷(gu)歌(ge)AudioPaLM一統(tong)「文(wen)本(ben)+音(yin)頻(pin)」：能(neng)說(shuo)還(hai)能聽(ting)的(de)大(da)模型

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】一个模型處(chu)理(li)多(duo)模态，谷歌用(yong)AudioPaLM給(gei)出(chu)答(da)案(an)。

大型語(yu)言(yan)模型以(yi)其(qi)強(qiang)大的性(xing)能及(ji)通(tong)用性，帶(dai)動(dong)了(le)一批(pi)多模态的大模型開(kai)發(fa)，如(ru)音频、視(shi)频等(deng)。

语言模型的底(di)層(ceng)架(jia)構(gou)大多是(shi)基(ji)於(yu)Transformer，且(qie)以解碼(ma)器(qi)為(wei)主(zhu)，所(suo)以無(wu)需(xu)過(guo)多調(tiao)整(zheng)模型架构即(ji)可(ke)適(shi)應(ying)其他(ta)序(xu)列(lie)模态。

最(zui)近(jin)，谷歌发布(bu)了一个统一的语音-文本模型AudioPaLM，將(jiang)文本和(he)音频的token合(he)並(bing)为一个多模态聯(lian)合詞(ci)匯(hui)表(biao)，再(zai)結(jie)合不(bu)同(tong)任(ren)務(wu)描(miao)述(shu)標(biao)記(ji)，可以實(shi)現(xian)在(zai)任意(yi)语音和文本的混(hun)合任务上(shang)訓(xun)練(lian)decoder-only模型，包(bao)括(kuo)语音識(shi)別(bie)（ASR）、文本到(dao)语音合成(cheng)、自(zi)动语音翻(fan)譯(yi)（AST）和语音到语音翻译（S2ST）等，将傳(chuan)统上由(you)異(yi)質(zhi)模型解决的任务统一到一个架构和训练流(liu)程(cheng)中(zhong)。

論(lun)文鏈(lian)接(jie)：https://arxiv.org/pdf/2306.12925.pdf

示(shi)例(li)链接：https://google-research.github.io/seanet/audiopalm/examples/

此(ci)外(wai)，由于AudioPaLM的底层架构是一个大型的Transformer模型，可以用對(dui)文本進(jin)行(xing)預(yu)训练的大型语言模型的權(quan)重(zhong)來(lai)初(chu)始(shi)化(hua)，可以從(cong)PaLM等模型的语言學(xue)知(zhi)识中受(shou)益(yi)。

已(yi)關(guan)註(zhu)

关注

重播(bo)分(fen)享(xiang)贊(zan)

关閉(bi)

觀(guan)看(kan)更(geng)多

更多

正(zheng)在加(jia)載(zai)

正在加载

退(tui)出全(quan)屏(ping)

视频加载失(shi)敗(bai)，請(qing)刷(shua)新頁(ye)面(mian)再試(shi)

刷新

视频詳(xiang)情(qing)

从实现效(xiao)果(guo)来看，AudioPaLM在AST和S2ST基準(zhun)上取(qu)得(de)了最先(xian)进的结果，并且在ASR基准上的性能也(ye)和其他模型不相(xiang)上下(xia)。

通过利(li)用AudioLM的音频提(ti)示，AudioPaLM模型能夠(gou)对新的说話(hua)人(ren)语音遷(qian)移(yi)来執(zhi)行S2ST，在语音质量(liang)和语音保(bao)存(cun)方(fang)面超(chao)过了现有(you)的方法(fa)。

AudioPaLM模型也具(ju)有zero-shot的能力(li)，可以对训练中未(wei)見(jian)过的语音輸(shu)入(ru)/目(mu)标语言組(zu)合执行AST任务。

AudioPaLM

研(yan)究(jiu)人員(yuan)使(shi)用一个decoder-only Transformer模型对文本和语音的token进行建(jian)模，其中文本和音频在输入到模型之(zhi)間(jian)已經(jing)进行分词，所以输入只(zhi)是一个整數(shu)序列，在输出端(duan)再进行反(fan)分词（detokenized）操(cao)作(zuo)返(fan)回(hui)给用戶(hu)。

音频embedding及分词

将音频的原(yuan)始波(bo)形(xing)轉(zhuan)換(huan)为token的过程中，包括从现有的语音表征(zheng)模型中抽(chou)取为嵌(qian)入（embedding），并将嵌入離(li)散(san)为一组有限(xian)的音频token

之前(qian)的工(gong)作中从w2v-BERT模型中提取嵌入，并通过k-means将其量化，而(er)這(zhe)篇(pian)论文中，研究人员试驗(yan)了三(san)种方案：

w2v-BERT：使用在多语言数據(ju)上训练的w2v-BERT模型，而非(fei)純(chun)英(ying)语；并且在进行k-means聚(ju)類(lei)之前沒(mei)有进行歸(gui)一化处理，否(fou)則(ze)會(hui)导致(zhi)在多语言環(huan)境(jing)中性能下降(jiang)。然(ran)後(hou)以25Hz的速(su)率(lv)生(sheng)成token，词表大小(xiao)为1024

USM-v1：使用性能更强的、20億(yi)參(can)数的通用语音模型（USM）编码器执行类似(si)的操作，并从中间层提取嵌入；

USM-v2：用輔(fu)助(zhu)ASR損(sun)失来训练，并进一步(bu)微(wei)调以支(zhi)持(chi)多语言。

修(xiu)改(gai)text-only解码器

在Transfomrer解码器结构中，除(chu)了输入和最后的softmax输出层外，都(dou)不涉(she)及到建模token的数量，并且在PaLM架构中，输入和输出矩(ju)陣(zhen)的权重變(bian)量時(shi)共(gong)享的，即互(hu)为转置(zhi)。

所以只需要(yao)将嵌入矩阵的大小从（t × m）擴(kuo)展(zhan)到（t+a）×m即可把(ba)一个纯文本模型变成一个既(ji)能模擬(ni)文本又(you)能模拟音频的模型，其中t是文本词表的大小，a是音频词表的大小，m是嵌入維(wei)度(du)。

为了利用预训练的文本模型，研究人员通过在嵌入矩阵中添(tian)加新的行来改变现有模型的checkpoint。

具體(ti)的实现为，前t个token对应于SentencePiece文本标记，后面a个token代(dai)表音频标记，雖(sui)然文本嵌入式(shi)復(fu)用的预训练权重，但(dan)音频嵌入是全新初始化的，必(bi)須(xu)进行训练。

实验结果顯(xian)示，與(yu)从頭(tou)重新训练相比(bi)，基于文本预训练模型对语音和文本的多模态任务性能提升(sheng)非常(chang)有利。

音频token解码为原生音频

为了从音频token中合成音频波形，研究人员试验了两种不同的方法：

1. 类似AudioLM模型的自回归解码

2. 类似SoundStorm模型的非自回归解码

这两种方法都需要先生成SoundStream token，再用卷(juan)積(ji)解码器将其转换为音频波形。

研究人员在Multilingual LibriSpeech上进行训练，语音條(tiao)件(jian)为3秒(miao)長(chang)的语音樣(yang)本，同时表示为音频token 和SoundStream token

通过提供(gong)部(bu)分原始输入语音作为语音条件，模型能够在将说话人的语音翻译成不同语言时保留(liu)原始说话人的语音，當(dang)原始音频短(duan)于3秒时，通过重复播放(fang)来填(tian)充(chong)空(kong)白(bai)时间。

训练任务

使用到的训练数据集(ji)均(jun)为speech-text数据：

1. 音频Audio：源(yuan)语言的语音（speech）

2. 转錄(lu)Tran：音频数据中语音的转录

3. 翻译音频Translated Audio：音频中语音的口(kou)语翻译

4. 翻译转录Translated Tran：音频中语音的書(shu)面翻译

组件任务包括：

1. ASR（自动语音识别）：转录音频以獲(huo)得转录文本

2. AST（自动语音翻译）：翻译音频以获得翻译后的转录文本

3. S2ST（语音到语音翻译）：翻译音频以获得翻译后的音频

4. TTS（文本到语音）：读出转录的內(nei)容(rong)，以获得音频。

5. MT（文本到文本的機(ji)器翻译）：翻译转录以获得翻译后的转录文本

一个数据集可能会用于多个任务，所以研究人员選(xuan)擇(ze)向(xiang)模型发出信(xin)號(hao)，告(gao)訴(su)模型应該(gai)对给定(ding)的输入执行哪(na)項(xiang)任务，具体方法为：在输入前加上一个标簽(qian)，指(zhi)定任务和输入语言的英文名(ming)稱(cheng)，输出语言也可以选择。

例如，想(xiang)要模型对法语语料(liao)进行ASR时，分词后的音频输入前面要加上标签[ASR French]；要在英语中执行TTS任务，文本前面需要加上[TTS English]；要执行从英语到法语的S2ST任务，分词后的英语音频会在前面加上[S2ST English French]

训练混合

研究人员使用SeqIO庫(ku)对训练数据进行混合，对較(jiao)大的数据集进行权重降低(di)。

实验部分

AudioPaLM在AST和S2ST任务上超过了其他基線(xian)模型，在ASR上性能虽然不是最優(you)，但效果也非常好(hao)。

除了評(ping)估(gu)语音内容的翻译质量外，研究人员还评估了AudioPaLM生成的语言是否质量足(zu)够高(gao)，并且在翻译成不同语言时能否保留说话人的聲(sheng)音。

客(ke)观指标

使用类似于无参考(kao)MOS估計(ji)器，给定一个音频样本，在1到5的範(fan)圍(wei)内提供一个感(gan)知音频质量估计。

为了測(ce)量跨(kua)语言的语音迁移质量，研究人员使用的现成的说话人验證(zheng)模型，并计算(suan)源（用SoundStream编码/解码）和翻译语音的嵌入之间的余(yu)弦(xian)相似度；还衡(heng)量了从源音频到目标音频的声学特(te)性（录音条件、背(bei)景(jing)噪(zao)音）。

主观评估

研究人员进行了两项獨(du)立(li)研究来评估生成的语音质量和语音相似度，两项研究中都使用相同的样本集合。

由于语料的质量参差(cha)不齊(qi)，有些(xie)含(han)有響(xiang)亮(liang)的重疊(die)语音（例如，背景中播放的電(dian)视節(jie)目或(huo)歌曲(qu)）或極(ji)强的噪音（例如，衣(yi)服(fu)与麥(mai)克(ke)風(feng)摩(mo)擦(ca)），类似的失真(zhen)效果使得人类评分员的工作变得复雜(za)，因(yin)此研究人员决定通过只选择MOS估计值(zhi)至(zhi)少(shao)为3.0的输入进行预过濾(lv)。

评分以5級(ji)量表提供，从1（质量差或完(wan)全不同的声音）到5（质量好，相同的声音）。

从结果中可以观察(cha)到AudioPaLM在客观和主观测量中，在音频质量和语音相似度方面都明(ming)显优于基线Translatotron 2系(xi)统，并且AudioPaLM比CVSS-T中的真实合成录音具有更高的质量和更好的语音相似度，在大多数指标上有比较大提升。

研究人员还对比了高資(zi)源组和低资源组（法语、德(de)语、西(xi)班(ban)牙(ya)语和加泰(tai)羅(luo)尼(ni)亞(ya)语与其他语言）的系统，发现这些组之间的指标没有明显差异。

参考资料：

https://google-research.github.io/seanet/audiopalm/examples/返回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：