广告王案例

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>谷(gu)歌(ge)魔(mo)改(gai)「世(shi)上(shang)只(zhi)有(you)媽(ma)妈好(hao)」：隨(sui)便(bian)妳(ni)跑(pao)調(tiao)，配(pei)不(bu)出(chu)BGM算(suan)我(wo)輸(shu)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】再(zai)也(ye)不用(yong)害(hai)怕(pa)唱(chang)歌跑调了(le)！（是(shi)调跑了。）

Google最(zui)近(jin)發(fa)布(bu)了壹(yi)個(ge)全(quan)新的(de)伴(ban)奏(zou)生(sheng)成(cheng)模(mo)型(xing)SingSong，用戶(hu)先(xian)唱歌，再給(gei)你自(zi)動(dong)生成一个伴奏，這(zhe)下(xia)不是跑调了，而(er)是调跑了！

論(lun)文(wen)鏈(lian)接(jie)：https://arxiv.org/abs/2301.12662

演(yan)示(shi)链接：https://storage.googleapis.com/sing-song/index.html

拿(na)一首(shou)Steven A. Clark的Bounty為(wei)例(li)，先聽(ting)一下從(cong)原(yuan)曲(qu)中(zhong)分(fen)離(li)的人(ren)聲(sheng)。

再听听SingSong根(gen)據(ju)人声生成伴奏，感(gan)覺(jiao)還(hai)挺(ting)和(he)諧(xie)吧(ba)？

不過(guo)在(zai)原曲裏(li)，可(ke)以(yi)明(ming)顯(xian)听出兩(liang)首伴奏風(feng)格(ge)完(wan)全不同(tong)。

再上一个random生成的伴奏，就(jiu)能(neng)對(dui)比(bi)出SingSong还是有點(dian)東(dong)西(xi)的。

即(ji)便对於(yu)非(fei)專(zhuan)業(ye)歌手(shou)演唱的歌曲，SingSong依(yi)然(ran)可以生成一个相(xiang)对合(he)理(li)的伴奏，下面(mian)請(qing)欣(xin)賞(shang)「世上只有妈妈好」變(bian)调版(ban)。

SingSong的技(ji)術(shu)基(ji)礎(chu)建(jian)立(li)在與(yu)人声分离的伴奏以及(ji)音(yin)頻(pin)生成模型，具(ju)體(ti)來(lai)說(shuo)，就是在一个大(da)規(gui)模的音樂(le)音频語(yu)料(liao)庫(ku)上用一个最先進(jin)的分离算法(fa)，獲(huo)取(qu)对齊(qi)的伴奏和人声的訓(xun)練(lian)语料。

然後(hou)將(jiang)人声作(zuo)为條(tiao)件(jian)输入(ru)到(dao)AudioLM，在训练數(shu)据上完成训练后即可对新输入的人声进行(xing)生成，不过其(qi)中也有一些(xie)細(xi)節(jie)難(nan)題(ti)需(xu)要(yao)解(jie)決(jue)。

最后在人類(lei)听眾(zhong)的實(shi)驗(yan)中，雖(sui)然SingSong生成的伴奏仍(reng)然比原曲的效(xiao)果(guo)差(cha)，不过相比其他(ta)基線(xian)模型来说SingSong明显更(geng)受(shou)听众的歡(huan)迎(ying)。

讓(rang)AI为你伴奏

唱歌基本(ben)算是一項(xiang)「零(ling)門(men)檻(kan)」參(can)与音乐的途(tu)徑(jing)，不管(guan)是否(fou)专门从事(shi)音乐行业的人都(dou)能来两嗓(sang)子(zi)（好不好听另(ling)说...）

一般(ban)放(fang)著(zhe)伴奏唱歌，但(dan)要是根据唱出来的歌来生成伴奏，那(na)豈(qi)不就是創(chuang)造(zao)音乐了？

SingSong模型可以根据输入的人声来生成伴奏，以一種(zhong)另类的方(fang)式(shi)让你不跑调。

SingSong模型主(zhu)要包(bao)括(kuo)两部(bu)分：音源(yuan)分离和音频的生成模型。

根据現(xian)成的音源分离算法，将一个大规模且(qie)多(duo)樣(yang)化(hua)的音乐语料库（包含(han)100萬(wan)条音频）分离成人声和伴奏的数据对，作为训练任(ren)務(wu)的平(ping)行语料。

然后使(shi)用音频生成模型AudioLM对输出的伴奏进行调整(zheng)，以有監(jian)督(du)的方式对分离出的源数据进行训练，使伴奏能夠(gou)適(shi)用于给定(ding)的人声。

这项工(gong)作的一个關(guan)鍵(jian)难点在于：如(ru)何(he)才(cai)能建立一个系(xi)統(tong)，使之(zhi)能够从训练期(qi)間(jian)觀(guan)察(cha)到的「与声源分离的人声输入」泛(fan)化为「现实世界(jie)的、孤(gu)立（isolated）的人声输入」，这也是用户使用該(gai)系统的目(mu)標(biao)場(chang)景(jing)，畢(bi)竟(jing)实際(ji)使用時(shi)也不可能放一个其他的伴奏再分离，不然唱的歌都跑偏(pian)了。

根据初(chu)步(bu)实验展(zhan)现的結(jie)果，模型对从声源分离的人声中幾(ji)乎(hu)听不到artifacts，但在输入孤立的人声时經(jing)常(chang)會(hui)生成無(wu)意(yi)義(yi)的输出。

为了提(ti)高(gao)模型的泛化性(xing)，研(yan)究(jiu)人員(yuan)为输入的人声提出了两种特(te)征(zheng)化策(ce)略(lve)：

1. 在人声输入中加(jia)入噪(zao)声以掩(yan)蓋(gai)artifacts；

2. 只使用AudioLM中最粗(cu)粒(li)度(du)（coarest）的中间表(biao)征作为条件输入。

对于目标，重(zhong)新使用AudioLM的离散(san)特征化方案(an)，从預(yu)训练的w2v-BERT模型中提取语义编碼(ma)，从预训练的SoundStream编解码器(qi)中提取粗略的声學(xue)编码，然后選(xuan)擇(ze)一个编码器-解码器Transformer模型T5进行训练以预測(ce)给定输入编码的目标编码。

在训练过程(cheng)中，在离散的音频特征而非波(bo)形(xing)上計(ji)算損(sun)失(shi)。

在推(tui)理过程中，用该模型生成粗声码，然后用一个單(dan)獨(du)训练的模型生成更精(jing)细的声音编码，最后用SoundStream对二(er)者(zhe)进行解码。

实验部分

数据集(ji)

SingSong的训练集由(you)100万个純(chun)音频源組(zu)成，包括4600小(xiao)时的音乐，预處(chu)理时将音源重新采(cai)样到44.1kHz，並(bing)将立体声混(hun)音平均(jun)到单声道。

需要註(zhu)意的是，预处理对于预训练SoundStream和w2v-BERT与训练SingSong是不同的。

对于SoundStream和w2v-BERT，将混音重新采样到16kHz，提取不重疊(die)的30s片(pian)段(duan)，并对所(suo)有片段进行预训练。

训练SingSong时，进一步预处理，从每(mei)个混音中提取不重叠的10s片段，并将结果片段输入到MDXNet的声源分离算法（该算法在44.1kHz下運(yun)行）以提取人声。从原始(shi)混音中減(jian)去(qu)源分离的人声，得(de)到相應(ying)的源分离的伴奏。

最后将人声和伴奏片段重新采样到16kHz，以符(fu)合SoundStream和w2v-BERT的采样率(lv)。

为了評(ping)估(gu)模型在隔(ge)离人声上的表现，研究人员使用了MUSDB18数据集，其中包含了10小时的专业工作室(shi)錄(lu)制(zhi)的隔离的人声和纯伴奏的150个混合源。

从每个混音中找(zhao)出非重叠的10s片段，获得了1232个片段用于训练集，778个片段用于测試(shi)集。

实验结果

在定量(liang)评估中使用Frechet Audio Distance（FAD）评價(jia)指(zhi)标，其中i代(dai)表独立的人声，s代表分离的人声。

由于FADi更符合预期的使用情(qing)況(kuang)，而FADs則(ze)更接近于模型的训练方式，因(yin)此(ci)两者之间存(cun)在着泛化差距(ju)（?）。

可以看(kan)到，在输入的人声中加入噪音（Noisy），去除(chu)人声声学编码（S-SA），以及增(zeng)加模型大小（XL）都有助(zhu)于改善(shan)对孤立的人声输入的生成（FADi）。

进一步，研究人员对输入的人声进行了不同的特征化实验以提高系统的泛化能力(li)，从实验结果中可以发现：

Noisy在人声输入中加入白(bai)噪声可以以掩盖声源分离的缺(que)陷(xian)；从默(mo)認(ren)的AudioLM featurization（SA-SA）中去除人声的声学编码可以產(chan)生了強(qiang)大的泛化能力。

也就是说，當(dang)在MUSDB18-dev上评估孤立的和源分离的人声时，用这种特征化训练的结果可以产生几乎相同的FAD值(zhi)。

听众研究

研究人员同样找了一些人类听众来评估模型的效果，每次(ci)向(xiang)听众展示了两个具有相同人声的10秒(miao)伴奏，与其他基线的伴奏相比，听众对来自SingSong的乐器表现出明显的偏好。

此外(wai)，即使与歌曲原伴奏相比，也有34%的听众更喜(xi)欢SingSong生成的伴奏。

参考(kao)資(zi)料：

https://arxiv.org/abs/2301.12662返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：