天网栏目2013

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>語(yu)言(yan)學(xue)家(jia)重(zhong)出(chu)江(jiang)湖(hu)！從(cong)「發(fa)音(yin)」開(kai)始(shi)学：這(zhe)次(ci)AI模(mo)型(xing)要(yao)自(zi)己(ji)教(jiao)自己

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】AI模型不(bu)光(guang)要学會(hui)理(li)解(jie)语言，還(hai)得(de)成(cheng)為(wei)语言学家！

試(shi)圖(tu)讓(rang)計(ji)算(suan)機(ji)理解人(ren)類(lei)的(de)语言壹(yi)直(zhi)是(shi)人工(gong)智能(neng)領(ling)域(yu)邁(mai)不過(guo)的難(nan)關(guan)。

早(zao)期(qi)的自然(ran)语言處(chu)理模型通(tong)常(chang)采(cai)用(yong)人工設(she)计特(te)征(zheng)，需(xu)要專(zhuan)門(men)的语言学家手(shou)工编寫(xie)pattern，但(dan)最(zui)終(zhong)效(xiao)果(guo)卻(que)並(bing)不理想(xiang)，甚(shen)至(zhi)AI研(yan)究(jiu)一度(du)陷(xian)入(ru)寒(han)冬(dong)。

Every time I fire a linguist, the performance of the speech recognizer goes up.

——Frederick Jelinek

有(you)了(le)統(tong)计模型、大(da)規(gui)模預(yu)訓(xun)練(lian)模型以(yi)後(hou)，特征抽(chou)取(qu)是不用做(zuo)了，但仍(reng)然需要對(dui)指(zhi)定(ding)任(ren)務(wu)進(jin)行(xing)數(shu)據(ju)標(biao)註(zhu)，而(er)且(qie)最关鍵(jian)的問(wen)題(ti)在(zai)於(yu)：训练得到(dao)的模型还是不懂(dong)人类的语言。

所(suo)以，我(wo)們(men)是不是該(gai)从语言最初(chu)的形(xing)態(tai)开始重新研究：人类到底(di)是怎(zen)麽(me)獲(huo)得语言能力(li)的？

最近(jin)來(lai)自康(kang)奈(nai)爾(er)大学、麻(ma)省(sheng)理工学院(yuan)和(he)麥(mai)吉(ji)尔大学的研究人員(yuan)在Nature Communications上(shang)发表(biao)了一篇(pian)論(lun)文(wen)，提(ti)出一個(ge)算法(fa)合(he)成模型的框(kuang)架(jia)，在人类语言的最基(ji)礎(chu)部(bu)分(fen)，即(ji)詞(ci)法音位(wei)学（morpho-phonology）上开始教AI学習(xi)语言，直接(jie)从聲(sheng)音中(zhong)構(gou)建(jian)语言的词法。

词法音位学是语言学分支(zhi)之(zhi)一，主(zhu)要关注语素(su)（即最小(xiao)的意(yi)義(yi)單(dan)位）在組(zu)合成词時(shi)发生(sheng)的音變(bian)，试图給(gei)出一系(xi)列(lie)规則(ze)，以预判(pan)语言中音素的规律(lv)变声。

比(bi)如(ru)說(shuo)英(ying)语中的復(fu)数语素写作(zuo)-s或(huo)是-es，但读音却有三(san)種(zhong)[s]、[z] 及(ji) [?z]，比如cats的发音为/k?ts/, dogs的发音为/dagz/, horses的发音为/h?rs?z/。

人类在学习复数发音轉(zhuan)換(huan)时，首(shou)先(xian)根(gen)据词法学（morphology），意識(shi)到复数后綴(zhui)實(shi)際(ji)上是/z/；然后根据音位学（phonlogy），將(jiang)后缀基于词幹(gan)中的声韻(yun)，如清(qing)輔(fu)音等(deng)转换成/s/或/?z/

其(qi)他(ta)语言也(ye)有同(tong)樣(yang)的音位词法规律，研究人员从58种语言的音位教科(ke)書(shu)上收(shou)集(ji)得到了70个数据集，每(mei)个数据集只(zhi)包(bao)含(han)幾(ji)十(shi)到几百(bai)个单词，并且只包含少(shao)数语法現(xian)象(xiang)，实驗(yan)表明(ming)在自然语言中尋(xun)找(zhao)语法結(jie)构的方(fang)法也可(ke)以模擬(ni)嬰(ying)兒(er)学习语言的过程(cheng)。

通过对这些(xie)语言数据集執(zhi)行分層(ceng)貝(bei)葉(ye)斯(si)推(tui)理（hierarchical Bayesian inference），研究人员发现该模型僅(jin)从一个或几个样例(li)中就(jiu)可以获取新的词法音位规则，并且能夠(gou)提取出通用的跨(kua)语言模式(shi)，并以緊(jin)湊(cou)的、人类可理解的形式表達(da)出来。

让AI模型做「语言学家」

人类的智能主要體(ti)现在建立(li)認(ren)知(zhi)世(shi)界(jie)理论的能力，比如自然语言形成后，语言学家總(zong)结了一套(tao)规则来幫(bang)助(zhu)儿童(tong)更(geng)快(kuai)速(su)地(di)学习特定语言，而當(dang)下(xia)的AI模型却無(wu)法总结规则，形成一套其他人可理解的理论框架。

在建立模型之前(qian)要解決(jue)一个核(he)心(xin)问题：「如何(he)描(miao)述(shu)一个词」，比如说一个词的学习过程包括(kuo)了解词的概(gai)念(nian)、意图、用法、发音以及含义等。

在构建词表时，研究人员把(ba)每个词表示(shi)为一个<音标，语义集合>对，例如open表示为</opεn/, [stem: OPEN]>, 过去(qu)式表示为</d/, [tense: PAST]>，组合得到的opened表示为</opεnd/, [stem: OPEN, [tense: PAST]]>

有了数据集以后，研究人员建立了一个模型，通过最大后验概率(lv)推理来解釋(shi)在一组pair集合上生成语法规则，对词的变化(hua)进行解释。

在声音的表示上，音素（原(yuan)子(zi)音）被(bei)表示为二(er)元特征的向(xiang)量(liang)，比如/m/，/n/，是鼻(bi)音，然后基于该特征空(kong)間(jian)定义语音规则。

研究人员采用經(jing)典(dian)的规则表述方式，即情(qing)境(jing)相(xiang)关記(ji)憶(yi)（context-dependent），有时也稱(cheng)之为SPE-style规则，其廣(guang)泛(fan)應(ying)用于英语的音型（Sound Pattern of English）表示。

每个规则的写法是

(focus)→(structural_change)/(left_trigger)_(right_trigger)，意思(si)是只要左(zuo)/右(you)觸(chu)发環(huan)境紧靠(kao)focus的左/右，焦(jiao)點(dian)音素就会根据结构变化进行转换。

触发环境指定了特征的連(lian)接（表征音素的集合），例如在英语中，只要左邊(bian)的音素是[-sonorant]，在词末(mo)的发音就会从/d/变成/t/，写成规则就是[-sonorant] → [-voice]/[-voice -sonorant]_#，比如说walked应用这一规则后，发音就从/w?kd/转化为/w?kt/。

当这种规则被限(xian)制(zhi)为不能循(xun)环应用于自己的輸(shu)出时，规则和词法学就对应于雙(shuang)向有理函(han)数（2-way rational functions），又(you)对应于有窮(qiong)狀(zhuang)态转换器(qi)（finite-state transductions）。有人认为有穷状态转换器的空间有足(zu)够的表现力来涵(han)蓋(gai)形态语音学中已(yi)知的经验现象，并代(dai)表了对语音学理论实际使(shi)用的描述能力的限制。

为了学习这种语法，研究人员采用了贝叶斯程序(xu)学习（Bayesian Program Learning, BPL）的方法。将每个语法规则T建模为一种编程语言中的程序，这种语言捕(bu)捉(zhuo)了问题空间的特定领域的約(yue)束(shu)。所有语言共(gong)同的语言结构被称为通用语法（universal grammar）。该方法可以被看(kan)作是语言学中一个長(chang)期存(cun)在的方法的现代实例，并采用人类可理解的生成性(xing)代表来正(zheng)式確(que)定通用语法。

在定义好(hao)BPL需要解决的问题后，在所有程序的搜(sou)索(suo)空间都(dou)是无穷大，不给出如何解决这个问题的任何指导方向，且缺(que)乏(fa)像(xiang)梯(ti)度下降(jiang)或馬(ma)尔科夫(fu)鏈(lian)蒙(meng)特卡(ka)洛(luo)这样局(ju)部優(you)化算法所利(li)用的局部平(ping)穩(wen)性的情況(kuang)下，研究人员采用了一种基于约束的程序合成的策(ce)略(lve)，将优化问题转化为组合约束滿(man)足问题，并使用布(bu)尔可满足性（SAT）求(qiu)解器来解决。

这些求解器实现了詳(xiang)盡(jin)但相对有效地搜索，并保(bao)證(zheng)在有足够时间的情况下，会找到一个最优解。使用Sketch程序合成器可以解决與(yu)某(mou)些数据一致(zhi)的最小的语法，但必(bi)須(xu)符(fu)合语法大小的上限。

但在实踐(jian)中，SAT求解器所采用的穷舉(ju)搜索技(ji)術(shu)无法擴(kuo)展(zhan)到解释大型语料(liao)庫(ku)所需的海(hai)量规则。

为了将求解器扩展到大型和复雜(za)的理论，研究人员从儿童获得语言能力和科学家建立理论的一个基本(ben)特征中得到了啟(qi)发。

儿童并不是一蹴(cu)而就地学习语言，而是通过语言发展的中间階(jie)段(duan)，逐(zhu)步(bu)豐(feng)富(fu)他们对语法和词匯(hui)的掌(zhang)握(wo)。同样地，一个复杂的科学理论可能从一个簡(jian)单的概念內(nei)核开始，然后逐漸(jian)发展到涵盖越(yue)来越多(duo)的语言现象。

基于上述想法，研究人员又设计了一种程序合成算法，从一个小程序开始，然后反(fan)复使用SAT求解器来寻找小的修(xiu)改(gai)点，使其能够解释越来越多的数据。具(ju)体来说，就是找到一个对当前理论的反例，然后使用求解器详尽地探(tan)索可以容(rong)納(na)这个反例的理论的所有小修改的空间。

但这种启发式的方法缺乏SAT求解的完(wan)整(zheng)性保证：尽管(guan)重复調(tiao)用一个完整的、精(jing)确的SAT求解器，但它(ta)并不能保证找到一个最优解，不过每一次重复调用都比直接对整个数据进行优化要难得多。因(yin)为约束每个新的理论在理论空间中接近其前一个理论会导致约束满足问题的多項(xiang)式縮(suo)小，从而使搜索时间呈(cheng)指数級(ji)增(zeng)长，而SAT求解器在最壞(huai)的情况下是以指数级增长的。

在实验評(ping)估(gu)阶段，研究人员从语言学教科书中搜集了70个问题，每个问题都要求对一些自然语言中的一些形式的理论进行綜(zong)合分析(xi)。这些问题的难度範(fan)圍(wei)很(hen)广，涵盖了多种多样的自然语言现象。

自然语言也多种多样，包括音调语言，例如，在Kerewe语（坦(tan)桑(sang)尼(ni)亞(ya)的一种班(ban)图语）中，to count是/kubala/，但to count it是/kukíbála/，其中重音标记高(gao)音调。

也有元音和諧(xie)（vowel harmony）的语言，例如土(tu)耳(er)其有/el/，/t∫an/，分別(bie)表示手，鐘(zhong)，以及/el-ler/，/t∫an-lar/，分别表示手和钟的复数；还有許(xu)多其他语言现象，如同化和外(wai)延(yan)式。

在评估上，首先衡(heng)量该模型发现正确的词表的能力。与ground-truth词表相比，该模型在60%的基準(zhun)中发现了与问题的全(quan)部词库正确匹(pi)配(pei)的语法，并在79%的问题中正确解释了大部分的词库。

通常情况下，每个问题的正确词库比正确的规则更明确，任何从正确的词库中產(chan)生完整数据的规则必须与模型可能提出的任何基础规则具有觀(guan)察(cha)上的等效性。因此(ci)，与基础真(zhen)理词库的一致性应该作为一个指标来衡量同步化的规则在数据上是否(fou)有正确的行为，该评估与规则的質(zhi)量相关。

为了測(ce)试这个假(jia)设，研究人员隨(sui)机抽取了15个问题，并与一位专業(ye)语言学家協(xie)商(shang)，对发现的规则进行评分。同时测量召(zhao)回(hui)率（正确恢(hui)复的实际语音规则的比例）和精确度（恢复的规则中实际出现的比例）。在精度和召回率的指标下，可以发现规则的准确性与词库的准确性呈正相关。

当系统得到所有词库的正确性时，它很少引(yin)入无关的规则（高精度），而且几乎(hu)总是得到所有正确的规则（高召回率）。

參(can)考(kao)資(zi)料：

https://news.mit.edu/2022/ai-learn-patterns-language-0830返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任编辑：