世卫提醒：应警惕第二波疫情

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>Google探(tan)索(suo)全(quan)新(xin)NLU任(ren)務(wu)「自(zi)然(ran)語(yu)言(yan)評(ping)估(gu)」，正(zheng)式(shi)面(mian)試(shi)前(qian)讓(rang)AI幫(bang)妳(ni)熱(re)個(ge)身(shen)！

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】谷(gu)歌(ge)基(ji)於(yu)「自然语言评估 」任务還(hai)開(kai)發(fa)了(le)壹(yi)个網(wang)站(zhan)Interview Warmup，免(mian)費(fei)當(dang)你的(de)「面试陪(pei)練(lian)員(yuan)」！

「刷(shua)題(ti)」可(ke)以(yi)說(shuo)是(shi)貫(guan)穿(chuan)人(ren)生(sheng)的始(shi)終(zhong)了，有(you)些(xie)题目(mu)可以獨(du)自解(jie)決(jue)，比(bi)如(ru)考(kao)试题；但(dan)諸(zhu)如面试類(lei)需(xu)要(yao)互(hu)動(dong)的题目時(shi)，一个人就(jiu)很(hen)難(nan)刷动了。

這(zhe)種(zhong)互动不(bu)同(tong)于一般(ban)的問(wen)答(da)，通(tong)常(chang)需要 「陪练方(fang)」在(zai)特(te)定(ding)情(qing)境(jing)下(xia)對(dui)问题進(jin)行(xing)回(hui)答，並(bing) 引(yin)导用(yong)戶(hu)进行思(si)考，以達(da)到(dao)最(zui)终目標(biao)。

比如面试官(guan)不會(hui)只(zhi)負(fu)責(ze)提(ti)问，还需要引导你说出(chu)对问题的理(li)解思路(lu)，以及(ji)可選(xuan)的解决方案(an)。这类 问题也(ye)可能(neng)是开放(fang)式的，比如自我(wo)介(jie)紹(shao)等(deng)。

AI的终極(ji)目标，就是一切(qie)人可以做(zuo)的事(shi)，都(dou)可以由(you)模(mo)型(xing)替(ti)代(dai)，这类「面试陪练员」也不例(li)外(wai)。

但在当下的自然语言處(chu)理領(ling)域(yu)，这种能力(li)还沒(mei)有得(de)到足(zu)夠(gou)的重(zhong)視(shi)，并且(qie)在技(ji)術(shu)上(shang)很具(ju)有挑(tiao)戰(zhan)性(xing)。

最近(jin)Google在官方博(bo)客(ke)上介绍了一个重要的自然语言理解（NLU）能力，即(ji) 自然语言评估（Natural Language Assessment, NLA），并討(tao)論(lun)了如何(he)能够在教(jiao)育(yu)的背(bei)景(jing)下有所(suo)帮助(zhu)。

典(dian)型的 NLU 任务關(guan)註(zhu)用户的意(yi)圖(tu)，而(er) NLA 允(yun)許(xu)從(cong)多(duo)个角(jiao)度(du)评估答案。

在用户想(xiang)知(zhi)道他(ta)們(men)的答案有多好(hao)的情況(kuang)下，NLA 可以提供(gong)一个关于答案與(yu)預(yu)期(qi)有多接(jie)近的分(fen)析(xi)。

在 可能没有「正確(que)」答案的情况下，NLA 可以提供細(xi)微(wei)的洞(dong)察(cha)力，包(bao)括(kuo)主(zhu)题性、相(xiang)关性、冗(rong)長(chang)问题等等。

研(yan)究(jiu)人员制(zhi)定了 NLA 的範(fan)圍(wei)，提出了一个實(shi)用的模型來(lai)執(zhi)行主题性NLA，并展(zhan)示(shi)了如何使(shi)用 NLA 来帮助求(qiu)職(zhi)者(zhe)练習(xi)回答面试问题。

自然语言评估概(gai)述(shu)

NLA 的目标是根(gen)據(ju)一組(zu) 期望(wang)（expectations）来评估用户給(gei)出的答案。

比如说有一个 与學(xue)生交(jiao)互的NLA系(xi)統(tong)，有以下幾(ji)个组成(cheng)部(bu)分：

向(xiang)学生提出一个问题； 期望定義(yi)了用户预期在回答中(zhong)得到什(shen)麽(me)。例如一个具體(ti)的文(wen)本(ben)回答或(huo)者是一组用户期望答案涵(han)蓋(gai)的主题，并且回答需要簡(jian)潔(jie)。 由学生提供的答案； 评估結(jie)果(guo)。包括正确性、信(xin)息(xi)缺(que)失(shi)、過(guo)于具体或籠(long)统、文体反(fan)饋(kui)、发音(yin)等。 可选項(xiang)：上下文。例如一本書(shu)或一篇(pian)文章(zhang)中的某(mou)一段(duan)。

使用 NLA，对答案的期望和(he)对答案的评估都可以非(fei)常寬(kuan)泛(fan)，这使得師(shi)生之(zhi)間(jian)的互动更(geng)具表(biao)現(xian)力且更有细節(jie)。

有具体正确答案的问题

即使在有明(ming)确的正确答案的情况下，也可以比简單(dan)的正确或不正确更细微地(di)评估答案。

上下文（Context） ：哈(ha)利(li)波(bo)特与魔(mo)法(fa)石(shi) 问题（Question） ：霍(huo)格(ge)沃(wo)茨(ci)是什么? 期望（Expectation） ：霍格沃茨是一所魔法学校(xiao) 回答（Answer） ：我不是很确定，但我認(ren)為(wei)这是一所学校。

对于问答系统来说，上面这个回答可能因(yin)为缺少(shao)关鍵(jian)细节「魔法」而被(bei)标記(ji)为不正确，因为用户会认为这个答案并非完(wan)全正确，也没有太(tai)大(da)意义。

NLA可以提供更细节的理解力，例如认定学生的回答太过于笼统，并且学生本人对該(gai)回答不够确信。

这种细微的评估，以及注意到学生所表达的不确定性，对于帮助学生在会話(hua)環(huan)境中建(jian)立(li)技能非常重要。

主题预期

在许多情况下， 提问者并不期望得到具体答復(fu)。

例如，如果一个学生被问到一个 觀(guan)點(dian)类问题，并没有具体的文本期望，提问者更关注的是回答相关性以及观点，或许答案的简洁度和流(liu)暢(chang)性也在提问者的评估范围內(nei)。

问题 ：請(qing)进行自我介绍。（Tell me a little about yourself?） 期望 ：一个主题集(ji)合(he)，可能包括「教育 」、「經(jing)歷(li)」、「興(xing)趣(qu)」等 回答 ：我在加(jia)州(zhou)的薩(sa)利納(na)斯(si)长大，後(hou)来去(qu)了斯坦(tan)福(fu)大学，主修(xiu)经濟(ji)学，但后来对科(ke)技產(chan)業(ye)感(gan)到兴奮(fen)，所以接下来我...

在这种情况下，一个有用的评估輸(shu)出將(jiang)把(ba)用户的答案映(ying)射(she)到所涉(she)及的主题的子(zi)集，可能还有文本的哪(na)些部分与哪个主题相关的标记。

从自然语言处理的角度来看(kan)，这很有挑战性，因为答案可能很长，主题也可能是混(hun)合的，而且每(mei)个主题本身可能是多方面的。

主题性NLA模型

原(yuan)則(ze)上，主题性NLA（Topicallity NLA）是一个标準(zhun)的多分类任务，开发者可以根据常用的模型很容(rong)易(yi)地訓(xun)练出一个分类器(qi)。

但对于NLA来说，可用的训练數(shu)据很少，收(shou)集每个问题和主题的训练数据成本很高(gao)，也很耗(hao)时。

谷歌的解决方案是将每个主题分解成可以使用大型语言模型(LLM)进行标識(shi)的细粒(li)度组件(jian)，并进行简单的通用調(tiao)優(you)。

研究人员将每个主题映射到一个潛(qian)在问题列(lie)表，并定义如果句(ju)子包含(han)对这些潜在问题之一的答案，那(na)么它(ta)就涵盖了该主题。

对于 经历（Experience）这个主题，模型可以选擇(ze)一些潜在的问题，比如:

你在哪裏(li)工(gong)作(zuo)？ 你是学什么的？ ...

再(zai)比如 兴趣（Interests）这个主题下，也有一些基本问题，如

你对什么感兴趣？ 你喜(xi)歡(huan)做什么？ ...

这些基本问题是通过 叠(die)代的手(shou)工过程(cheng)設(she)計(ji)的。

重要的是，由于这些问题是足够细粒度的，当前的语言模型可以捕(bu)獲(huo)这些 句子内的语义（比如What和Where的區(qu)別(bie)），也使得开发者可以为NLA的主题任务提供一个zero-shot设置(zhi): 模型训练一次(ci)后，即可不斷(duan)添(tian)加新的问题和新的主题，或通过修改(gai)基本内容期望改编现有的主题，而不需要收集主题特定的数据。

帮助求职者准備(bei)面试

为了探索NLA的應(ying)用場(chang)景，谷歌的开发者还与求职者合作开发了一个新工具Interview Warmup，帮助用户在IT Support和用户体驗(yan)设计等快(kuai)速(su)增(zeng)长的就业领域为面试做准备。

网站上提供了大量(liang)的问题，求职者自己(ji)在家(jia)就能练习回答行业專(zhuan)家提出的问题，以帮助在真(zhen)人面试中變(bian)得更加自信和从容。

谷歌也是受(shou)求职者的啟(qi)发，了解面试过程中的难点后提出了NLA研究。

Interview Warmup并不对答案进行评分或判(pan)断，它只为用户提供一个独自练习的环境，并且帮助用户进行自我改进。

每当用户回答一个面试问题后，该答案会被NLA模型逐(zhu)句解析，然后用户可以在不同的談(tan)话要点之间切換(huan)，看看在他们的答案中发现了哪些要点。

研究人员意识到，在向用户发出信號(hao)表示他们的反馈是「good」时，存(cun)在许多潜在的陷(xian)阱(jing)，尤(you)其(qi)是当模型只檢(jian)測(ce)到有限(xian)的主题集时。

相反，该系统把控(kong)制權(quan)掌(zhang)握(wo)在用户手中，只使用機(ji)器学习来帮助用户发现如何改进。

到目前为止(zhi)，该工具已(yi)经帮助了大量来自世(shi)界(jie)各(ge)地的求职者，取(qu)得了很大的成果，并且开发團(tuan)隊(dui)最近已经将其擴(kuo)展到非洲(zhou)，并计劃(hua)繼(ji)續(xu)与求职者合作，迭代并使该工具对数百(bai)萬(wan)正在尋(xun)找(zhao)新工作的人更有帮助。

自然语言评估(NLA)是一个具有技术挑战性和有趣的研究领域。

NLA为新的会话应用鋪(pu)平(ping)了道路，通过从多个角度对答案进行细致(zhi)入(ru)微的评估和分析，促(cu)进了学习。

通过与社(she)区合作，从求职者和企(qi)业到課(ke)堂(tang)教师和学生，可以确定NLA有潜力帮助用户进行学习、參(can)与和发展各种学科的技能的情况，以一种负责任的方式建立应用程序(xu)，使用户能够评估自己的能力，并找到改进的方法。

参考資(zi)料(liao)：

https://ai.googleblog.com/2022/10/natural-language-assessment-new.html返(fan)回搜(sou)狐(hu)，查(zha)看更多

责任编辑：