创意广告运动

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>AI見(jian)聞(wen)日(ri)報(bao)：將(jiang)上(shang)下(xia)文(wen)學(xue)習(xi)能(neng)力(li)從(cong)語(yu)言(yan)遷(qian)移(yi)到(dao)視(shi)覺(jiao)，MetaVL開(kai)啟(qi)下壹(yi)個(ge)多(duo)模(mo)態(tai)時(shi)代(dai) | 见智(zhi)研(yan)究(jiu)

今(jin)日要(yao)點(dian)：

1、蘋(ping)果(guo)在(zai) iOS17 中(zhong)加(jia)入(ru)transformer语言模型(xing)，用(yong)於(yu)提(ti)高(gao)文字(zi)和(he)语音(yin)轉(zhuan)文字时的(de)準(zhun)確(que)性(xing)。

2、苹果开發(fa)人(ren)員(yuan)：Vision Pro裏(li)用了(le)“腦(nao)機(ji)接(jie)口(kou)”，通(tong)過(guo)檢(jian)測(ce)眼(yan)睛(jing)等(deng)准确預(yu)测用戶(hu)下一步(bu)要做(zuo)什(shen)麽(me)

3、MetaVL: 将上下文学习能力从语言模型迁移到视觉，开启下一个多模态时代

4、Runway獲(huo)得(de)1億(yi)美(mei)元(yuan)D輪(lun)融(rong)資(zi)，谷(gu)歌(ge)領(ling)投(tou)

见闻视角(jiao)

海(hai)外(wai)AI

1、苹果在ios17中加入transformer语言模型，用于提高文字和语音转文字时的准确性。

苹果在今日更(geng)新(xin)的ios系(xi)統(tong)介(jie)紹(shao)中，闡(chan)述(shu)了使(shi)用transformer语言模型，用于提高文字和语音转文字时的准确性，通过用于單(dan)詞(ci)预测——提高了用户每(mei)次(ci)鍵(jian)入时的體(ti)驗(yan)和准确性。而(er)這(zhe)个模型如(ru)同(tong)苹果一直(zhi)以(yi)來(lai)強(qiang)調(tiao)對(dui)用户的隱(yin)私(si)保(bao)護(hu)一樣(yang)，是(shi)在手(shou)机端(duan)的模型。

见智研究認(ren)為(wei)，苹果使用transformer模型用于一些(xie)基(ji)礎(chu)應(ying)用符(fu)合(he)苹果一直以来的務(wu)實(shi)精(jing)神(shen)，苹果从不(bu)强调某(mou)項(xiang)技(ji)術(shu)是否(fou)先(xian)進(jin)，而是要在用户体验上做到極(ji)致(zhi)。这也(ye)是苹果一直强调技术落(luo)地(di)到应用的体現(xian)。

见智研究相(xiang)信(xin)苹果設(she)備(bei)在明(ming)年(nian)将會(hui)擁(yong)有(you)自(zi)己(ji)的llm模型，而这个模型按(an)照(zhao)苹果一貫(guan)的隐私保护模式(shi)，应为純(chun)本(ben)地化(hua)的模型。

2、苹果开发人员：Vision Pro里用了“脑机”，通过检测眼睛准确预测用户下一步要做什么

一位(wei)在AR/VR领域(yu)工(gong)作(zuo)十(shi)年、擔(dan)任(ren)苹果AR神經(jing)技术研究员的網(wang)友(you)Sterling Crispin发推(tui)文，介绍了苹果AR的神经技术研发

根(gen)據(ju)Crispin的介绍和苹果的專(zhuan)利(li)說(shuo)明，苹果的神经技术可(ke)以做到预测用户行(xing)为、根据用户狀(zhuang)态调整(zheng)虛(xu)擬(ni)環(huan)境(jing)。

最(zui)酷(ku)的結(jie)果是在用户实際(ji)点擊(ji)之(zhi)前(qian)预测他(ta)們(men)会点击什么，人们的瞳(tong)孔(kong)在点击之前往(wang)往有反(fan)应，原(yuan)因(yin)是人们会期(qi)望(wang)在点击之後(hou)会发生(sheng)什么。

这时可以通过監(jian)测用户的眼睛行为来創(chuang)造(zao)生物(wu)反饋(kui)，並(bing)实时重(zhong)新设計(ji)用户界(jie)面(mian)，以创造更多预期的瞳孔反应。这是一个通过眼睛实现的粗(cu)略(lve)“脑机接口”，用户不用接受(shou)侵(qin)入性的脑部(bu)外科(ke)手术。

推斷(duan)认知(zhi)状态的其(qi)他技术，包(bao)括(kuo)以用户可能無(wu)法(fa)察(cha)觉的方(fang)式向(xiang)他们快(kuai)速(su)閃(shan)现视觉或(huo)聲(sheng)音，然(ran)后测量(liang)他们的反应。

见智研究认为，苹果通过全(quan)新的神经技术对人的行为进行预测，从而大(da)幅(fu)減(jian)小(xiao)了vision產(chan)品(pin)整个UI操(cao)作的延(yan)遲(chi)，大幅提升(sheng)用户体验。从无數(shu)細(xi)節(jie)中可以看(kan)到，苹果在用搬(ban)山(shan)能力處(chu)理(li)每一个细节，这个軟(ruan)硬(ying)整合能力，不是誰(shui)能可以隨(sui)便(bian)模仿(fang)的，它(ta)所(suo)体现的每一个细节，都(dou)看出(chu)苹果花(hua)費(fei)巨(ju)大的功(gong)夫(fu)在解(jie)決(jue)交(jiao)互(hu)体验。这也是苹果之所以偉(wei)大的地方。

3、MetaVL: 将上下文学习能力从语言模型迁移到视觉，开启下一个多模态时代

動(dong)机：研究如何(he)在视觉-语言领域实现上下文学习，将单模态的元学习知識(shi)转移到多模态中，以提高大規(gui)模预訓(xun)練(lian)视觉-语言(VL)模型的能力。 方法：首(shou)先在自然语言处理(NLP)任务上元训练一个语言模型，实现上下文学习，然后通过連(lian)接一个视觉編(bian)碼(ma)器(qi)将該(gai)模型转移到视觉-语言任务上，以实现跨(kua)模态的上下文学习能力的转移。 優(you)勢(shi)：实验證(zheng)明，跨模态的上下文学习能力可以转移，该模型顯(xian)著(zhu)提高了视觉-语言任务上的上下文学习能力，并且(qie)在模型大小方面能夠(gou)有显著的优化，例(li)如在VQA、OK-VQA和GQA上，所提出方法在參(can)数数量减少(shao)約(yue)20倍(bei)的情(qing)況(kuang)下超(chao)过了基准模型。

见智研究一句(ju)話(hua)總(zong)结:

M Monajatipoor, L H Li, M Rouhsedaghat, L F. Yang, K Chang探(tan)索(suo)了将元学习的上下文学习能力从单模态迁移到多模态的可能性，证明了在视觉-语言任务中通过迁移可以显著提升上下文学习能力，甚(shen)至(zhi)在模型大小方面实现优化。

这意(yi)味(wei)著(zhe)多模态情况下的对话能力将得到加强，对于现有的文生圖(tu)来说可能会帶(dai)来新的變(bian)化，生成(cheng)模式对用户将更友好(hao)。

4、Runway获得1亿美元D轮融资，谷歌领投

生成式AI平(ping)臺(tai)Runway获得1亿美元D轮融资（约7亿元），估(gu)值(zhi)15亿美元，本次由(you)谷歌领投。谷歌投资Runway的最大原因之一是为了爭(zheng)奪(duo)雲(yun)计算(suan)客(ke)户。

Runway曾(zeng)在4月(yue)底(di)與(yu)谷歌簽(qian)訂(ding)了7500萬(wan)美元的3年商(shang)業(ye)協(xie)議(yi)，同时Runway已(yi)从谷歌获得了價(jia)值2000万美元的云计算资源(yuan)用于产品運(yun)營(ying)和研发。

见智研究曾使用过GEN-1生成相应视頻(pin)特(te)效(xiao)，但(dan)目(mu)前可玩(wan)性不算高。Gen-2是Runway在今年3月最新发布(bu)的，但目前手机客户端還(hai)未(wei)提供(gong)使用。Gen-2可以通过文本、图片(pian)、文本+图片直接生成视频，同时支(zhi)持(chi)風(feng)格(ge)化和渲(xuan)染(ran)添(tian)加好萊(lai)塢(wu)式大片特效，僅(jin)需(xu)要幾(ji)分(fen)鐘(zhong)即(ji)可完(wan)成所有操作。返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编輯(ji)：