20各广告标语

yijianfabuzangpin，yijiankuaijieanquanjiaoyi，xiangshouzuianquan/zuizhuanyedejiaoyifuwu。dakaishoujishangdeGPSdingweikeyibangzhunizhunquedizhaodaotongyichengshidepengyoushouyeshijiaoshengjifangbiankuaijie。chuangguandaguai，shoujijiaoseziyuan;shengjixunlian，tishengzonghezhanli。huijulequanqiuzhongduozhuanyedefaxingshi，zaixianshangweiyonghushejifaxing，hailiangfaxingrutukusuixinxuanze。AI讀(du)心(xin)重(zhong)磅(bang)突(tu)破(po)登(deng)Nature！大(da)腦(nao)信(xin)號(hao)1秒(miao)被(bei)看(kan)穿(chuan)，還(hai)能(neng)預(yu)測(ce)未(wei)來(lai)畫(hua)面(mian)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)读】最(zui)近(jin)，来自(zi)洛(luo)桑(sang)聯(lian)邦(bang)理(li)工(gong)學(xue)院(yuan)的(de)研(yan)究(jiu)團(tuan)隊(dui)提(ti)出(chu)了(le)壹(yi)種(zhong)全(quan)新的方(fang)法(fa)，可(ke)以(yi)用(yong)AI從(cong)大脑信号中(zhong)提取(qu)視(shi)頻(pin)画面。論(lun)文(wen)已(yi)登Nature，卻(que)遭(zao)網(wang)友(you)瘋(feng)狂(kuang)「打(da)假(jia)」。

現(xian)在(zai)，AI不(bu)僅(jin)會(hui)读脑，还会预测下(xia)一個(ge)画面了！

利(li)用AI，一个研究团队「看見(jian)」了老(lao)鼠(shu)眼(yan)中的電(dian)影(ying)世(shi)界(jie)。

更(geng)神(shen)奇(qi)的是(shi)，這(zhe)种機(ji)器(qi)学習(xi)算(suan)法，还能揭(jie)示(shi)大脑記(ji)錄(lu)數(shu)據(ju)中隱(yin)藏(zang)的結(jie)構(gou)，预测復(fu)雜(za)的信息(xi)，比(bi)如(ru)老鼠会看到(dao)的東(dong)西(xi)。

給(gei)一段(duan)上(shang)世紀(ji)60年(nian)代(dai)黑(hei)白(bai)老电影中截(jie)取的视频画面：一个男(nan)子(zi)向(xiang)汽(qi)車(che)跑(pao)去(qu)，打開(kai)了後(hou)備(bei)箱(xiang)。

小(xiao)鼠看過(guo)电影片(pian)段后，AI通(tong)过分(fen)析(xi)其(qi)脑部数据，竟(jing)把(ba)画面重构出来了。

可以說(shuo)，幾(ji)乎(hu)與(yu)电影原(yuan)作(zuo)一致(zhi)，是不是很(hen)神奇？

近日(ri)，来自瑞(rui)士(shi)洛桑联邦理工学院的团队在Nature上提出了一种名(ming)為(wei)CEBRA的最新算法，就(jiu)把AI读脑给實(shi)现了。

最最最重要(yao)的是，準(zhun)確(que)率(lv)超(chao)过了95%！

这一人(ren)工神經(jing)网絡(luo)模(mo)型(xing)仅用了三(san)步(bu)，首(shou)先(xian)分析和(he)解(jie)釋(shi)行(xing)为/神经数据，然(ran)后解碼(ma)来自视覺(jiao)皮(pi)層(ceng)的活(huo)動(dong)，最后重建(jian)觀(guan)看的视频。

CEBRA的意(yi)義(yi)在於(yu)，能夠(gou)對(dui)来自视觉皮层的视频進(jin)行快(kuai)速(su)、高(gao)精(jing)度(du)的解码，这对于理解人類(lei)大脑活动来说，意义重大。

网友調(tiao)侃(kan)，各(ge)地(di)的思(si)想(xiang)犯(fan)罪(zui)指(zhi)数，会怎(zen)麽(me)樣(yang)？

CEBRA，从小鼠的大脑信号中预测电影

此(ci)前(qian)，这种「AI读脑術(shu)」就曾(zeng)在网上引(yin)發(fa)軒(xuan)然大波(bo)。

一篇(pian)CVPR2023论文稱(cheng)，Stable Diffusion已经能重建大脑视觉信号了。

AI看了一眼人脑信号后，立(li)馬(ma)就给出下面这样的结果(guo)。

而(er)在这次(ci)的研究中，科(ke)学家(jia)們(men)更进了一步，新算法构建的人工神经网络模型，不仅能捕(bu)捉(zhuo)大脑动態(tai)、准确地重构画面，还能预测出小鼠能看到的东西。

另(ling)外(wai)，它(ta)还可以用来预测靈(ling)長(chang)类动物(wu)手(shou)臂(bi)的運(yun)动，重建老鼠在場(chang)地中自由(you)奔(ben)跑的位(wei)置(zhi)。

这种新型的机器学习算法名为CEBRA (与zebra同(tong)音(yin)) ，能够学习神经代码中的隐藏结构。

为了了解小鼠视觉系(xi)統(tong)中的隐藏结构，CEBRA可以在一个初(chu)始(shi)的訓(xun)練(lian)階(jie)段后，直(zhi)接(jie)从大脑信号中预测看不见的电影画面，繪(hui)制(zhi)大脑信号和电影特(te)征(zheng)。

具(ju)體(ti)来说，CEBRA是基(ji)于对比学习实现的一种机器学习算法。

CEBRA提供(gong)了三种不同的模式(shi)：1 假設(she)驅(qu)动模式 2 发现驱动模式 3 混(hun)合(he)模式

它能够学习將(jiang)高維(wei)数据排(pai)列(lie)或(huo)嵌(qian)入(ru)到一个称为隐空(kong)間(jian)（latent space）的「低(di)维空间」中。

这样做(zuo)就能够实现，相(xiang)似(si)的数据點(dian)緊(jin)密(mi)相連(lian)，而差(cha)異(yi)大的数据点就会进一步分離(li)。

这种嵌入模式可用于推(tui)斷(duan)数据中的隐藏關(guan)系和结构。它使(shi)研究人員(yuan)能够同時(shi)考(kao)慮(lv)神经数据和行为標(biao)簽(qian)，包(bao)括(kuo)运动，抽(chou)象(xiang)标签（如獎(jiang)勵(li)），或感(gan)官(guan)特征（如圖(tu)像(xiang)顏(yan)色(se)或紋(wen)理）。

老鼠「读脑术」

怎样将小鼠脑中的画面重现呢(ne)？

研究者(zhe)召(zhao)集(ji)了50只(zhi)小鼠，讓(rang)它们一起(qi)观看一段30秒的电影片段，並(bing)将这个过程(cheng)重复了9次。

在小鼠看电影时，研究者就会把探(tan)針(zhen)插(cha)进小鼠的大脑视觉皮层區(qu)域(yu)，收(shou)集它们的神经元活动信号。这个过程，也(ye)就是我(wo)们熟(shu)悉(xi)的脑机接口(kou)（BMI）。

这个过程中用到的探针有(you)兩(liang)种：

一种是通过插入小鼠大脑视觉皮层区域的电極(ji)探针直接测量(liang)，另一种是通过光(guang)学探针在基因(yin)改(gai)造(zao)的小鼠中獲(huo)取。这些(xie)光学探针经过改造，使激(ji)活的神经元发出綠(lv)光。

然后，研究者通过CEBRA，将这些神经信号与600幀(zhen)电影片段联系起来，建立起两者之(zhi)间的映(ying)射(she)。

有了前面9次观看的记憶(yi)鞏(gong)固(gu)加(jia)強(qiang)后，研究人员又(you)让小鼠观看第(di)10次，并收集了这一次观看时的大脑活动数据。

将CEBRA應(ying)用于小鼠初級(ji)视觉皮层

基于这些大脑数据，研究人员测試(shi)了CEBRA在预测电影片段中画面順(shun)序(xu)方面的能力(li)。

结果发现，CEBRA能够在1秒內(nei)以95%的准确率预测下一个画面。

人类大脑，終(zhong)极目(mu)标

将行为动作映射到神经活动，一直是神经科学的一个基本(ben)目标。

但(dan)是，研究者们一直缺(que)乏(fa)可以灵活利用联合行为和神经数据揭示神经动力学的非(fei)線(xian)性(xing)技(ji)术，而CEBRA算法，填(tian)補(bu)了这一空缺。

而且(qie)，CEBRA还可以用于空间映射，从而揭示复杂的运动学特征，还能提供对来自视觉皮层的自然视频的快速、高精度的解码。

具体来说，研究者提出了一个联合训练的潛(qian)在嵌入框(kuang)架(jia)。

CEBRA利用用戶(hu)定(ding)义的标签或仅限(xian)时间的标签，获得(de)了一致的神经活动嵌入，可用于可视化(hua)数据和解码之类的下遊(you)任(ren)務(wu)。

这个算法基于的对比学习，正(zheng)是利用相互(hu)对比的样本（正样本和負(fu)样本）来找(zhao)到共(gong)同屬(shu)性和区分属性。

使用CEBRA实现一致且可解释的嵌入

CEBRA的優(you)勢(shi)就在于它的灵活性，以及(ji)有限假设和檢(jian)驗(yan)假设的能力。

对于海(hai)马体，可以假设这些神经元代表(biao)空间，因此行为标签可以是位置或速度（图2a）。

另外，还可以有一个替(ti)代假设：海马体不映射空间，而只是映射行进方向或其他(ta)一些特征。

使用CEBRA的假设和发现驱动分析

论文一作Steffen Schneider称，与其他算法相比，CEBRA在重建合成(cheng)数据方面表现出色，这对比較(jiao)算法至(zhi)关重要。

它的优势还在于，能够跨(kua)不同模式組(zu)合数据，比如电影特征和大脑数据。它还有助(zhu)于限制細(xi)微(wei)差別(bie)，比如收集数据收集方式对导致数据變(bian)化。

从小鼠视觉皮层区域解码自然视频特征

「这項(xiang)工作朝(chao)著(zhe)神经技术实现高性能BMI所(suo)需(xu)的理论支(zhi)持(chi)算法，又邁(mai)出了一步，」EPFL的Bertarelli綜(zong)合神经科学主(zhu)席(xi)兼(jian)該(gai)研究的PI Mackenzie Mathis说。

研究者称，CEBRA在视觉皮层只有不到1%的神经元的情(qing)況(kuang)下表现良(liang)好(hao)。要知(zhi)道小鼠的大脑大約(yue)有50萬(wan)个神经元组成。

CEBRA的最终目标，是揭示复杂系统中的结构。由于大脑是我们宇(yu)宙(zhou)中最复杂的结构，它是CEBRA的终极测试空间。

CEBRA还可以让我们了解大脑是如何(he)處(chu)理信息的，并通过整(zheng)合动物，甚(shen)至其他物种的数据，为发现神经科学的新原理提供一个平(ping)臺(tai)。

當(dang)然，CEBRA算法并不仅限于神经科学研究，因为它可以应用于許(xu)多(duo)涉(she)及时间或联合信息的数据集，包括动物行为和基因表達(da)数据。因此，CEBRA潜在的臨(lin)床(chuang)应用令(ling)人興(xing)奮(fen)。

网友質(zhi)疑(yi)：这能叫(jiao)读心术？

网友称，AI重现大脑画面的研究，这不是首次。

在11年，UC伯(bo)克(ke)利的一项研究使用功(gong)能磁(ci)共振(zhen)成像（fMRI）和計(ji)算模型，初步重建了大脑的「动态视觉图像」。

也就是说，研究者重现了人类大脑看过的片段，但几乎是無(wu)法辨(bian)認(ren)。

不过，对于这项AI解析小鼠大脑信号、成功重构出观看的电影片段，网友紛(fen)纷表示质疑。

「我并非想貶(bian)低这项出色的工作，但这不是从老鼠看到的东西中創(chuang)造视频，而是匹(pi)配(pei)哪(na)一帧视频最符(fu)合模型解释当前帧的内容(rong)，所以......它不是產(chan)生(sheng)视频数据，而是一个帧号，然后在屏(ping)幕(mu)上顯(xian)示该帧。这个区别很微妙(miao)，但很重要。」

同样看过视频后的网友指出了問(wen)題(ti)——

「这个视频有点誤(wu)导人。它并不像妳(ni)看到所有这些擴(kuo)散(san)模型后所想的那(na)样，完(wan)全从頭(tou)开始构建。这个特定的模型只看过这个视频，并且只是将不同的帧映射到脑信号上。所以这并非是读心术。」

「这个说法是不准确的，并沒(mei)有视频被生成。它只是在充(chong)分了解视频的情况下，预测了正在观看的视频的时间戳(chuo)。」

參(can)考資(zi)料(liao)：

https://www.nature.com/articles/d41586-023-01339-9

https://www.eurekalert.org/news-releases/987862返(fan)回(hui)搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：