红茶茶叶广告语宣传语

youxizhongdexiongmaodaimengkeai，dailaifengfudexingxiang，gengjialingdonghuopo。tishengyouxitiyangenghaodemiaozhunyouxishangmenrenxinghuafuwu，quanxiankeyibangkehusonghuo。tiyandianpujingyingdebuyixiangshouzhihuibianjiechuxingfuwu結(jie)構(gou)生(sheng)物(wu)學(xue)沒(mei)失(shi)業(ye)！深(shen)度(du)評(ping)估(gu)AlphaFold 2：「蛋(dan)白(bai)質(zhi)功(gong)能(neng)預(yu)測(ce)」水(shui)平(ping)不(bu)足(zu)｜NeurIPS 2022

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】最(zui)近(jin)西(xi)湖(hu)大(da)学人(ren)工(gong)智能團(tuan)隊(dui)發(fa)表(biao)了(le)壹(yi)篇(pian)對(dui)AlphaFold 2的(de)功能進(jin)行(xing)深入(ru)研(yan)究(jiu)的論(lun)文(wen)，得(de)到(dao)了一些(xie)有(you)趣(qu)的研究结果(guo)。相(xiang)關(guan)论文发表在(zai)人工智能頂(ding)級(ji)會(hui)議(yi)NeurIPS 2022。

隨(sui)著(zhu)(zhe)深度学習(xi)領(ling)域(yu)的发展(zhan)，大規(gui)模(mo)蛋白质語(yu)言(yan)模型(xing)（PLM）在蛋白质预测任(ren)務(wu)中(zhong)的取(qu)得了很(hen)大的成(cheng)績(ji)，比(bi)如(ru)蛋白质3D结构预测和(he)各(ge)種(zhong)功能预测。

其(qi)中AlphaFold2是(shi)一個(ge)具(ju)有革(ge)命(ming)性(xing)的人工智能蛋白质模型，在CASP14蛋白质结构预测任务上(shang)取得了原(yuan)子(zi)级別(bie)的预测準(zhun)確(que)度，該(gai)成果可(ke)能会重(zhong)塑(su)结构生物学。

然(ran)而(er)对於(yu)蛋白质的研究，结构僅(jin)仅只(zhi)是開(kai)始(shi)。对于蛋白质功能的解(jie)读，例(li)如，未(wei)知(zhi)蛋白质功能註(zhu)釋(shi)、突(tu)變(bian)影(ying)響(xiang)、蛋白质工程(cheng)、折(zhe)疊(die)的穩(wen)定(ding)性等(deng)研究更(geng)加(jia)具備(bei)實(shi)際(ji)意(yi)義(yi)。

目(mu)前(qian)，除(chu)了结构预测之(zhi)外(wai)，還(hai)没有相关研究对于AlphaFold的核(he)心(xin)組(zu)件(jian)Evoformer（一种新穎(ying)的PLM）进行结构以(yi)外任务的评估檢(jian)驗(yan)。

最近來(lai)自(zi)西湖大学的研究者(zhe)們(men)聚(ju)焦(jiao)Evoformer的表征(zheng)能力(li)研究，尤(you)其是探(tan)究其蛋白质功能预测水平。

论文題(ti)目：Exploring evolution-aware & -free protein language models as protein function predictors

论文鏈(lian)接(jie)：https://arxiv.org/abs/2206.06583

代(dai)碼(ma)链接：https://github.com/elttaes/Revisiting-PLMs

作(zuo)者的主(zhu)要(yao)動(dong)機(ji)是：既(ji)然蛋白质结构決(jue)定功能，而AlphaFold2如此(ci)精(jing)准的结构预测能力是否(fou)也(ye)具有較(jiao)強(qiang)的功能预测能力。

針(zhen)对此，研究者探究了三(san)种流(liu)行的PLM的表征能力：ESM-1b（單(dan)序(xu)列(lie)PLM）、MSA-Transformer（多(duo)序列比对PLM）和 Evoformer（基(ji)于结构的PLM），尤其关注Evoformer的能力。

三种主流蛋白质语言模型神(shen)經(jing)網(wang)絡(luo)对比

论文旨(zhi)在回(hui)答(da)以下(xia)关鍵(jian)問(wen)题：

1、作為(wei)AlphaFold的核心表征模型， Evoformer是否產(chan)生適(shi)合(he)蛋白质功能预测任务的特(te)征向(xiang)量(liang)？

2、如果是，Evoformer能否取代目前最强大的PLM，也就(jiu)是Meta的ESM-1b和MSA-Transformer？

3、這(zhe)些PLM在多大程度上依(yi)賴(lai)于同(tong)源(yuan)蛋白的进化(hua)數(shu)據(ju)？

文章(zhang)通(tong)過(guo)实證(zheng)研究比较这些模型，並(bing)在此基礎(chu)上提(ti)出(chu)新的見(jian)解和结论。

AlphaFold2并非(fei)全(quan)能

蛋白质是生命活(huo)动的主要執(zhi)行者，因(yin)此，破(po)譯(yi)其结构和功能特性背(bei)後(hou)的机制(zhi)至(zhi)关重要。

其中蛋白质序列-结构-功能关系(xi)使(shi)得基于序列的机器(qi)学习方(fang)法(fa)在结构和功能预测上取得很大成功，这些方法可以從(cong)氨(an)基酸(suan) (AA) 序列推(tui)斷(duan)蛋白质结构和功能。

億(yi)级别參(can)数的大规模的蛋白质语言模型通过自監(jian)督(du)学习方法已(yi)经成为AI预测蛋白质功能的最主流做(zuo)法。

同時(shi)，AlphaFold在蛋白质数据庫(ku)(PDB)的3D蛋白质结构上进行了訓(xun)練(lian)，最終(zhong)可以輸(shu)出與(yu)实验结构同樣(yang)准确的蛋白质3D结构。

它(ta)的多序列比对表示(shi)模塊(kuai)Evoformer结合了新的深度学习机制、PLM殘(can)差(cha)重建(jian)任务和直(zhi)方圖(tu)形(xing)式(shi)的结构监督。与MSA-Transformer一样，Evoformer將(jiang)一系列与进化相关且(qie)对齊(qi)的蛋白质序列作为输入，而ESM-1b和TAPE等PLM仅采(cai)用(yong)单个蛋白质序列。

簡(jian)而言之我(wo)们将前兩(liang)个模型稱(cheng)为进化感(gan)知型PLM，后两个模型称为無(wu)（顯(xian)式）进化型PLM。

盡(jin)管(guan)AlphaFold在从序列预测结构方面(mian)取得了显著成功，但(dan)目前尚(shang)不清(qing)楚(chu)其Evoformer模块是否可以應(ying)用于其他(ta)问题，特别是蛋白质功能和适应度预测。破译AlphaFold而不是将其視(shi)为黑(hei)匣(xia)子对AI和生物学界(jie)都(dou)有好(hao)處(chu)。

因此，我们試(shi)图回答以下关键问题：

Q1：AlphaFold的主要模块Evoformer语言模型是否学习到了可用于各种蛋白质功能预测的通用表征（也就是超(chao)出结构预测）？

与ESM-1b和MSA-Transformer不同，Evoformer在3D结构的监督下进行训练。

此外，AlphaFold的第(di)二(er)部分(fen)，即(ji)结构模块建立(li)在48个Evoformer块之上，比ESM-1b和MSA-Transformer中使用的傳(chuan)統(tong)（線(xian)性）分類(lei)頭(tou)更復(fu)雜(za)、更深入。这些差異(yi)使得Evoformer的蛋白质功能表示能力成为一个懸(xuan)而未决的问题。

Q2：如果Evoformer的表征是通用的，它在下遊(you)任务上是否優(you)于ESM-1b和MSA-Transformer？

雖(sui)然这三个模型使用不同的参数大小(xiao)和数据集(ji)进行训练，但我们認(ren)为比较结果仍(reng)然很有價(jia)值(zhi)，因为它们是目前最先(xian)进的PLM。由(you)于所(suo)涉(she)及(ji)的計(ji)算(suan)成本(ben)，从头开始训练这些大型模型对于大多数学術(shu)研究团队来說(shuo)是遙(yao)不可及的。

任务詳(xiang)細(xi)介(jie)紹(shao)

Q3：进化感知的PLM, 如Evoformer 与MSA-Transformer的功能预测性能在多大程度上依赖于输入的MSA数据？无进化感知的PLM能否在MSA构建方面幫(bang)助(zhu)具有进化意識(shi)型的PLM？

研究人員(yuan)通过对各种结构和功能预测任务做经验验证，研究解决上述(shu)问题，可以得到以下主要结论：

(i) AlphaFold的主要模块Evoformer可以产生对结构和功能预测都有用的表征，如两个蛋白质结构预测任务、两个功能注释任务和两个突变适应度景(jing)觀(guan)预测任务。

(ii) Evoformer输出的向量表示对于蛋白质级别和残基级别的预测任务都很有用。

(iii)Evoformer在结构预测和新型小蛋白稳定性预测方面优于ESM-1b和MSA-Transformer，但在其他功能预测任务上不如ESM-1b。与ESM-1b和MSA-Transformer相比，它在零(ling)样本适应度预测任务上表現(xian)不佳(jia)。

(iv)进化感知型PLMs仅在结构预测任务中优于无进化的ESM-1b模型，但在大多数功能预测任务中通常(chang)比ESM-1b差。

(v)MSA-Transformer和Evoformer在预测蛋白质功能时也对MSA的数量非常敏(min)感。此外，它们在使用ESM-1b构建的MSA作为输入时，模型的性能与使用Jackhmmer或(huo)HHblits生成的MSA的性能相當(dang)，但速(su)度大幅(fu)提升(sheng)，本研究也提出了一种深度学习方式快(kuai)速准确生成MSA。

实验部分

这篇论文将ESM-1b、MSA-Transformer和Alphafold2进行了一系列任务，包(bao)括(kuo)蛋白质结构预测如二级结构，接觸(chu)图预测。

蛋白质功能预测包括金(jin)屬(shu)離(li)子结合、抗(kang)生素(su)耐(nai)藥(yao)性。以及蛋白质稳定性预测，蛋白质熒(ying)光(guang)性预测，以及零样本遷(qian)移(yi)学习突变适应度景观预测。

二级结构预测（SS）

这是一个残基级序列到序列的任务，其中蛋白质序列 x = {x_1,x_2,…..,x_L} 的每(mei)个残基x_i映(ying)射(she)到標(biao)簽(qian)y_i对应于八(ba)个二级结构任务y_i∈ { G, H, ..., C } 之一。二级结构预测检查(zha)PLM学习局(ju)部结构的程度。

接触图预测

对于給(gei)定的蛋白质结构，如果两个残基的 C_β 碳(tan)在 8? 以內(nei)，則(ze)认为它们是接触的。我们评估在一级结构中相距(ju)超过6 个位(wei)置(zhi)的氨基酸。使用Precision@L测量结果，它代表着具有最高(gao)预测接触概(gai)率(lv)的Top-L氨基酸对的精度。L是蛋白质序列的長(chang)度。

研究人员还评估了两个功能（注释）分类任务：

1、金属离子结合 (MIB)：这是一个二元分类任务，其中使用PLM来确定蛋白质中是否存(cun)在金属离子结合位點(dian)。

2、抗生素耐药性 (ABR)：这是一个多类别分类任务，PLM 需(xu)要正(zheng)确确定蛋白质降(jiang)解的抗生素类别。我们从 CARD构建数据集，其中包含(han) 19 种不同的抗生素类型。

以及三个适应度预测任务。与功能注释预测不同，此任务中的蛋白质序列均(jun)来自相同的野(ye)生型，具有少(shao)量突变残基。

1、稳定性：这是一个蛋白质级别的回歸(gui)任务，它预测蛋白质可以維(wei)持(chi)其折叠的蛋白酶(mei)濃(nong)度。

2、荧光：这也是一个蛋白质级别的回归任务，预测蛋白质序列的对数荧光强度。

3、零样本突变效(xiao)应预测：这是一項(xiang)蛋白质级别的预测任务，通过对比分配(pei)给突变残基的似(si)然可能性与分配给野生型的可能性之間(jian)的差建立与蛋白质适应度景观之间的关系。此子任务仅考(kao)慮(lv)单点突变数据。

新蛋白接触图预测结果

蛋白质功能预测结果如下：

（1）蛋白质功能注释预测：

蛋白功能预测结果

（2）蛋白质突变适应性景观预测

蛋白突变适应度景观预测结果

（3）下图为零样本突变适应度景观预测结果

零样本突变适应度分数预测

（4）在MIB和ABR两个功能预测任务上测试了MSA数量对于模型效果的影响，在失去(qu)MSA的情(qing)況(kuang)下Evoformer和MSA-Transformer无论是否经过预训练，都会产生更差的功能预测结果。

MSA的有无对模型结果的影响

（5）进一步(bu)提出一种新的MSA构建方式，其速度遠(yuan)远高于传统的生信(xin)方法例如HHblits，如下所示：

ESM-MSA搜(sou)索(suo)的MSA与Jackhmmer准确度对比

其中ESM-MSA为采用ESM-1b构建神经网络产生的MSA数据，详细构建方式见下图：

结论

通过对各种蛋白质相关任务的实验，可以得到以下结论：

(1) AlphaFold2训练的Evoformer能夠(gou)得到对结构和功能预测都有用的表征。

(2) Evoformer产生的表征对于蛋白质或残基级别预测任务都很有用。

(3) Evoformer在结构预测和蛋白稳定性预测方面优于ESM-1b和MSA-Transformer，但在其他功能预测任务上不如ESM-1b。

(4）与ESM-1b和MSA-Transformer相比， Evoformer在零样本突变任务上表现很差。

(5) 基于进化信息(xi)的蛋白质语言模型仅在结构预测任务中优于无进化信息的ESM-1b模型，在大多数功能预测任务中通常比ESM-1b差。

(6) 与结构预测类似，基于进化信息的蛋白质语言模型在预测蛋白质功能时也对MSA的数量比较敏感。

本文主要观点是通过大量的实验证实：AlphaFold2虽然在蛋白质结构预测任务上取得了革命性的成果，但其核心表征学习组件Evoformer并不能直接帶(dai)来蛋白质功能预测的显著提升，更不可能替(ti)代已有的SOTA， 也就是Facebook研发的 ESM1b与MSA-Transformer。

参考資(zi)料(liao)：

https://arxiv.org/abs/2206.06583返(fan)回搜狐(hu)，查看(kan)更多

責(ze)任编辑：