「广州小蛮腰」惊艳上演！广告大赏您不容错过

shiyongrenheyansehunhelaifanyingnixinzhongdutedefengjingkeyisousuogezhongyouqudeyouxi，weiyouxuqiudeyonghutigongxiazaiqudao。suoyoudexuexiziyuanzaipingtaizhongdouyouxiangxidefenleihejieshao，fangbianyonghukuaisusousuodaozhunquedeziyuan。keyueduzhakangexiangfuwufeichangshihejieyafangsongdeyouxi，zhixujiangxiangtongshuzizuhedaoyiqijiukeyihechengweixindeshuzi第(di)四(si)範(fan)式(shi)開(kai)發(fa)用(yong)於(yu)分(fen)子(zi)性(xing)質(zhi)預(yu)測(ce)的(de)生(sheng)成(cheng)式3D预訓(xun)練(lian)模(mo)型(xing)

DoNews7月(yue)12日(ri)消(xiao)息(xi)，第四范式基(ji)于生成式3D预训练大(da)模型在(zai)分子性质预测領(ling)域(yu)的最(zui)新(xin)研(yan)究(jiu)成果(guo)，近(jin)日被(bei)國(guo)際(ji)頂(ding)會(hui)KDD 2023收(shou)錄(lu)。

論(lun)文(wen)內(nei)容(rong)已(yi)經(jing)发布(bu)到(dao)arxiv，代(dai)碼(ma)已开源(yuan)。论文作(zuo)者(zhe)是(shi)4Paradigm AutoGraph團(tuan)隊(dui)。

分子性质预测是藥(yao)物(wu)发現(xian)和(he)材(cai)料(liao)科(ke)學(xue)等(deng)领域中(zhong)的壹(yi)個(ge)重(zhong)要(yao)問(wen)題(ti)。考(kao)慮(lv)到分子的3D結(jie)構(gou)信(xin)息與(yu)其(qi)性质緊(jin)密(mi)相(xiang)關(guan)，近年(nian)來(lai)，一个主(zhu)流(liu)的研究熱(re)點(dian)是將(jiang)分子的3D结构信息与各(ge)種(zhong)以(yi)圖(tu)学習(xi)為(wei)代表(biao)的機(ji)器(qi)学习方(fang)法(fa)结合(he)，以提(ti)高(gao)分子性质的预测性能(neng)。

然(ran)而(er)，由(you)于高昂(ang)的計(ji)算(suan)成本(ben)，在大規(gui)模數(shu)據(ju)實(shi)時(shi)计算分子的3D结构幾(ji)乎(hu)是不(bu)可(ke)行(xing)的。

图1：cc(=o)oc1=cc=cc=c1c(=o)o的2D分子图（左(zuo)）和3D构象(xiang)图（右(you)）。

面(mian)對(dui)這(zhe)一挑(tiao)戰(zhan)，第四范式提出(chu)了(le)一个以预训练范式为基礎(chu)的大模型，專(zhuan)門(men)用于分子性质预测。预训练范式隸(li)屬(shu)于 AIGC 的一个重要技(ji)術(shu)分支(zhi)[2]，其能處(chu)理(li)大规模数据集(ji)並(bing)提取(qu)深(shen)層(ceng)次(ci)特(te)征(zheng)，充(chong)分利(li)用了大模型的優(you)勢(shi)。

本文在分子领域结合已有(you)的3D分子构象進(jin)行预训练，并在实际下(xia)遊(you)任(ren)務(wu)中只(zhi)基于分子的2D结构信息进行微(wei)調(tiao)并进行性质预测，從(cong)而在保(bao)證(zheng)高效(xiao)的前(qian)提下进一步(bu)提升(sheng)在下游任务上(shang)的表现。

在这項(xiang)工(gong)作中，第四范式提出了一种自(zi)動(dong)化(hua)3D预训练框(kuang)架(jia)：3D-PGT。基于分子的化学鍵(jian)長(chang)、键角(jiao)和二(er)面角是对應(ying)于完(wan)整(zheng)分子3D构象的三(san)个基本几何(he)描(miao)述(shu)符(fu)这一事(shi)实，第四范式对应設(she)计了三个生成式预训练任务，使(shi)得(de)模型通(tong)過(guo)预训练能夠(gou)具(ju)備(bei)編(bian)码3D几何结构的能力(li)。而为了自动化分配(pei)这三个预训练任务的權(quan)重以融(rong)合成一个總(zong)體(ti)的预训练目(mu)標(biao)函(han)数，第四范式基于分子总能量(liang)设计了一个surrogate metric，从而自动搜(sou)索(suo)三个预训练任务的权重分布。

图2：分子性质预测问题的核(he)心(xin)问题示(shi)意(yi)：如(ru)何兼(jian)具更(geng)快(kuai)的推(tui)理速(su)度(du)和更小(xiao)的推理誤(wu)差(cha)。

为了驗(yan)证所(suo)设计的预训练框架的有效性，第四范式基于已测定(ding) 3D 结构的公(gong)开分子数据集进行了预训练，并在 8 个量子化学性质预测任务和 12 个涉(she)及(ji)药理学、分子化学的下游任务上进行微调和实验验证。

结果表明(ming)，3D-PGT能通过3D预训练帶(dai)来明顯(xian)的性能增(zeng)益(yi)，且(qie)优于其他(ta)预训练 baseline。这再(zai)次证明了在分子性质预测领域，大模型处理復(fu)雜(za)任务和大规模数据的优势。

同(tong)时，基于 3D-PGT 的方法還(hai)在催(cui)化劑(ji)仿(fang)真(zhen)挑战 Open Catalyst Challenge 2022 上取得第 3，在大规模分子性质预测挑战 OGB-LSC@NeruIPS challenge 2022 中取得第 8 名(ming)的成績(ji)。

2. 背(bei)景(jing)介(jie)紹(shao)

分子性质作为描述分子特征和行为的基本属性，在药理学、材料化学等研究领域和具体应用都(dou)有著(zhu)(zhe)重要意義(yi)。然而分子性质的测定往(wang)往需(xu)要借(jie)助(zhu)成本高昂的计算方式，例(li)如以密度泛(fan)函理论（Density Functional Theory, DFT）为代表的计算化学方法。

近年来，隨(sui)着大规模量子化学计算和高通量实验的技术进步，一个新興(xing)的工業(ye)界(jie)和学术界热门的研究方向(xiang)，是利用具有適(shi)當(dang)歸(gui)納(na)偏(pian)置(zhi)的机器学习方法并结合已测定性质的大量分子数据，实现高效的分子性质预测，并应用于一系(xi)列(lie)实际下游应用中，例如大规模药物分子篩(shai)選(xuan)，合成材料筛选，催化剂设计等。

图3：分子性质预测效率(lv)对比(bi)示意图。其中基于量子化学计算的DFT计算特定分子性质需要数个小时，而利用机器学习方法只需要遠(yuan)小于1秒(miao)的时間(jian)。該(gai)图出自OGB@NeurIPS 2022 Challenge，预测分子的HOMO-LUMO能隙(xi)。

在过去(qu)的几年中，一种主流的方法是将分子建(jian)模为 2D 图结构，其中以原(yuan)子作为節(jie)点，而邊(bian)作为化学键，将整个分子性质预测建模为图級(ji)（Graph-level）预测任务，并应用 GNN（Graph Neural Network）通过擬(ni)合 DFT 的计算方式预测分子的性质。但(dan)目前，这种方法只有較(jiao)高的预测效率，预测性能距(ju)離(li)实际应用还有较大的差距。

图4：现有分子性质预测方法的一般(ban)流程(cheng)。基于DFT的量子化学计算方法首(shou)先(xian)对分子的三維(wei)结构进行优化以獲(huo)得低(di)能构象，然後(hou)基于构象计算特定的分子性质。2D模型近似(si)DFT的整个过程，通过輸(shu)入(ru)的2D分子图直(zhi)接(jie)预测分子性质；3D模型在2D分子图的基础上还需要进一步输入3D分子构象，以获得更好(hao)的预测性能。

由于分子的 3D 结构反(fan)映(ying)了原子和官(guan)能团之(zhi)间的相互(hu)作用和相对位(wei)置，因(yin)此(ci) 3D 结构对分子性质的理解(jie)至(zhi)关重要。考虑到这一点，一系列方法針(zhen)对分子的 3D 结构信息设计 3D 模型，从而获得更好的预测效果。然而，3D 结构的获取需要依(yi)賴(lai) DFT 等量子化学计算手(shou)段(duan)，这种昂貴(gui)的计算成本導(dao)致(zhi)分子的 3D 结构在許(xu)多(duo)实际的下游任务中往往是不可获取的。

结合上述兩(liang)种主流路(lu)線(xian)各自的优缺(que)点，一个最近比较新穎(ying)的角度是将包(bao)含(han)已测定 3D 结构信息的数据集作为预训练数据集，基于 3D 结构设计预训练任务，从而讓(rang)模型理解 DFT 由 2D 分子图计算优化 3D 结构的过程，并将该先验信息遷(qian)移(yi)到下游 2D 分子性质预测任务上，从而兼具效率和性能。

目前，主流的同期(qi)工作例如 GraphMVP[3] 和3D Infomax[4] 都通过对齊(qi)分子 2D 視(shi)图和 3D 视图的图级表示向量来设计预训练目标函数，并通过在主流 benchmark 上的实验证明了 3D 预训练方案(an)的有效性。

綜(zong)上，本文繼(ji)續(xu)沿(yan)着分子 3D-Pretraining 的 Pipeline，设计了三个基础的生成式预训练任务，并基于分子总能量设计目标函数来自动搜索各预训练任务的权重，从而构建多预训练任务的自动融合框架，并在廣(guang)泛的下游任务上获得了显著的预训练收益。

3. 本文的方法

3.1 生成式预训练任务的设计

DFT 优化分子 3D 结构的核心是在势能面上尋(xun)找(zhao)局(ju)部(bu)最小值(zhi)[5]，分子能量出于势能面上局部最小值时的 3D 结构也(ye)被稱(cheng)为分子构象。其中，构象所包含的 3D 几何信息可以被以下三个描述符完整地(di)描述：两个原子之间的化学键长、两个化学键之间形(xing)成的夾(jia)角，以及三个化学键形成的二面角。

生成式预训练任务使模型能够理解分子从 2D 拓(tuo)撲(pu)到 3D 几何的基于 DFT 的优化过程。由于分子几何是由電(dian)子的量子力学行为決(jue)定的，因此生成式预训练任务可以通过学习 3D 构象的生成来间接学习量子化学性质的预测。基于此，本文设计了三个生成式预训练任务来分別(bie)生成这键长、键角、二面角这三个描述符，具体如下所示：

图5：分子结构和势能面关系示意图。势能面将分子能量定义为多个坐(zuo)标軸(zhou)的函数，分子3D构象的优化就(jiu)是在势能面上寻找局部最小值，而3D构象中的几何信息可以通过連(lian)接两个原子的键长、三个相连原子的键角和三个连续键的二面角来描述

其中，h 代表对应节点的表示向量，f 为对应的预测網(wang)絡(luo)（这裏(li)的设置是MLP）。可以看(kan)到，这三个任务的核心思(si)路都是利用 backbone 提取的节点表示来设计具体的回(hui)归任务，通过将描述符中包含的 3D 结构信息当做(zuo)解讀(du)信號(hao)，从而让 backbone 具有编码 3D 结构信息的能力，并将这种能力作为先验嵌(qian)入到模型并迁移到实际的下游任务中。

同时，考虑到当鄰(lin)居(ju)数为|N|时，分子的键角和二面角的计算复杂度呈(cheng) Ο(|N|^2 )和Ο(|N|^3 ) 增长，使得大规模的 3D 预训练实现成本过高。本文基于 RGC（Runtime Geometry Calculation）重新设计了键角和二面角的目标函数，用每(mei)个原子的所涉及的键角和与每个化学键设计的二面角的和来代替(ti)所有键角和二面角的预测，从而将计算复杂度降(jiang)低到线性级别。

3.2 自动化多预训练任务融合框架

由于第四范式同时定义了多个预训练任务，且各预训练任务的損(sun)失(shi)函数对于模型參(can)数的梯(ti)度优化方向并不一致，因此各自预训练任务的权重分配是一个需要考虑的问题。如何自动化且最更好地分配多预训练任务的权重，以预期在下游任务上获得更好的性能增益，是设计多预训练任务融合框架的核心。

由于键长、键角和二面角都是局部描述符，因此这里需要一个明確(que)的 surrogate metric 来評(ping)估(gu)预训练后的 backbone 对于分子 3D 结构整体的编码能力而不是局部编码能力。

对此，本文考虑得到分子总能量和分子 3D 结构之间的对应关系，基于分子总能量设计了一个目标函数，并基于此设计了 bi-level 的油(you)畫(hua)框架来搜索三个生成式预训练任务各自的权重。

最終(zhong)，第四范式整体预训练的 pipeline 如下图所示。在预训练階(jie)段，第四范式首先基于预训练分子的低能构象设计了三个生成式预训练任务，并基于分子低能构象对应的分子总能量设计了一个 surrogate metric 来搜索三个预训练任务的各自权重；而在下游的微调阶段，由于我(wo)們(men)已经在预训练阶段引(yin)入了分子几何先验，因此通过微调即(ji)可在实际下游任务中获得性能增益。

图6：3D-PGT的预训练框架示意图

4. 实验结果

在本文中，第四范式针对性的设计了一系列实验来证明 3D 预训练这一技术路线和本文设计的预训练任务及自动融合框架的有效性，从而面臨(lin)当只有 2D 分子图可以用于预测时，可以避(bi)免(mian)为每个分子生成 3D 构象的巨(ju)大计算成本，并能通过微调获得明显的性能收益。

本文主要在 3 个包含 3D 结构信息的数据集上进行预训练，并主要在 12 个下游任务上进行微调和效果验证，数据集的詳(xiang)細(xi)統(tong)计数据如下所示：

图7：数据集的统计细节

4.1 量子化学性质预测的表现

本文首先在流行的基準(zhun)数据集QM9上评估了3D-PGT的量子化学领域的性质预测能力。第四范式首先从QM9包含的134k單(dan)一分子构象樣(yang)本中随机选取50k个攜(xie)带构象信息的分子样本用于预训练，并从剩(sheng)余(yu)的样本中选取50k个分子样本并屏(ping)蔽(bi)其3D结构信息用于微调和评测。结果如下：

图8：QM9数据集实验对比结果，评價(jia)指(zhi)标为MAE（平(ping)均(jun)絕(jue)对误差）

从实验结果中，第四范式觀(guan)测到以下现象 ：1）首先，3D-PGT以GPS作为backbone进行预训练和微调，但相较于GPS的baseline，3D-PGT在8种量子化学性质的预测上平均減(jian)少(shao)了17.7%的MAE；2）同时，3D-PGT也明显优于其他2D预训练方法，以GraphCL为例，其不包含3D结构信息的预训练所能带来的性能提升是有限(xian)的；3）相较于GraphMVP和3D Infomax两种前沿的3D预训练方法，我们的预训练框架仍(reng)然具有性能优势；4）值得註(zhu)意的是，当給(gei)定准确的3D结构时，3D模型SMP取得了显著的性能优势，但当提供(gong)给SMP的3D信息来源是粗(cu)糙(cao)的RDKit计算结果时，3D-PGT在8个预测任务中的6个都擊(ji)敗(bai)了SMP，体现了3D预训练范式在效率和性能上优势。

图9：不同方法在HOMO预测任务上的推理时间和性能排(pai)名

4.2 在其他广泛下游任务上的泛化能力

除(chu)了预测与分子 3D 结构密切(qie)相关的量子化学性质外(wai)，第四范式还将下游任务进一步推广到药理学、物理学和生物学等领域，且这些(xie)任务的输入只包含 2D 分子图。

第四范式在 GEOM 数据集中随机选擇(ze) 50 k个具有单个构象的分子进行预训练，并对 8 个主流下游分子性质分類(lei)任务和 6 个回归任务上进行微调，且这些下游任务包含的数据量都较少，具体结果如下：

图10：在四个分子性质预测任务（RMSE）和两个药物蛋(dan)白(bai)靶(ba)点親(qin)和力预测任务（MSE）上的实验结果

可以看到，3D-PGT 在大多数下游任务上都优于其他 baseline，且与 GPS 相比，3D-PGT 依舊(jiu)可以预训练获得穩(wen)定的性能收益。这意味(wei)着第四范式所设计的预训练框架可以将性能增益推广到广泛的下游任务上（除分子性质预测本身(shen)外，在两个药物和靶蛋白亲和力预测任务 Davis 和 KIBA 上也获得了性能收益），而不局限于和 3D 结构密切相关的量子化学性质预测，且即使在小样本数据上的微调也能带来性能增益。

4.3 在大规模数据挑战賽(sai)上的表现

在 OGB-LSC 的 Graph-level 预测任务赛道(dao)中，PCQM4Mv2 是一个包含 374 萬(wan)分子的大型分子数据集，其中的 337 万个训练样本的 3D 几何信息通过 DFT 计算得到，且为了接近大规模的虛(xu)拟筛选場(chang)景，该挑战沒(mei)有提供验证集和测試(shi)集的 3D 构象，且要求(qiu)使用单个 GPU 在 4 小时内完成 150k 个分子的 HOMO-LUMO gap 的推斷(duan)，这意味着在模型的推理阶段计算所有测试样本的几何结构是不可行的。3D-PGT 在该数据集上的表现与 Leaderboard 排名前列的方法对比结果如下所示：

图11：在PCQM4Mv@验证集上的实验结果

可以看到，与现有的不考虑 3D 结构信息的 GNN 和 Transformer 系列方法相比，3D-PGT 通过引入生成式预训练任务得到了明显的性能提升。其中针对GPS 的 baseline，3D-PGT 通过设计的自动预训练框架降低了 10.6 的 MAE，且在单模型的性能上由于OGB@NeruIPS 2022冠(guan)軍(jun)方案GPS++。

与此同时，Open Catalyst Challenge 2022是一个致力于利用分子模拟发现高性能催化剂的挑战赛。该比赛的核心任务是之一利用机器学习模型预测催化剂分子活(huo)性。

训练集包含 200 万个分子，且記(ji)录了每个分子样本的 3D 结构和总能量。最终，结合 AutoGraph 的算法，3D-PGT 在该挑战赛上取得了第三的成绩，再次印(yin)证了该预训练框架的有效性和競(jing)爭(zheng)力。

图12：Open Catalyst Challenge 2022 Leaderboard结果

5. 结论

在这项工作中，第四范式提出了 3D-PGT，一种自动化的 3D 预训练框架，专注于提升在实 3D 结构不可用的分子性质预测任务上的表现。

3D-PGT 设计了多个生成式预训练任务，这些任务可以将几何先验带入微调阶段。同时，为了更好地自动融合这些预训练任务并使其效益能够具有普(pu)适性，第四范式基于分子总能量设计了一个预训练的 surrogate metric 来搜索每个预任务的自适应权重。

本文基于现有主流的量子化学数据集和一系列广泛的下游任务设计了实验，且实验结果表明，3D-PGT 通过预训练引入潛(qian)在的几何先验不僅(jin)有利于量子化学性质的预测，而且有利于药理学、物理化学和生物物理学等领域的预测。此外，在 OGB 排行榜(bang)上，3D-PGT 在大规模分子预测方面优于顶级解决方案的所有 baseline。

在未(wei)来的工作中，考虑到在 NLP 领域 GPT 的预训练范式的成功(gong)，我们会将该框架和 3D 分子预训练范式推广到实际的下游应用中，例如开发用于儲(chu)存(cun)可再生能源的催化剂等。

来源：iDoNews返(fan)回搜狐(hu)，查(zha)看更多

責(ze)任编輯(ji)：