cpa广告联盟排名

hailiangchaowan，kaifangdaoshouruan，shishituisongduiyingxianshizhengdianqianggoushangpin，gezhongchaowanshouruankeyizhijiexiadan，fangbiangoumai。【jingjipaiweizhengba】majiangpaiweixinshangxian，yuquanqiuyiwanjiayiqiqiecuopaiji！tianfengdian：menpaizuiweihaohuazhongyaodedadian，lingyuegongzhangmenrenrichangchulishiwu，menneidizijihejuxingdahuidedifang。nidechengjiuganhekuaileganshiwomenjianchixiaqudedonglixiaoqufangchangfangmenlianyuanluoquandouyou，jingzhuntuijianxuanfangchaoshengxinML如(ru)何(he)做(zuo)科(ke)學(xue)發(fa)現(xian)？牛(niu)津(jin)大(da)学268頁(ye)博(bo)士(shi)論(lun)文(wen)詳(xiang)述(shu)科学機(ji)器(qi)学習(xi)內(nei)涵(han)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

作(zuo)者(zhe)：專(zhuan)知(zhi)

編(bian)輯(ji)：桃(tao)子(zi)

【新智元導(dao)讀(du)】现在(zai)，AI4Science是(shi)個(ge)熱(re)門(men)的(de)話(hua)題(ti)。如何把(ba)机器学习方(fang)法(fa)用(yong)在科学領(ling)域(yu)是个比(bi)較(jiao)實(shi)際(ji)的問(wen)题。科学机器学习(SciML)的领域。SciML的中(zhong)心(xin)目(mu)標(biao)是將(jiang)现有(you)的科学理(li)解(jie)與(yu)ML更(geng)緊(jin)密(mi)地(di)結(jie)合(he)起(qi)來(lai)，生(sheng)成(cheng)強(qiang)大的ML算(suan)法，這(zhe)些(xie)算法由(you)我(wo)們(men)的先(xian)驗(yan)知識(shi)提(ti)供(gong)信(xin)息(xi)。非(fei)常(chang)值(zhi)得(de)關(guan)註(zhu)！

机器学习(ML)已(yi)經(jing)使(shi)我们实踐(jian)科学的方式(shi)发生了(le)根(gen)本(ben)性(xing)的轉(zhuan)變(bian)，許(xu)多(duo)人(ren)现在把從(cong)數(shu)據(ju)中学习作為(wei)他(ta)们研(yan)究(jiu)的重(zhong)點(dian)。隨(sui)著(zhu)(zhe)我们想(xiang)要(yao)研究的科学问题的復(fu)雜(za)性的增(zeng)加(jia)，以(yi)及(ji)當(dang)今(jin)科学实验產(chan)生的数据量(liang)的增加，ML正(zheng)在幫(bang)助(zhu)自(zi)動(dong)化(hua)、加速(su)和(he)增强傳(chuan)統(tong)的工(gong)作流(liu)程(cheng)。站(zhan)在这場(chang)革(ge)命(ming)前(qian)沿(yan)的是壹(yi)个被(bei)稱(cheng)为科学机器学习(SciML)的领域。SciML的中心目标是将现有的科学理解与ML更紧密地结合起来，生成强大的ML算法，这些算法由我们的先验知识提供信息。

目前存(cun)在大量将科学原(yuan)理納(na)入(ru)ML的方法，人们對(dui)SciML解決(jue)科学中一些最(zui)大挑(tiao)戰(zhan)的期(qi)望(wang)越(yue)来越高(gao)。然(ran)而(er)，該(gai)领域正在蓬(peng)勃(bo)发展(zhan)，许多问题仍(reng)在出(chu)现。一个主(zhu)要的问题是SciML方法是否(fou)可(ke)以擴(kuo)展到(dao)更复杂的现实问题。许多SciML研究正處(chu)於(yu)概(gai)念(nian)验證(zheng)階(jie)段(duan)，在这个阶段，技(ji)術(shu)将在簡(jian)化的、简單(dan)的问题上(shang)進(jin)行(xing)验证。然而，了解它(ta)们在更复杂的问题上的可扩展性对于它们的廣(guang)泛(fan)應(ying)用至(zhi)关重要。这个问题是本文的中心问题。

首(shou)先，針(zhen)对月(yue)球(qiu)科学和地球物(wu)理领域的三(san)个复杂的、真(zhen)实的、特(te)定(ding)领域的案(an)例(li)研究設(she)計(ji)了多種(zhong)不(bu)同(tong)的物理知识机器学习方法，並(bing)評(ping)估(gu)了它们的性能(neng)和可扩展性。其(qi)次(ci)，评估和改(gai)进了物理信息神(shen)经網(wang)絡(luo)(一种流行的通(tong)用SciML方法)求(qiu)解具(ju)有大區(qu)域和高頻(pin)解的微(wei)分(fen)方程的可扩展性。討(tao)论了这些研究的共(gong)同觀(guan)察(cha)结果(guo)，并確(que)定了顯(xian)著的優(you)勢(shi)和潛(qian)在的限(xian)制(zhi)，突(tu)出了设计可扩展的SciML技术的重要性。

导论

机器学习(ML)在科学领域引(yin)起了一场革命。传统上，科学研究圍(wei)繞(rao)着理论和实验：一个人提出一个手(shou)工制作的和定義(yi)良(liang)好(hao)的理论，然後(hou)使用实验数据不斷(duan)完(wan)善(shan)它，并分析(xi)它以做出新的預(yu)測(ce)。但(dan)今天(tian)，许多人都(dou)把从数据中学习作为他们研究的重点。在这裏(li)，世(shi)界(jie)的模(mo)型(xing)是通過(guo)ML算法从数据中学习的，现有的理论是不需(xu)要的。这种转变的发生有多种原因(yin)。

首先，ML领域在过去(qu)十(shi)年(nian)中经歷(li)了指(zhi)数級(ji)增長(chang)，这一激(ji)增背(bei)后的主要驅(qu)动因素(su)通常被歸(gui)因于深(shen)度(du)学习的突破(po)[Goodfellow et al.，2016]。一些重要的发现，如使用更深層(ceng)次的网络设计和更好的訓(xun)練(lian)算法，以及更强大的计算架(jia)構(gou)的可用性，已经导致(zhi)深度学习技术在广泛问题上的性能迅(xun)速提高[Dally et al.，2021年]。现代(dai)ML算法现在能夠(gou)学习和解决難(nan)以置(zhi)信的复杂任(ren)務(wu)，从自动駕(jia)駛(shi)汽(qi)車(che)[Schwarting et al.，2018年]到擊(ji)敗(bai)世界级围棋(qi)選(xuan)手[Silver et al.，2018年]。

伴(ban)随着这些进步(bu)，今天的科学实验产生了越来越多的数据，研究越来越复杂的现象(xiang)[Baker et al.， 2019, Hey et al.， 2020]。人類(lei)和我们的传统工作流程对所(suo)有这些数据进行分析和理论化正在迅速变得不可能，不久(jiu)之(zhi)后，科学实验很(hen)可能會(hui)受(shou)到他们从已有数据中提取(qu)見(jian)解的能力(li)的限制，而不是他们可以收(shou)集(ji)什(shen)麽(me)数据[Baker et al.， 2019]。鑒(jian)于ML可以提供强大的工具，许多研究人員(yuan)正在转向(xiang)ML来帮助自动化、加速和增强传统的工作流程。在过去十年中，新的ML算法和数据可用性的结合导致了一些重大的科学进步。例如，ML已经被用于比以往(wang)任何時(shi)候(hou)都更準(zhun)确地预测蛋(dan)白(bai)質(zhi)结构[Jumper et al.， 2021]，从神经活(huo)动合成語(yu)音(yin)[anummanchipalli et al.， 2019]，以及改进量子多體(ti)系(xi)统的模擬(ni)[Carleo和Troyer, 2017]。事(shi)实上，现代的ML算法现在已经被应用到科学的幾(ji)乎(hu)每(mei)一个方面(mian)，这个时代的一个决定性研究问题已经变成：「解决问题X，并将ML应用到它上面」，随之而来的是有趣(qu)且(qie)常常令(ling)人興(xing)奮(fen)的结果。

然而，盡(jin)管(guan)有这些进步，但ML，特別(bie)是深度学习算法的各(ge)种缺(que)点在ML领域已经具体化。例如，尽管它们能够学习高度复杂的现象，但深度神经网络通常被視(shi)为「黑(hei)箱(xiang)」，人们缺乏(fa)对它们如何表(biao)示(shi)和推(tui)理世界的理解。这种不可解釋(shi)性是一个关鍵(jian)问题，特别是对于需要对网络预测进行论证的安(an)全(quan)关键应用[Gilpin et al.，2019,Castelvecchi, 2016]。此(ci)外(wai)，关于如何设计適(shi)合特定任务的深度学习算法，几乎沒(mei)有理论指导。深度神经网络架构的选擇(ze)主要是根据经验进行的，尽管元学习和神经架构搜(sou)索(suo)领域開(kai)始(shi)提供更多自动化的方法[Elsken et al.，2019年，Hospedales et al.，2021年]。最后，尽管深度神经网络表達(da)能力很强，但它们受到训练数据的限制，在训练分布(bu)之外通常表现不佳(jia)。学习在新任务中表现良好的世界可泛化模型是更通用人工智能(AI)系统的一个关键特征(zheng)，也(ye)是ML领域的一个关键突出挑战[Bengio et al.，2021]。

当在科学问题中使用ML时，研究人员开始遇(yu)到这些限制[Ourmazd, 2020, Forde和Paganini, 2019]。鉴于深度神经网络的泛化能力较差(cha)，一个关键问题是它们是否真正「学习」了科学原理。一个好的科学理论被期望能在实验数据之外做出新穎(ying)而准确的预测，然而深度神经网络在训练数据之外很难做出准确的预测。即(ji)使一个网络可以做出可靠(kao)的预测，考(kao)慮(lv)到它们的不可解释性，从它们中提取任何有意(yi)义的科学见解可能是具有挑战性的。

另(ling)一个主要问题是，许多当前的机器学习工作流完全用学习的模型取代了传统的科学模型。雖(sui)然这可能很有用，但这些純(chun)数据驱动的方法「拋(pao)棄(qi)」了我们大量的先验科学知识。

重要的一点是，对于许多问题，有一个现有的理论可以建(jian)立(li)，而不是从頭(tou)开始。在一个传统上基(ji)于明(ming)确的理论和实验之間(jian)紧密相(xiang)互(hu)作用的领域，一些人認(ren)为上述限制使当前的ML方法不可接(jie)受。这些擔(dan)憂(you)促(cu)使形(xing)成了一个快(kuai)速发展的新领域，称为科学机器学习(SciML) [Baker et al., 2019, Karniadakis et al., 2021, Willard et al., 2020, Cuomo et al., 2022, Arridge et al., 2019, Karpatne et al., 2017a]。SciML的目标是将现有的科学知识和ML融(rong)合在一起，生成更細(xi)微的ML算法，这些算法由我们的先验知识提供信息，如圖(tu)1.1所示。这一领域的关键论点是，通过这樣(yang)做，我们将最終(zhong)獲(huo)得更强大的科学研究方法。传统方法和ML方法各有优缺点，兩(liang)者的结合可能比其中一种更有效(xiao)。例如，在进行数据同化时(例如在氣(qi)候模型中)，可以使用传统物理模型提供先验知识，而ML可用于解释数据依(yi)賴(lai)性和其他未(wei)知物理。

图1.1：科学机器学习(SciML)概述。SciML旨(zhi)在将ML与科学知识紧密结合，以便(bian)为科学研究生成更强大、魯(lu)棒(bang)和可解释的ML方法。

人们对这一领域的期望正在迅速增长，目前正在提出和研究大量的方法和许多創(chuang)新策(ce)略(lve)，以将科学知识融入ML。这些方法的範(fan)围从预期的科学任务(例如模拟、反(fan)演(yan)和控(kong)制方程发现)，到不同的方法来合并科学原理(例如通过深度神经网络的架构、其損(sun)失(shi)函(han)数和混(hun)合模型的使用)，以及科学原理被强加的程度(例如通过硬(ying)約(yue)束(shu)或(huo)軟(ruan)约束)。我们将在第(di)2章(zhang)中详细回(hui)顧(gu)这些方法。许多方法使用来自物理学的思(si)想来通知其在SciML的子领域称为物理信息机器学习(PIML)的ML算法[Karniadakis等(deng)人，2021]。

到目前为止(zhi)，SciML 取得了一些初(chu)步的成功(gong)。它帮助我们进行了强大的模拟[Raissi al.，2019]，发现了复杂物理系统的控制方程[Kutz和Brunton, 2022]，在反演问题中精(jing)确地反演基礎(chu)參(can)数[Arridge等人，2019]，并在广泛的领域中無(wu)縫(feng)地将传统工作流与学习过的組(zu)件(jian)[Rackauckas等人，2020,Thuerey等人，2021]。尽管有早(zao)期的希(xi)望，但SciML领域仍处于起步阶段，出现了许多重要的问题，例如;我们应该如何实施(shi)科学原則(ze)?我们应该如何平(ping)衡(heng)数据驱动模型的可解释性的缺乏和现有理论的清(qing)晰(xi)性?是否存在可以跨(kua)科学学科应用的總(zong)括(kuo)的SciML技术?SciML能否为ML领域提供新的视角(jiao)和思路(lu)?对于复杂的现实世界问题，SciML技术的扩展性有多好?本文主要研究最后一个问题，具体讨论如下(xia)。

在本文中，我们主要采(cai)用两种方法来研究上述子问题。首先，针对前3个子问题，使用复杂的、真实的、特定领域的案例研究来考察多种不同的PIML方法的性能和可扩展性。对于每个子问题，我们提出了一个案例研究，提出了一种PIML技术(或各种PIML技术)来解决它，并评估该技术如何扩展到这种设置。其次，针对最后一个子问题，我们专注于单一的通用PIML技术，并评估和改进其可扩展性。前三个子问题分别在本论文的单獨(du)一章(分别为第3 ~ 5章)中进行研究，其案例研究均(jun)来自月球科学和地球物理学领域。最后一个子问题将在第6章进行研究。最后，我们在第七(qi)章中讨论和总结了每一章对我们主要研究问题的影(ying)響(xiang)。

SciML方法譜(pu)系。这張(zhang)图显示了本章中介(jie)紹(shao)的不同类型的SciML方法对科学知识的「强」程度。注意，科学约束的强度是一个相当模糊(hu)的概念;在这个图中，我们将其定义为SciML方法与传统工作流的接近(jin)程度。中间的方法同样将ML与传统工作流的某(mou)些方面结合起来，例如在循(xun)環(huan)方法中，将传统叠(die)代求解器与ML模型交(jiao)織(zhi)在一起。此外，我们的作業(ye)有些主观，所以这个数字(zi)只(zhi)是为了表达总体趨(qu)势。

返(fan)回搜狐(hu)，查(zha)看(kan)更多

責(ze)任编辑：