北京地铁三生三世广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>Hinton的(de)預(yu)言(yan)要(yao)實(shi)現(xian)了(le)！美(mei)加(jia)頂(ding)尖(jian)大(da)學(xue)Nature發(fa)文(wen)：全(quan)科(ke)醫(yi)学人(ren)工(gong)智(zhi)能(neng)GMAI不(bu)止(zhi)要取(qu)代(dai)「放(fang)射(she)科医生(sheng)」

新(xin)智元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】人工智能席(xi)卷(juan)医学界(jie)，全科AI医生的野(ye)心(xin)不會(hui)止步(bu)於(yu)看(kan)X光(guang)！

圖(tu)靈(ling)獎(jiang)得(de)主(zhu)、深(shen)度(du)学習(xi)先(xian)驅(qu)Hinton曾(zeng)预言到(dao)，「人們(men)现在(zai)應(ying)該(gai)停(ting)止培(pei)訓(xun)放射科医生。很(hen)明(ming)顯(xian)，在五(wu)年(nian)內(nei)，深度学习会比(bi)放射科医生做(zuo)得更(geng)好(hao)。這(zhe)可(ke)能需(xu)要10年的時(shi)間(jian)，但(dan)我(wo)们已(yi)經(jing)有(you)了足(zu)夠(gou)多(duo)的放射科医生。」

我認(ren)為(wei)，如(ru)果(guo)妳(ni)是(shi)壹(yi)名(ming)放射科医生，你就(jiu)像(xiang)一只(zhi)已经走(zou)到懸(xuan)崖(ya)邊(bian)緣(yuan)、但還(hai)沒(mei)有往(wang)下(xia)看的野狼(lang)。

近(jin)七(qi)年過(guo)去(qu)了，人工智能技(ji)術(shu)僅(jin)仅參(can)與(yu)並(bing)替(ti)代了部(bu)分(fen)放射員(yuan)的技术工作(zuo)，并且(qie)存(cun)在功(gong)能單(dan)一、训練(lian)數(shu)據(ju)不足等(deng)問(wen)題(ti)，讓(rang)放射科医生的飯(fan)碗(wan)依(yi)然(ran)握(wo)得很牢(lao)。

但ChatGPT類(lei)的基(ji)礎(chu)模(mo)型(xing)发布(bu)後(hou)，人工智能模型的能力(li)得到了前(qian)所(suo)未(wei)有的提(ti)升(sheng)，可以(yi)處(chu)理(li)多模態(tai)数据、無(wu)需微(wei)調(tiao)即(ji)可適(shi)应新任(ren)務(wu)的in-context学习能力，高(gao)度灵活(huo)、可重(zhong)復(fu)使(shi)用(yong)的人工智能模型的迅(xun)速(su)发展(zhan)或(huo)許(xu)会在医学領(ling)域(yu)引(yin)入(ru)新的能力。

最(zui)近，來(lai)自(zi)多所美國(guo)哈(ha)佛(fo)大学、斯(si)坦(tan)福(fu)大学、耶(ye)魯(lu)医学院(yuan)、加拿(na)大多倫(lun)多大学等多所顶尖高校(xiao)、医療(liao)機(ji)構(gou)的研(yan)究(jiu)人员在Nature上(shang)聯(lian)合(he)提出(chu)了一種(zhong)全新的医学人工智能範(fan)式(shi)，即「全科医学人工智能」（generalist medical artificial intelligence, GMAI）。

論(lun)文鏈(lian)接(jie)：https://www.nature.com/articles/s41586-023-05881-4

GMAI 模型將(jiang)能够使用很少(shao)或不使用任务特(te)定(ding)的標(biao)記(ji)数据執(zhi)行(xing)各(ge)种各樣(yang)的任务。通(tong)过對(dui)大型、多样化(hua)数据集(ji)的自監(jian)督(du)训练，GMAI可以灵活地(di)解(jie)釋(shi)医学模式的不同(tong)組(zu)合，包(bao)括(kuo)来自成(cheng)像、電(dian)子(zi)健(jian)康(kang)记錄(lu)、实驗(yan)室(shi)結(jie)果、基因(yin)组学、图表(biao)或医学文本(ben)的数据。

反(fan)过来，模型还可以生成具(ju)有表達(da)能力的輸(shu)出，如自由(you)文本解释、口(kou)頭(tou)推(tui)薦(jian)或图像註(zhu)释，展现先進(jin)的医学推理能力。

研究人员在文中(zhong)为 GMAI 確(que)定了一组具有高影(ying)響(xiang)力的潛(qian)在应用場(chang)景(jing)，并列(lie)出了具體(ti)的技术能力和(he)训练数据集。

作者(zhe)團(tuan)隊(dui)预計(ji)，GMAI 应用程(cheng)序(xu)将会挑(tiao)戰(zhan)目(mu)前的验證(zheng)医学AI設(she)備(bei)，并改(gai)變(bian)与大型医学数据集收(shou)集相(xiang)關(guan)的做法(fa)。

医疗AI通用模型的潜力

GMAI模型有望(wang)比目前的医学人工智能模型解決(jue)更多样化和更具挑战性(xing)的任务，甚(shen)至(zhi)对具体的任务幾(ji)乎(hu)没有标簽(qian)要求(qiu)。

在GMAI的三(san)個(ge)定義(yi)能力中，「能执行動(dong)态指(zhi)定的任务」和「能支(zhi)持(chi)数据模式的灵活组合」可以让GMAI模型和用戶(hu)之(zhi)间进行灵活的互(hu)动；第(di)三种能力要求GMAI模型形(xing)式化表示(shi)医学领域的知(zhi)識(shi)，并能够进行高級(ji)医学推理。

最近发布的一些(xie)基础模型已经表现出了部分GMAI的能力，通过灵活地结合多模态，可以在測(ce)試(shi)階(jie)段(duan)动态地指定一个新的任务，但要建(jian)立(li)一个具有上述(shu)三种能力的GMAI模型仍(reng)需要进一步的发展，例(li)如现有的医学推理模型（如GPT-3或PaLM）并不是多模态的，也(ye)无法生成可靠(kao)的事(shi)实性陳(chen)述。

灵活的交(jiao)互 Flexible interactions

GMAI为用户提供(gong)了通过自定义查(zha)詢(xun)与模型互动的能力，使不同的受(shou)眾(zhong)更容(rong)易(yi)理解人工智能的見(jian)解，并为不同的任务和设置(zhi)提供更大的灵活性。

目前人工智能模型只能处理非(fei)常(chang)局(ju)限(xian)的一组任务，并生成一套(tao)僵(jiang)化的、预先确定好的输出，比如說(shuo)模型可以檢(jian)测一种特定的疾(ji)病(bing)，接受某(mou)种图像，输出结果为患(huan)这种疾病的可能性。

相比之下，自定义查询可以输入用户拍(pai)腦(nao)袋(dai)想(xiang)出来问题，比如「解释一下这个头部MRI掃(sao)描(miao)中出现的腫(zhong)塊(kuai)，它(ta)更可能是肿瘤(liu)还是膿(nong)肿？」。

此(ci)外(wai)，查询可以让用户定制(zhi)其(qi)输出的格(ge)式，比如「这是一个膠(jiao)質(zhi)母(mu)細(xi)胞(bao)瘤患者的后續(xu)MRI扫描，用紅(hong)色(se)标出可能是肿瘤的部分。」

自定义查询可以实现兩(liang)个关鍵(jian)能力，即「动态任务」和「多模态输入输出」。

自定义查询可以教(jiao)导人工智能模型在運(yun)行中解决新的问题，动态地指定新的任务，而(er)无需对模型重新训练。

例如，GMAI可以回(hui)答(da)高度具体的、以前未见过的问题，比如「根(gen)据这个超(chao)聲(sheng)波(bo)结果，膽(dan)囊(nang)壁(bi)的厚(hou)度是多少毫(hao)米(mi)？」。

GMAI模型可能難(nan)以完(wan)成涉(she)及(ji)未知概(gai)念(nian)或病理的新任务，而上下文学习（in-context learning）可以让用户用很少的几个例子来教GMAI学习新概念，比如「这裏(li)有10个以前患有一种新出现的疾病的病人的病史(shi)，即感(gan)染(ran)了Langya henipavirus，现在的这个病人也感染Langya henipavirus的可能性有多大？」。

自定义查询还可以接受包含(han)多模态的复雜(za)医疗信(xin)息(xi)，比如臨(lin)床(chuang)医生在询问診(zhen)斷(duan)时，可能会在查询中输入报告(gao)、波形信號(hao)、实验室结果、基因组图譜(pu)和成像研究等；GMAI模型还可以灵活地将不同的模式納(na)入回答中，例如用户可能要求提供文本答案(an)和附(fu)帶(dai)的可視(shi)化信息。

医学领域知识

与临床医生形成鮮(xian)明对比的是，傳(chuan)統(tong)的医学人工智能模型在为其特定任务进行训练之前，通常缺(que)乏(fa)对医学领域背(bei)景的了解（如病理生理过程等），只能完全依賴(lai)输入数据的特征(zheng)和预测目标之间的统计关联。

缺乏背景信息会导致(zhi)很难训练一个特定医疗任务的模型，特別(bie)是當(dang)任务数据稀(xi)缺时。

GMAI模型可以通过形式化表示医学知识来解决这些缺陷(xian)，例如知识图谱等结构可以让模型对医学概念和它们之间的关系(xi)进行推理；此外，在基于检索(suo)的方(fang)法的基础上，GMAI可以從(cong)现有的数据庫(ku)中检索相关的背景，其形式包括文章(zhang)、图像或之前的案例。

由此得到的模型可以提出一些警(jing)告，比如「这个病人可能会发展成急(ji)性呼(hu)吸(xi)窘(jiong)迫(po)綜(zong)合征，因为这个病人最近因嚴(yan)重的胸(xiong)腔(qiang)創(chuang)傷(shang)入院，而且盡(jin)管(guan)吸入的氧(yang)氣(qi)量(liang)增(zeng)加了，但病人动脈(mai)血(xue)中的氧分壓(ya)卻(que)持续下降(jiang)。」

由于GMAI模型甚至可能被(bei)要求提供治(zhi)疗建議(yi)，尽管大部分是在觀(guan)察(cha)数据的基础上进行训练，该模型推断和利(li)用医学概念和临床发现之间的因果关系的能力将对临床适用性起(qi)到关键作用。

最后，通过獲(huo)取豐(feng)富(fu)的分子和临床知识，GMAI模型可以通过借(jie)鑒(jian)相关问题的知识来解决数据有限的任务。

机遇(yu)

GMAI有潜力通过改善(shan)護(hu)理和減(jian)少临床医生的工作量来影响实際(ji)的医疗过程。

可控(kong)性（Controllability）

GMAI可以让用户精(jing)细地控制其输出的格式，使复杂的医疗信息更容易获得和理解，所以需要某种GMAI模型根据受众需求对模型输出进行重新复述。

由GMAI提供的可视化结果也需要精心定制，比如通过改变视角(jiao)或用文字(zi)标注重要特征等，模型还可以潜在地调整(zheng)其输出中特定领域的细節(jie)水(shui)平(ping)，或将其翻(fan)譯(yi)成多种語(yu)言，与不同的用户进行有效(xiao)溝(gou)通。

最后，GMAI的灵活性使其能够适应特定的地區(qu)或医院，遵(zun)循(xun)当地的习俗(su)和政(zheng)策(ce)，用户可能需要关于如何(he)查询GMAI模型，以及有效利用其输出的正(zheng)式指导。

适应性（Adaptability）

现有的医疗人工智能模型难以应对分布的轉(zhuan)变，但由于技术、程序、環(huan)境(jing)或人口的不断变化，数据的分布可能会发生巨(ju)大变化。

GMAI可以通过上下文学习（in-context learning）跟(gen)上转变的步伐(fa)，例如医院可以教GMAI模型解释来自全新扫描儀(yi)的X射線(xian)，只需输入提示和几个样例即可。

也就是说，GMAI可以即时适应新的数据分布，而传统的医疗人工智能模型則(ze)需要在全新的数据集上重新训练；不过目前只有在大型语言模型中观察到了上下文学习（in-context learning）的能力。

为了确保(bao)GMAI能够适应上下文的变化，GMAI模型需要在来自多个互補(bu)数据源(yuan)以及多样化的数据上进行训练。

比如为了适应2019年冠(guan)狀(zhuang)病毒(du)疾病的新变种，一个成功的模型可以检索过去变种的特征，并在面(mian)对查询中的新上下文时更新这些特征，一个临床医生可能直(zhi)接输入「检查这些胸部X射线，看看是否(fou)有奧(ao)密(mi)克(ke)戎(rong)」。

模型可以对比德(de)爾(er)塔(ta)变体，考(kao)慮(lv)将支气管和血管周(zhou)圍(wei)的浸(jin)潤(run)作为关键信号。

尽管用户可以通过提示詞(ci)手(shou)动调整模型行为，但新技术也可以发揮(hui)自动纳入人类反饋(kui)的作用。

用户可以对GMAI模型的每(mei)个输出进行評(ping)價(jia)或评论，就像ChatGPT使用的強(qiang)化学习反馈技术，可以借此改变GMAI模型的行为。

适用性（Applicability）

大規(gui)模的人工智能模型已经成为众多下遊(you)应用的基础，例如GPT-3在发布后的几个月(yue)内就已经为不同行業(ye)的300多个应用程序提供了技术支持。

医学基础模型中，CheXzero可用于检测胸部X光片(pian)中的几十(shi)种疾病，并且不需要在这些疾病的显式标签上进行训练。

向(xiang)GMAI的范式转变将推动具有廣(guang)泛(fan)能力的大规模医疗AI模型的開(kai)发和发布，可以作为各种下游临床应用的基础：既(ji)可以直接使用GMAI的输出，也可以将GMAI的结果作为中间表示，后续再(zai)接入一个小(xiao)型的领域内模型。

需要注意(yi)的是，这种灵活的适用性也是一把(ba)雙(shuang)刃(ren)劍(jian)，所有存在于基础模型中的故(gu)障(zhang)都(dou)会在下游应用中繼(ji)续传播(bo)。

挑战

雖(sui)然GMAI模型有諸(zhu)多優(you)勢(shi)，但相比其他(ta)领域，医学领域的安(an)全風(feng)險(xian)特别高，所以还需要应对确保安全部署(shu)的难题。

有效性/确认（Validation）

GMAI模型由于其前所未有的多功能性，所以想要进行能力验证也十分困(kun)难。

目前的人工智能模型都是針(zhen)对特定任务而设计的，所以只需要在那(na)些预定义的用例中进行验证即可，比如从大脑核(he)磁(ci)共(gong)振(zhen)成像中诊断出特定类型的癌(ai)癥(zheng)。

但GMAI模型还可以执行終(zhong)端(duan)用户首(shou)次(ci)提出的先前未见过的任务（例如在脑部MRI中诊断其他疾病），如何预测所有的故障模式是一个更难的问题。

开发者和监管机构需要負(fu)責(ze)解释GMAI模型是如何被测试的，以及它们被批(pi)準(zhun)用于哪(na)些用例；GMAI界面本身(shen)的设计应该在进入未知领域时提出「标签外使用」的警告，而不能自信地编造(zao)不准确的信息。

更广泛地说，GMAI獨(du)特的广泛能力要求监管部門(men)有遠(yuan)见，要求机构和政府(fu)政策适应新的范式，还将重塑(su)保险安排(pai)和责任分配(pei)。

验证（Verification）

与传统的人工智能模型相比，GMAI模型可以处理異(yi)常复杂的输入和输出，使临床医生更难确定其正确性。

例如传统模型在对病人的癌症进行分类时，可能只考虑一項(xiang)成像研究结果，只需要一名放射科医生或病理学家(jia)就可以验证该模型的输出是否正确。

而GMAI模型可能会考虑两种输入，并可能输出初(chu)始(shi)分类、治疗建议和涉及可视化、统计分析(xi)和文獻(xian)参考的多模式论证。

在这种情(qing)況(kuang)下，可能需要一个多学科小组（由放射科医生、病理科医生、肿瘤科医生和其他專(zhuan)家组成）来判(pan)断GMAI的输出是否正确。

因此，无论是在验证期(qi)间还是在模型部署之后，对GMAI输出的事实核查都是一个严峻(jun)的挑战。

创建者可以通过纳入可解释技术使GMAI输出更容易验证，例如，让GMAI的输出包括可點(dian)擊(ji)的文献及具体的证据段落(luo)，使临床医生能够更有效地验证GMAI的预测。

最后，至关重要的是，GMAI模型应准确表达不确定性，防(fang)止用过度自信的陈述来誤(wu)导用户。

社(she)会偏(pian)见（Social bias）

医学人工智能模型可能会延(yan)续社会的偏见，并对边缘化人群(qun)造成伤害(hai)。

在开发GMAI时，这些风险可能会更加明显，海(hai)量数据的需求和复杂性会使模型难以确保没有不良(liang)的偏见。

GMAI模型必(bi)須(xu)得到徹(che)底(di)验证，以确保它们在特定人群（如少数群体）中的表现不会不佳(jia)。

即使在部署后，模型也需要进行持续的審(shen)计和监管，因为隨(sui)著(zhe)模型遇到新的任务和环境，可能会出现新的问题，迅速识别和修(xiu)复偏见必须是开发者、供应商(shang)和监管者的首要任务。

隱(yin)私(si)（Privacy）

GMAI模型的开发和使用对患者隐私构成了严重风险，可能会接觸(chu)到丰富的病人特征，包括临床测量和信号、分子特征和人口统计信息以及行为和感官(guan)追(zhui)蹤(zong)数据。

此外，GMAI模型可能会使用更大的架(jia)构，更容易记憶(yi)训练数据并直接重复給(gei)用户，可能会暴(bao)露(lu)训练数据集中的敏(min)感病人数据。

可以通过去身份(fen)化和限制对个别病人的信息收集量，减少暴露数据造成的損(sun)害。

隐私问题也并不限于训练数据，部署的GMAI模型也可能暴露当前病人的数据，例如提示性攻(gong)击可以欺(qi)騙(pian)GPT-3等模型，使其忽(hu)略(lve)之前的指令(ling)；惡(e)意用户可以强迫模型忽略「不暴露信息」的指令以提取敏感数据。

参考資(zi)料(liao)：

https://www.nature.com/articles/s41586-023-05881-4返(fan)回搜(sou)狐(hu)，查看更多

责任编辑：