贵州电视台直播

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>同(tong)行(xing)評(ping)議(yi)質(zhi)量(liang)太(tai)差(cha)！ICML 2023全(quan)新(xin)實(shi)驗(yan)：我(wo)審(shen)我自(zi)己(ji)

新智(zhi)元(yuan)報(bao)道(dao)

作(zuo)者(zhe)：李(li)樸(pu)恒(heng)

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】賓(bin)夕(xi)法(fa)尼(ni)亞(ya)大(da)學(xue)蘇(su)煒(wei)傑(jie)教(jiao)授(shou)提(ti)出(chu)讓(rang)作者提供(gong)投(tou)稿(gao)文(wen)章(zhang)质量排(pai)序(xu)以(yi)改(gai)善(shan)會(hui)议同行评议质量的(de)新方(fang)法，該(gai)方法於(yu)今(jin)年(nian)的ICML会议中(zhong)投入(ru)实验。

近(jin)年來(lai)，以ICLR、NeurIPS、ICML等(deng)為(wei)代(dai)表(biao)的機(ji)器(qi)学習(xi)会议的文章投稿量呈(cheng)指(zhi)數(shu)級(ji)增(zeng)長(chang)，投稿人(ren)数以及(ji)每(mei)人的投稿数量都(dou)在(zai)不(bu)斷(duan)增加(jia)，部(bu)分(fen)高(gao)產(chan)作者甚(shen)至(zhi)会在單(dan)個(ge)会议投稿三(san)十(shi)余(yu)篇(pian)甚至四(si)十余篇論(lun)文。

如(ru)今的会议通(tong)常(chang)采(cai)用(yong)同行评议制(zhi)度(du)，壹(yi)篇投稿论文通常有(you)3位(wei)左(zuo)右(you)的审稿人進(jin)行审稿，給(gei)出评分以及修(xiu)改意(yi)見(jian)。

一篇论文往(wang)往有至少(shao)幾(ji)个月(yue)甚至几年的研(yan)究(jiu)周(zhou)期(qi)，在同行评议的审稿制度下(xia)，必(bi)須(xu)要(yao)求(qiu)审稿人在短(duan)時(shi)間(jian)內(nei)閱(yue)读大量文章並(bing)给出审稿意见，這(zhe)一現(xian)象(xiang)無(wu)疑(yi)是(shi)對(dui)于审稿质量的巨(ju)大沖(chong)擊(ji)。

同行评议的制度意味(wei)著(zhe)审稿人具(ju)有一言(yan)九(jiu)鼎(ding)的話(hua)語(yu)權(quan)，这已(yi)成(cheng)为被(bei)眾(zhong)多(duo)科(ke)学家(jia)所(suo)詬(gou)病(bing)的话題(ti)。

美(mei)國(guo)学Adam Mastroianni指出，同行评议这一起(qi)源(yuan)于上(shang)世(shi)界(jie)60年代，长達(da)60年的「科学实验」已經(jing)以失(shi)敗(bai)告(gao)終(zhong)。他(ta)对此(ci)發(fa)表的文章Things Could be Better受(shou)到(dao)了(le)廣(guang)大学者的支(zhi)持(chi)。

为什(shen)麽(me)同行评议审稿质量越(yue)来越差？

據(ju)一項(xiang)調(tiao)查(zha)統(tong)計(ji)，2016年NeurIPS会议中，有70%的审稿人都是PhD在读学生(sheng)。(Nihar Shah, 2022)

也(ye)有出现学生代替(ti)老(lao)師(shi)审稿的情(qing)況(kuang)。

甚至在頂(ding)级学術(shu)会议中還(hai)会出现本(ben)科生作为审稿人的情况，这令(ling)各(ge)行各業(ye)的学者們(men)感(gan)到可(ke)笑(xiao)又(you)无奈(nai)。

对于本科生而(er)言，大部分时间都用在了完(wan)成学校(xiao)的課(ke)业任(ren)務(wu)上，有科研经歷(li)的本科生少之(zhi)又少，有非(fei)常成熟(shu)科研经历的本科生几乎(hu)不存(cun)在。对于PhD学生而言，他们的科研也大多是在起步(bu)和(he)嘗(chang)試(shi)階(jie)段(duan)。

让学生来审稿，无疑会使(shi)得(de)审稿結(jie)果(guo)非常不可信(xin)，因(yin)为这些(xie)学生们面(mian)对的大多是自己还不太熟悉(xi)的領(ling)域(yu)的一篇新论文，要他们根(gen)据自己非常有限(xian)的科研经历来给出一个詳(xiang)实而可靠(kao)的审稿意见实在是太難(nan)了。

对于一些比(bi)較(jiao)有经验的审稿人，他们有时也会因为自身(shen)研究方向(xiang)的利(li)益(yi)關(guan)系(xi)而在审稿過(guo)程(cheng)中加入一些主(zhu)觀(guan)因素(su)影(ying)響(xiang)最(zui)终決(jue)定(ding)。

有人戲(xi)稱(cheng)說(shuo)现在的审稿在某(mou)種(zhong)意義(yi)上甚至不如隨(sui)机审稿，说得也不无道理(li)。

投稿量的激(ji)增，审稿人水(shui)平(ping)的下滑(hua)，审稿时间的減(jian)少，审稿人利益冲突(tu)，审稿报酬(chou)低(di)下……这一系列(lie)問(wen)题造(zao)成了如今糟(zao)糕(gao)的同行评议质量。

諾(nuo)獎(jiang)獲(huo)得者Sydney Brenner曾(zeng)说过：「我不相(xiang)信同行评议，因为我認(ren)为这是非常扭(niu)曲(qu)的，这只(zhi)是回(hui)歸(gui)到平均(jun)水平。我认为同行评议正(zheng)在阻(zu)礙(ai)科学。事(shi)实上，我认为它(ta)已经成为一个完全腐(fu)败的系统。」

那(na)么，在同行评议仍(reng)无法避(bi)免(mian)的今天(tian)，有什么辦(ban)法挽(wan)救(jiu)这一正危(wei)及整(zheng)个科学界的现狀(zhuang)呢(ne)？

不少会议已采用公(gong)開(kai)审稿的制度，即(ji)將(jiang)投稿和审稿过程完全公开，这既(ji)可以限制投稿人投稿一些「水文」，也可以让审稿人对自己的审稿意见更(geng)加上心(xin)。

然(ran)而由(you)于审稿人的匿(ni)名(ming)性(xing)以及自身專(zhuan)业水平的限制，公开审稿某种意义上来说「治(zhi)標(biao)不治本」，对于审稿质量的改善并不大，大多是一些无关痛(tong)癢(yang)的改變(bian)。

为了进一步改善审稿质量问题，在2021年，来自宾夕法尼亚大学的苏炜杰教授提出了一种让投稿人自己「审稿」的方法，该论文已发表在NeurIPS 2021中。

值(zhi)得一提的是，该方法并不是真(zhen)的让投稿人去(qu)审稿自己的论文，而是让投稿人提供一个对自己投稿文章的质量排序，并使用保(bao)序回归（Isotonic Regression）幫(bang)助(zhu)审稿人提高审稿质量。

这篇文章證(zheng)明(ming)了在一定條(tiao)件(jian)下，作者必须匯(hui)报真实順(shun)序以最大化(hua)自身的利益，可以避免投稿人说謊(huang)的情况。

论文地(di)址(zhi)：https://arxiv.org/abs/2110.14802

为什么作者的信息(xi)可以被利用？

对于一位审稿人来说，他在一次(ci)会议中可能(neng)被要求在短短十几天内审稿十余篇互(hu)不相关的文章，如果缺(que)乏(fa)相关背(bei)景(jing)知(zhi)識(shi)，这无疑是一项巨大的挑(tiao)戰(zhan)。

相对于审稿人，作者对于自己的文章的了解(jie)度肯(ken)定是更高的。如果有一种方案(an)可以让作者告訴(su)审稿人自己对于自己的文章的真实看(kan)法，这些有效(xiao)的信息无疑会给审稿过程提供一个另(ling)一維(wei)度的帮助。

该方法自提出以来受到了学界的广泛(fan)关註(zhu)，在今年的ICML会议上，该方法已被應(ying)用到实验中。

值得一提的是，该方法原(yuan)被設(she)定用于處(chu)理一些处于“極(ji)端(duan)情况”的投稿（如审稿人與(yu)投稿人意见相差甚遠(yuan)的情况）。

然而，该政(zheng)策(ce)在国内外(wai)知乎、推(tui)特(te)等平臺(tai)上引(yin)起了一些爭(zheng)议，不少人把(ba)这个方法誤(wu)解为让投稿人给自己的文章提供真正的文字(zi)评價(jia)。

左右滑動(dong)查看全部

誠(cheng)然，文字评价过于主观，无法有效阻止(zhi)作者将自己的文章誇(kua)得天花(hua)亂(luan)墜(zhui)的情况，且(qie)在ChatGPT等工(gong)具的帮助下，大段的文字往往会对于审稿增加更多的阻碍，自然不会是一个很(hen)有效的方法。

为什么让作者提供排序是合(he)理的？

首(shou)先(xian)，在会议投稿量大大增加的情况下，投稿人单次会议投稿量超(chao)过一篇的情况也会大大增加，这也意味着排序对于很多作者来说是可以实现的（投稿量大于一篇即可）。

其(qi)次，排序不同于实際(ji)打(da)分，作者所要做(zuo)的只要提供对自己投稿的文章的一个好壞(huai)優(you)先级顺序，这对于作者对自身的文章了解程度来说往往是容(rong)易(yi)的，所以让作者提供排序是一个低成本且较为客(ke)观的方式(shi)。而排序蘊(yun)含(han)的信息量卻(que)不少，假(jia)设作者提供了一个真实的5篇文章的排序，它所蕴含的就(jiu)至少有5! = 120个兩(liang)两比较的有效信息。

事实上，排序（ranking）有着广泛的应用場(chang)景。以ChatGPT为例(li)，它的訓(xun)練(lian)过程分为两个步驟(zhou)，首先是根据同一个问题生成不同的回答(da)，其次是让人類(lei)来对这些回答按(an)照(zhao)偏(pian)好进行排序。因为人类比机器更加懂(dong)得倫(lun)理与道德(de)，且排序对人类来说非常容易，这樣(yang)的训练过程是十分高效的。

在各平台上都有人对部分人群(qun)的误解给出了澄(cheng)清(qing)，说明了这只是一个实验性质的尝试，且只要求作者给出排序而并非实际评价。

左右滑动查看全部

然而可惜(xi)的是，最终该方法还是被ICML組(zu)委(wei)会为了避免争议而修改为了」僅(jin)供实验用途(tu)」，并不会影响到任何(he)一篇文章的最终接(jie)收(shou)意见。

團(tuan)隊(dui)建(jian)立(li)了一个網(wang)站(zhan)（https://openrank.cc）和OpenReview合作的形(xing)式实现了该实验。

在ICML截(jie)止日(ri)1月26號(hao)當(dang)天，所有ICML作者收到了一封(feng)參(can)加实验的邀(yao)請(qing)郵(you)件。实验的最终目(mu)的是评估(gu)在未(wei)来的会议中将作者和审稿人的意见结合以提高审稿同行评议的质量的可行性，如果实验成功(gong)，未来将进一步推广并真正应用到实际审稿决策过程中。

以下是ICML2023实验中投稿人所看到的畫(hua)面示(shi)例。

可以发现，界面中并沒(mei)有让作者给自己的文章提供实际文字评价的部分，只要求作者给出投稿文章的排序。

目前(qian)ICML的投稿已经截止，实验收集(ji)到近一萬(wan)位作者的提交(jiao)数据。基(ji)于獨(du)立伦理委員(yuan)会和ICML程序委员会主席(xi)的要求，在ICML论文接收决定日4月22号之前不会进行数据分析(xi)。

如果该实验取(qu)得了成功，它将成为学术会议同行评议制度的一个裏(li)程碑(bei)，它为审稿制度开拓(tuo)了作者评审这一全新的维度。

对于如何让作者的意见与价值观加入审稿过程，比如是否(fou)有除(chu)了排序以外其他的形式，未来也会有更多的可能性值得被探(tan)索(suo)。

作者簡(jian)介(jie)

文章作者李朴恒现为北(bei)京(jing)大学数学科学学院(yuan)大四本科生，即将赴(fu)斯(si)坦(tan)福(fu)大学攻(gong)读博(bo)士(shi)学位。

该方法提出者苏炜杰是宾夕法尼亚大学沃(wo)頓(dun)商(shang)学院统计与数据科学系和工学院计算(suan)机系副(fu)教授。任宾大机器学习研究中心聯(lian)合主任。分別(bie)于北京大学和斯坦福大学获得本科和博士学位。曾获得NSF CAREER Award、斯隆(long)研究奖、 SIAM数据科学青(qing)年奖 。

参考(kao)資(zi)料(liao)：

https://icml.cc

https://openrank.cc

https://arxiv.org/abs/2110.14802

https://arxiv.org/abs/2206.08149

https://www.zhihu.com/question/572146140

https://mp.weixin.qq.com/s/CmgHPLhVGnd1ifXdY5q3iw

https://zhuanlan.zhihu.com/p/599192947?utm_source=wechat_session&utm_medium=social&s_r=0

https://mp.weixin.qq.com/s/sLll4ZdNWoegSL_kykanBQ返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：