手工面店里广告标语

kuaijiezouyouxi，feichangshihekongxiandeshihouwanshua！suoyouxiaoshuoyimuleran，qingqingdianjipingmujikeyueduqinglvshizhuang“langqingqueyi”quanxinliangxiang，yunigongdulangmanqixi，yuzuiaiderenyitonghuazuoqingdianjuhuizuishanyaodeshishangzhixing！shenqingtag0xinanrencaiwangzhaopinAppxinanyuanchengfayouqixiande"dianziyaochi"，keyigeiqinqipengyouzukeyuanchengfasongjuyouxiandingriqide"dianziyaochi"。AI頂(ding)會(hui)審(shen)稿(gao)人(ren)竟(jing)是(shi)本(ben)科(ke)生(sheng)？女(nv)物(wu)理(li)學(xue)家(jia)發(fa)推(tui)吐(tu)槽(cao)，圈(quan)內(nei)大(da)佬(lao)紛(fen)纷點(dian)贊(zan)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Joey

【新智元導(dao)讀(du)】最(zui)近(jin)，壹(yi)位(wei)來(lai)自(zi)洛(luo)桑(sang)聯(lian)邦(bang)理工(gong)学院(yuan)（école polytechnique fédérale de Lausanne (EPFL)）的(de)女物理学家Lenka Zdeborova在(zai)推特(te)上(shang)吐槽顶会的审稿人篩(shai)選(xuan)機(ji)制(zhi)，引(yin)发了(le)眾(zhong)多(duo)学術(shu)圈大佬共(gong)鳴(ming)。

妳(ni)以(yi)為(wei)的学术顶級(ji)会議(yi)期(qi)刊(kan)审稿人，都(dou)是来自各(ge)自領(ling)域(yu)的大牛(niu)？

事(shi)實(shi)上，你辛(xin)辛苦(ku)苦幾(ji)個(ge)月(yue)做(zuo)的研(yan)究(jiu)論(lun)文(wen)，审稿人很(hen)有(you)可(ke)能(neng)是一群(qun)本科生或(huo)研究生？

最近，来自洛桑联邦理工学院（école polytechnique fédérale de Lausanne (EPFL)）的女物理学家Lenka Zdeborova就(jiu)在推特上吐槽顶会的审稿人机制。

研究生院的申(shen)請(qing)人就已(yi)經(jing)有顶会审稿经驗(yan)？而(er)且(qie)數(shu)量(liang)還(hai)不(bu)少(shao)。

我(wo)正(zheng)在审查(zha)EPFL計(ji)算(suan)机科学研究生院的申请，我看(kan)到(dao)許(xu)多申请人都有擔(dan)任(ren)顶级ML会议审稿人的经验，我想(xiang)知(zhi)道如(ru)果(guo)同(tong)行(xing)評(ping)议的很大一部(bu)分(fen)是由(you)本科生完(wan)成(cheng)的，我們(men)为什(shen)麽(me)还要(yao)費(fei)心(xin)去(qu)進(jin)行同行评议！？

Lenka Zdeborová是EPFL的物理学和(he)计算机科学教(jiao)授(shou)，她(ta)领导计算机学院的統(tong)计物理学科。

她是Journal of Physics A、Physical Review E、Physical Review X、SIMODS、Machine Learning: Science and Technology、Information and Inference等(deng)众多学术期刊的编委(wei)。

Lenka擅(shan)長(chang)的领域是將(jiang)统计物理学的概(gai)念(nian)（例(li)如高(gao)级平(ping)均(jun)場(chang)方(fang)法(fa)、復(fu)制方法和相(xiang)關(guan)消(xiao)息(xi)傳(chuan)遞(di)算法）應(ying)用(yong)於(yu)机器(qi)学習(xi)、信(xin)號(hao)處(chu)理、推理和優(you)化(hua)中(zhong)的問(wen)題(ti)。

一些(xie)圈内人士(shi)也(ye)表(biao)示(shi)赞同，研究生一年(nian)级的学生竟然(ran)已经可以在顶会审稿，而且沒(mei)有人覺(jiao)得(de)這(zhe)是个问题。

你以为的审稿人是这些学界(jie)大佬，事实上其(qi)实是他(ta)们帶(dai)的本科生或研究生......

知乎(hu)答(da)主(zhu)「卡(ka)卡卡卡比(bi)」認(ren)为这種(zhong)現(xian)象(xiang)已经是司(si)空(kong)見(jian)慣(guan)了，從(cong)ICLR到AAAI,审稿人的水(shui)平參(can)差(cha)不齊(qi)，保(bao)不齐你的paper就落(luo)到了某(mou)个本科生手(shou)裏(li)。

抱(bao)怨(yuan)完审稿人水平之(zhi)後(hou)，关鍵(jian)还是要思(si)考(kao)如何(he)能夠(gou)寫(xie)出(chu)讓(rang)大家make sense並(bing)且能兼(jian)顧(gu)大多人审稿taste的工作(zuo)。

来源(yuan)：卡卡卡卡比

另(ling)一位答主「歇(xie)斯(si)底(di)里i」也认为，审稿人很少懂(dong)你的领域，所(suo)以你要把(ba)论文的結(jie)果清(qing)晰(xi)明(ming)了地(di)呈(cheng)现出来，让別(bie)人看不懂就是你的问题了。

来源： 歇斯底里i

顶会审稿到底怎(zen)么审

那(na)么顶会审稿究竟怎么审？

同行评审（Peer-review）是现代(dai)科学的基(ji)石(shi)，几乎所有机器学习 (ML) 顶会（如NeurIPS、ICML、AAAI）都依(yi)靠(kao)它(ta)来決(jue)定(ding)提(ti)交(jiao)的论文是否(fou)與(yu)社(she)區(qu)相关，以及(ji)原(yuan)創(chuang)性(xing)是否足(zu)以在那里发表。

不幸(xing)的是，隨(sui)著(zhe)過(guo)去十(shi)年提交文章(zhang)数量呈指(zhi)数级增(zeng)长，审稿質(zhi)量也以同樣(yang)快(kuai)的速(su)度(du)下(xia)降(jiang)。

如果您(nin)曾(zeng)经向(xiang)其中一个会议提交过论文，在为您认为是一个絕(jue)妙(miao)的想法而努(nu)力(li)工作了几个月之后，您得到的是糟(zao)糕(gao)的、無(wu)用的，而且（更(geng)糟糕的是 ) 具(ju)有諷(feng)刺(ci)意(yi)味(wei)的评论意味着你将不得不重(zhong)新经歷(li)一次(ci)提交过程(cheng)，而没有任何关于你的论文存(cun)在什么问题的提示。

圖(tu)靈(ling)獎(jiang)獲(huo)得者(zhe)Geoffrey Hinton在2018年接(jie)受(shou) Wired 雜(za)誌(zhi)采(cai)訪(fang)時(shi)給(gei)出了造(zao)成这种情(qing)況(kuang)的原因(yin)之一：

现在如果你提交的论文有一个全(quan)新的想法，它根(gen)本就没有机会被(bei)接受，因为这些年輕(qing)的初(chu)级审稿人根本无法理解(jie)。

或者它会遇(yu)到一位高级审稿人，他审閱(yue)了太(tai)多的论文，第(di)一次看并不理解，并认为它一定是胡(hu)說(shuo)八(ba)道。我认为这真(zhen)的很糟糕。

知乎答主電(dian)光(guang)幻(huan)影(ying)煉(lian)金(jin)术對(dui)审稿被拒(ju)做了个假(jia)設(she)，如果你发现你的论文因为一些概念问题审稿人没理解被给了低(di)分，有三(san)种可能：

（1）审稿人是个本科生/低年级博(bo)士生，他看不懂这些概念。

（2）审稿人是个超(chao)级大佬，他很重視(shi)基礎(chu)概念问题，并且他已经不做这个领域多年。

（3）审稿人是个超级大佬，但(dan)他没有时間(jian)，他交给了他的低年级博士学生来审稿。所以说，学术圈就是一个輪(lun)回(hui)，本科生的表现和超级大佬最像(xiang)。

你以为理想中的审稿人：

周(zhou)一打(da)開(kai)论文，看看摘(zhai)要，速读一遍(bian)，评估(gu)一下novelty。周二(er)細(xi)细看方法，挑(tiao)挑毛(mao)病(bing)。周三看一下实验，看看baseline的相关论文，查对实验细節(jie)。周四(si)开始(shi)写审稿意见，决定审稿分数。周五(wu)補(bu)充(chong)一些审稿意见，提交审稿分数。

实際(ji)审稿人：

周一上午(wu)八点打开审稿论文，读了读摘要，感(gan)觉没什么novelty。看了看图片(pian)，感觉不看正文看不明白(bai)。翻(fan)到后面(mian)看了看实验数字(zi)，感觉提升(sheng)也不大。看看方法，四頁(ye)好(hao)多看不完。下午还有事，给个5分走(zou)人吧(ba)。周一上午十一点半(ban)结束(shu)审稿工作。

我们再(zai)来看看ICML2022的审稿規(gui)則(ze)：

选题意義(yi)：

这部分评审的目(mu)的是向MR（Meta-reviewer）和作者展(zhan)示您对这篇(pian)论文的理解程度以及您对这篇论文的看法。

写作创新性、相关性、重要性：

它们与我们的社区相关嗎(ma)？它们是新的吗？如果答案(an)是否定的（或部分否，例如，引用早(zao)期论文中的精(jing)確(que)结果），则需(xu)要一个精确的理由，以便(bian)作者知道如何修(xiu)复论文。

健(jian)全性：

理想情况下，一篇论文提出的主張(zhang)应該(gai)得到理论论據(ju)或实验结果的充分支(zhi)持(chi)。

写作质量：

这篇论文是否組(zu)織(zhi)良(liang)好并且写得很清楚(chu)？它是否很好地解釋(shi)了新穎(ying)性和结果？该论文是否包(bao)含(han)支持其聲(sheng)明所需的足够信息？

参考文獻(xian)：

这篇论文是否被恰(qia)當(dang)地置(zhi)于当代文学中？如果没有，请具體(ti)说明缺(que)少的内容(rong)。请註(zhu)意，由于论文有页数限(xian)制，因此(ci)通(tong)常(chang)需要判(pan)斷(duan)是否应提及结果。

而这些屬(shu)于第一階(jie)段(duan)审稿人的审核(he)標(biao)準(zhun)，符(fu)合(he)审核标准的则可以进入(ru)第二阶段。

通过第一阶段的论文，会再经过元审稿人（MR）、項(xiang)目主席(xi)过目，之后还会有額(e)外(wai)的审稿人来确保论文审核质量。

而为什么现在的顶会审稿人的水平参差不齐，甚(shen)至(zhi)冒(mao)出了一群本科生和研究生，原因主要在于行業(ye)发展太快，投(tou)稿量的增加(jia)速度遠(yuan)高于合格(ge)审稿人的培(pei)養(yang)速度。

这不僅(jin)导致(zhi)有能力审稿的人占(zhan)比少了，而且有能力的审稿的人对每(mei)篇文章能投入的时间也少了。

参考資(zi)料(liao)：

https://towardsdatascience.com/reviewing-for-machine-learning-conferences-explained-f73bc037babc返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：