全媒体广告投资，打造营销新时代

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>ICML 2023放(fang)榜(bang)！1827篇(pian)中(zhong)獎(jiang)，他(ta)們(men)準(zhun)備(bei)去(qu)夏(xia)威(wei)夷(yi)沖(chong)浪(lang)了(le)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：桃(tao)子(zi) 好(hao)困(kun)

【新智元導(dao)讀(du)】ICML 2023終(zhong)於(yu)放榜了！今(jin)年(nian)共(gong)有(you)1827篇論(lun)文(wen)被(bei)接(jie)收(shou)，錄(lu)用(yong)率(lv)27.9%。網(wang)友(you)紛(fen)纷曬(shai)出(chu)了自(zi)己(ji)成(cheng)績(ji)單(dan)。

ICML 2023放榜啦(la)！

就(jiu)在(zai)剛(gang)刚，ICML公(gong)布(bu)了今年录取(qu)情(qing)況(kuang)，共有6538份(fen)论文提(ti)交(jiao)，1827篇论文被接收，录用率27.9%。

從(cong)网友的(de)統(tong)計(ji)中可(ke)以(yi)看(kan)到(dao)，2023年總(zong)论文提交量(liang)，以及(ji)论文接收量創(chuang)歷(li)史(shi)新高(gao)，同(tong)時(shi)接收率也(ye)是(shi)近(jin)年來(lai)之(zhi)最(zui)。

過(guo)去的壹(yi)年，是生(sheng)成式(shi)AI爆(bao)發(fa)的一年，各(ge)種(zhong)生成模(mo)型(xing)、大(da)型語(yu)言(yan)模型不(bu)斷(duan)湧(yong)現(xian)，今年在ICML 2023提交的论文主(zhu)題(ti)也與(yu)此(ci)緊(jin)密(mi)相(xiang)關(guan)。

值(zhi)得(de)一提的是，第(di)40屆(jie)機(ji)器(qi)學(xue)習(xi)頂(ding)會(hui)ICML 2023將(jiang)在7月(yue)23-29在夏威夷召(zhao)開(kai)。

許(xu)多(duo)童(tong)鞋(xie)在得知(zhi)中奖後(hou)，纷纷晒出自己的成绩单，准备去夏威夷冲浪。

网友晒中奖

来自港(gang)中文的余(yu)备教(jiao)授(shou)在朋(peng)友圈(quan)中分(fen)享(xiang)道，自己中了人(ren)生第一篇ICML，感(gan)謝(xie)徐(xu)鵬(peng)同学帶(dai)飛(fei)。

而(er)麻(ma)省(sheng)理(li)工(gong)EECS的副(fu)教授韓(han)松(song)還(hai)是在健(jian)身(shen)房(fang)舉(ju)鐵(tie)的时候(hou)，得知自己中奖了。

「在gym裏(li)和(he)同学们举铁的时候聽(ting)說(shuo)SmoothQuant中了ICML！一年的努(nu)力(li)终于有了結(jie)果(guo)，七(qi)月夏威夷見(jian)了。」

此外(wai)，北(bei)大張(zhang)銘(ming)发文慶(qing)祝(zhu)校(xiao)友羅(luo)霄(xiao)博(bo)士(shi)領(ling)銜(xian)的论文被ICML接收。

Meta AI的田(tian)淵(yuan)棟(dong)表(biao)示(shi)，自己參(can)与的5篇ICML论文中，有4篇被接收了。

其(qi)中一篇还是Oral，是关于通(tong)过上(shang)下(xia)文稀(xi)疏(shu)性(xing)加(jia)速(su)LLM推(tui)理的。 另(ling)外3篇則(ze)是关于AI引(yin)导優(you)化(hua)的。

至(zhi)于被拒(ju)的那(na)篇论文，審(shen)稿(gao)人也喜(xi)歡(huan)其中的最佳(jia)方(fang)案(an)，但(dan)認(ren)為(wei)不適(shi)合(he)ICML。

他还稱(cheng)，其中一篇还是自己3月份在IPAM workshop上展(zhan)示的SurCo的论文。

生成模型领域(yu)部(bu)分中奖论文

加州(zhou)大学聖(sheng)巴(ba)巴拉(la)分校（UCSB）计算(suan)机系(xi)的Kexun Zhangt提出的擴(kuo)散(san)采(cai)樣(yang)框(kuang)架(jia)ReDi的论文被ICML接收。

其中，论文的共同作(zuo)者(zhe)还有UCSB助(zhu)理教授李(li)磊(lei)。2021年，曾(zeng)是字(zi)節(jie)跳(tiao)動(dong)人工智能(neng)實(shi)驗(yan)室(shi)总監(jian)的李磊，選(xuan)擇(ze)離(li)職(zhi)重(zhong)返(fan)学術(shu)界(jie)时，引起(qi)了不小(xiao)的反(fan)響(xiang)。

這(zhe)篇论文就當(dang)前(qian)扩散模型推理速度(du)慢(man)的問(wen)题提出了新的框架。盡(jin)管(guan)扩散模型生成質(zhi)量高，但需(xu)要(yao)大量采样叠(die)代(dai)，导致(zhi)模型推理耗(hao)时。

最新提出的ReDi是一個(ge)基(ji)于檢(jian)索(suo)的扩散采样框架，能夠(gou)将模型推理速度提升(sheng)2倍(bei)。

论文地(di)址(zhi)：https://arxiv.org/abs/2302.02285

此外，曾獲(huo)北大圖(tu)靈(ling)班(ban)学士学位(wei)，现MIT博士二(er)年級(ji)的学生Yilun Xu提出的PFGM++被ICML 2023接收。

这篇论文提出了一个受(shou)物(wu)理学啟(qi)发的生成模型，也就是PFGM++。它(ta)统一了扩散模型和「泊(bo)松流(liu)」生成模型（PFGM）。

通过将N-dim數(shu)據(ju)嵌(qian)入(ru)N+D-dim空(kong)間(jian)，实现了：灵活(huo)的D，具(ju)有魯(lu)棒(bang)性和刚性；中位数D的表现优于SOTA扩散模型（D-> inf）。

论文地址：https://arxiv.org/abs/2302.04265

来自UCLA StarAI实验室的张宏(hong)華(hua)就大型语言模型的可靠(kao)控(kong)制(zhi)问题，提出了GeLaTo（易(yi)處(chu)理約(yue)束(shu)的生成语言）。

这是一个神(shen)經(jing)符(fu)號(hao)框架，允(yun)许LLMs以100%保(bao)證(zheng)生成遵(zun)循(xun)邏(luo)辑/詞(ci)匯(hui)约束的文本(ben)。

在GeLaTo中，作者首(shou)先(xian)在从LM采样的数据上訓(xun)練(lian)一个可操(cao)作的概(gai)率模型（TPM），以近似(si)其分布，然(ran)后用TPM计算 p (next-token | prefix, constraints)，以指(zhi)导LM自回(hui)歸(gui)生成。

作者者在CommonGen基准上評(ping)估(gu)了GeLaTo，其目(mu)標(biao)是使(shi)用一些(xie)給(gei)定(ding)的关鍵(jian)词生成文本。

GeLaTo不僅(jin)達(da)到了SoTA的生成质量（如(ru)BLEU分数），而且(qie)还保证了所(suo)有的关键词都(dou)被使用，戰(zhan)勝(sheng)了各种強(qiang)大基線(xian)。

Oral论文

MIT團(tuan)隊(dui)的Oral论文提出了一种減(jian)輕(qing)大型扩散模型所带来的惡(e)意(yi)图像(xiang)编辑風(feng)險(xian)的方法(fa)——图像免(mian)疫(yi)（image immunization）。

項(xiang)目地址：http://gradientscience.org/photoguard/

比(bi)如，原(yuan)始(shi)图像可以经过DELL-E2、还有Stable Diffusion等(deng)方法恶搞(gao)讓(rang)兩(liang)个人跳舞(wu)，在原始照(zhao)片(pian)上添(tian)加小的（不易察(cha)覺(jiao)的）噪(zao)音(yin)，可以對(dui)这样的恶搞做(zuo)了一个「保護(hu)層(ceng)」。

由(you)港大、UC伯(bo)克(ke)利(li)和天(tian)大合著(zhu)的AdaptDiffuser，也入选了今年ICML的Oral论文。

其中，研(yan)究(jiu)人員(yuan)提出一种名(ming)为AdaptDiffuser的進(jin)化規(gui)劃(hua)方法，它可以通过自我(wo)演(yan)化来改(gai)进扩散模型，进而更(geng)好地进行(xing)规划。AdaptDiffuser不仅适用于已(yi)知的任(ren)務(wu)，而且也可以适應(ying)沒(mei)见过新任务。

相比于前一代模型，AdaptDiffuser不仅在Maze2D和MuJoCo運(yun)动上，分別(bie)提升了20.8％和7.5％的性能，而且在不需要額(e)外專(zhuan)家(jia)数据的情况下，能够更好地适应了新任务，例(li)如在KUKA拾(shi)取和放置(zhi)中提高了27.9％。

论文地址：https://arxiv.org/abs/2302.01877

在知乎(hu)上，有一位还在读本科(ke)的知友称这还是自己本科的第一篇中奖了。

网友「daddyitsme」投(tou)了两篇都中奖了，有一篇还是oral。

网友「球(qiu)球夜(ye)神」也投了两篇，但只(zhi)有一篇被接收了。

网友「Jiapeng Zhang」对ICLM审稿质量提出了批(pi)评。他表示，本来抱(bao)著(zhe)去夏威夷旅(lv)遊(you)的心(xin)態(tai)投稿ICML，但是在rebuttal后，感觉审稿人和AC基本上没有看。

我审自己

的確(que)，投稿量的激(ji)增(zeng)，审稿人水(shui)平(ping)的下滑(hua)，审稿时间的减少(shao)，审稿人利益(yi)冲突(tu)，审稿报酬(chou)低(di)下……这一系列(lie)问题造(zao)成了如今糟(zao)糕(gao)的同行评議(yi)质量。

有人戲(xi)称说现在的审稿在某(mou)种意義(yi)上甚(shen)至不如隨(sui)机审稿，说得也不無(wu)道理。

那麽(me)，在同行评议仍(reng)无法避(bi)免的今天，有什(shen)么辦(ban)法挽(wan)救(jiu)这一正(zheng)危(wei)及整(zheng)个科学界的现狀(zhuang)呢(ne)？

为了进一步(bu)改善(shan)审稿质量问题， 在2021年，来自賓(bin)夕(xi)法尼(ni)亞(ya)大学的蘇(su)煒(wei)傑(jie)教授提出了一种让投稿人自己「审稿」的方法，該(gai)论文已发表在NeurIPS 2021中。

值得一提的是，该方法並(bing)不是真(zhen)的让投稿人去审稿自己的论文，而是让投稿人提供(gong)一个对自己投稿文章(zhang)的质量排(pai)序(xu)，并使用保序回归（Isotonic Regression）幫(bang)助审稿人提高审稿质量。

论文地址：https://arxiv.org/abs/2110.14802

自提出以来，该方法便(bian)受到了学界的廣(guang)泛(fan)关註(zhu)。 而在今年的ICML 2023会议上，更是被应用到了实验之中。

随后，在今年四(si)月，来自普(pu)林(lin)斯(si)頓(dun)的Yuling Yan、Jianqing Fan以及宾大的苏炜杰教授，进一步将保序机制（Isotonic Mechanism）拓(tuo)展到了更为广泛的指数分布族(zu)的情况。

在审稿分数遵循大部分指数分布族的情况下，投稿人通过汇报真实排序可以提高自身效(xiao)用函(han)数以及大幅(fu)提高审稿精(jing)度，这一延(yan)拓使得将作者排序与审稿分数结合的机制更加契(qi)合实際(ji)場(chang)景(jing)。

论文地址：https://arxiv.org/abs/2304.11160

为什么作者的信(xin)息(xi)可以被利用？

对于一位审稿人来说，他在一次(ci)会议中可能被要求(qiu)在短(duan)短十(shi)幾(ji)天內(nei)审稿十余篇互(hu)不相关的文章，如果缺(que)乏(fa)相关背(bei)景知識(shi)，这无疑(yi)是一项巨(ju)大的挑(tiao)战。

相对于审稿人，作者对于自己的文章的了解(jie)度肯(ken)定是更高的。如果有一种方案可以让作者告(gao)訴(su)审稿人自己对于自己的文章的真实看法，这些有效的信息无疑会给审稿过程(cheng)提供一个另一維(wei)度的帮助。

保序机制（Isotonic Mechanism）

假(jia)設(she)投稿人投出了n篇论文，其真实分数为R1, R2, …, Rn，假设投稿人知道这些真实分数的排序(数学上表示为1, 2, …, n的置換(huan))。

那么，机制要求投稿人汇报自己对这n篇论文打(da)分的排序π，再(zai)结合审稿人给出的原始平均(jun)分数y1, y2, …, yn，解一个凸(tu)问题并给出最终分数。

形(xing)式上，这个凸优化问题为：

另外，该机制还假设投稿人是理性的。即(ji)投稿人汇报排序π的最终目的是让自己的利益最大化。数学上，表现为投稿人希(xi)望(wang)机制得出的最终分数可以最大化如下效用函数：

这里假设U是一个不减凸函数。

保序机制的理论保证

我们先将对假设的介(jie)紹(shao)和对合理性的討(tao)论稍(shao)稍后放，以便于突出文章的主要结果，也就是保序机制相对于原始分数在理论上的优越(yue)性：

1. 投稿人的最佳策(ce)略(lve)是如实报告他/她(ta)的论文原始分数的真实排序；甚至在投稿人不能完(wan)全(quan)确定所有真实分数排序时，报告所知道的所有真实信息也是其最优选择。

2. 机制所提供的調(tiao)整后的最终分数确实嚴(yan)格(ge)地比审稿人提供的原始分数要准确。

仅仅是汇报分数的排序，就会提高准确度，其实用性不言而喻(yu)。不仅如此，文章作者还进一步对更一般(ban)的情况做了推广，文章对投稿人只知道真实分数的分塊(kuai)排序、机制的穩(wen)健性（鲁棒性）、效用函数不能表示成n个论文各自效用之和的三(san)种情况进行拓展讨论，充(chong)分的展示了保序机制强大的校正功(gong)能，以及豐(feng)富(fu)的现实意义。

到这里，我们再回頭(tou)看一下假设。除(chu)了对函数U的要求，还要求投稿人自己对真实信息必(bi)須(xu)有一定的了解（这样才(cai)能进行協(xie)助），以及审稿人打分相对真实分数的噪聲(sheng)在置换下的分布是不變(bian)的（可交换性）。这些假设也都是比較(jiao)实际的。

需要格外注意函数U是凸的假设，对以上结论的成立(li)是至关重要的。这里效用衡(heng)量的不是「量」的大小，而是決(jue)定了论文是否(fou)会被作为海(hai)报、口(kou)头报告，甚至是全会报告的分数。对很(hen)多研究者，追(zhui)求会议论文更大的影(ying)响力反映(ying)了他们真实的需求，因(yin)此效用函数的凸性有其合理性。

最后，如果该实验取得了成功，它将成为学术会议同行评议制度的一个里程碑(bei)，并为审稿制度开拓了作者评审这一全新的维度。

对于如何(he)让作者的意见与價(jia)值觀(guan)加入审稿过程，比如是否有除了排序以外其他的形式，未(wei)来也会有更多的可能性值得被探(tan)索。

参考(kao)資(zi)料(liao)：

https://www.zhihu.com/question/597314456返回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：