创意pos机广告语大全

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>用(yong)「冷(leng)飯(fan)」炒(chao)出(chu)個(ge)頂(ding)會(hui)第(di)壹(yi)？ICLR 2023最(zui)高(gao)分(fen)論(lun)文(wen)竟(jing)被(bei)「石(shi)錘(chui)」抄(chao)襲(xi)！

新(xin)智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan)：夕(xi)小(xiao)瑤(yao)的(de)賣(mai)萌(meng)屋(wu)（智商(shang)掉(diao)了(le)一地(di)）

編(bian)輯(ji)：好(hao)困(kun)

【新智元導(dao)讀(du)】究(jiu)竟是(shi)Git Clone還(hai)是Git Re-Basin？被評(ping)论區(qu)長(chang)文石锤！

ICLR 2023 官(guan)方(fang)近(jin)期(qi)正(zheng)式(shi)宣(xuan)布(bu)评審(shen)工(gong)作(zuo)已(yi)結(jie)束(shu)，评分最高的 Git Re-Basin 這(zhe)項(xiang)神(shen)經(jing)網(wang)絡(luo)啟(qi)發(fa)性(xing)新研(yan)究探(tan)索(suo)了在(zai)深(shen)度(du)學(xue)習(xi)中(zhong)，SGD算(suan)法(fa)在高維(wei)非(fei)凸(tu)優(you)化(hua)問(wen)題(ti)令(ling)人(ren)驚(jing)訝(ya)的有(you)效(xiao)性。

一篇(pian)来自(zi)華(hua)盛(sheng)頓(dun)大(da)学的工作在推(tui)特(te)引(yin)起(qi)了火(huo)熱(re)討(tao)论，甚(shen)至(zhi)連(lian) Pytorch 的聯(lian)合(he)創(chuang)始(shi)人 Soumith Chintala 也(ye)发文盛贊(zan)。

他(ta)表(biao)示(shi)如(ru)果(guo)这项研究如果轉(zhuan)化為(wei)更(geng)大的設(she)置(zhi)，實(shi)現(xian)的方向(xiang)將(jiang)会更棒(bang)，能(neng)夠(gou)合並(bing)包(bao)括(kuo)權(quan)重(zhong)的兩(liang)个模(mo)型(xing)，可(ke)以(yi)擴(kuo)展(zhan) ML 模型開(kai)发，并可能在「开源」的联合开发模型中发揮(hui)巨(ju)大的作用。

但(dan)就(jiu)在前(qian)段(duan)時(shi)間(jian)，OpenReview 上(shang)竟然(ran)有 public comment 发布长文，石锤这篇 ICLR 最高分论文涉(she)嫌(xian)抄袭，并且(qie)在评论区詳(xiang)細(xi)推导了它(ta)和(he)之(zhi)前工作的等(deng)價(jia)性。

这位(wei)发表长文评论的作者(zhe) Sidak Pal Singh 是深度学习理(li)论、优化和因(yin)果表征(zheng)学习領(ling)域(yu)的学者，恰(qia)好他就比(bi)較(jiao)關(guan)註(zhu) Optimization 问题，发现了这篇工作的一些(xie)端(duan)倪(ni)，以下(xia)将会進(jin)行(xing)详细的解(jie)读。

长文评论作者 Sidak Pal Singh 个人信(xin)息(xi)

Sidak Pal Singh 的这篇评论從(cong)题目(mu)就开始質(zhi)问：究竟是「Git Clone」还是「Git Re-Basin」？开篇更是直(zhi)截(jie)了當(dang)地指(zhi)出这篇工作是将過(guo)去(qu)的許(xu)多(duo)工作綜(zong)合在一起「炒冷饭」：

Git Re-Basin 的方法 1 被證(zheng)明(ming)與(yu) OTFusion[3] 的基(ji)於(yu)激(ji)活(huo)的對(dui)齊(qi)方法相(xiang)同(tong)。 Git Re-basin 的方法 2 和 3 与过去工作中的方法 [1,2,3,4] 高度相似(si)，但沒(mei)有进行任(ren)何(he)与 Baseline 的比较。 许多结果或(huo)觀(guan)察(cha)在过去的工作中已经以類(lei)似的形(xing)式表现出来，但在本(ben)文中被重新呈(cheng)现了出来。 文中引用其(qi)中一些著(zhu)作 [3-5] 只(zhi)是做(zuo)做表面(mian)工夫(fu)，而(er)没有準(zhun)確(que)地列(lie)出其关鍵(jian)貢(gong)獻(xian)。

所(suo)以综上所述(shu)，Sidak Pal Singh 申(shen)斥(chi)文中许多主(zhu)張(zhang)是誇(kua)大、無(wu)效乃(nai)至欺(qi)騙(pian)性的。

Sidak Pal Singh 还強(qiang)調(tiao)了这是学術(shu)不(bu)端现象(xiang)，他指出，在相关工作的基礎(chu)上做研究是絕(jue)对没有錯(cuo)的，但必(bi)須(xu)誠(cheng)实、不能欺骗。

目前，他們(men)主要(yao)的「新算法的贡献」似乎(hu)并不新。 正如论文审稿(gao)人 qnqB 和 Nc4c 所暗(an)示的那(na)樣(yang)，关于 SGD 的问题似乎已经存(cun)在著(zhe)一些爭(zheng)議(yi); MLPs/CNNs/ResNets 在 MNIST、CIFAR10 和 CIFAR100 上的实证结果，这些都(dou)或多或少(shao)是已知(zhi)的 [2-6]。

（A） 等价于 [3] 的數(shu)学证明

首(shou)先(xian)要从数学上证明 Git Re-Basin 的方法 1（基于匹(pi)配(pei)激活）与 Singh&Jaggi(2019)[3] 中使(shi)用的方法之一相同。[3] 的主要思(si)想(xiang)是利(li)用最优傳(chuan)輸(shu)(OT)首先獲(huo)得(de)給(gei)定(ding)网络的分層(ceng)对齐，然後(hou)在对齐后分別(bie)对其參(can)数求(qiu)平(ping)均(jun)值(zhi)。

以下证明的要點(dian)是，对于均勻(yun)邊(bian)緣(yuan)和歐(ou)氏(shi)度規(gui)，由(you)于经典(dian)的 Birkhoff-von Neumann 定理，方法 1 和基于 OT 的 [3] 方法的解集(ji)是相同的。（这是相当直接(jie)的，可以在推论 1 中找(zhao)到(dao)对其他类型代(dai)价的更普(pu)遍(bian)的证明）

推论1：https://mathematical-tours.github.io/book-sources/optimal-transport/CourseOT.pdf

概(gai)括一下，OT 问题可以表示为如下線(xian)性规劃(hua)：

其中，運(yun)输計(ji)划 表示从「源位置」移(yi)動(dong)到「目的位置」的「貨(huo)物(wu)」数量(liang)，并且必须滿(man)足(zu)源和目的地（即(ji) 和 ）的质量守(shou)恒(heng)約(yue)束。进一步(bu)地，将 ground cost 矩(ju)陣(zhen)記(ji)为 ，其中的元素(su)指定了相應(ying)的源-目的地对之间的單(dan)位运输成(cheng)本。

为簡(jian)单起見(jian)，在 [3] 中，假(jia)设所有神经元都具(ju)有同等的重要性（在上述說(shuo)法中，「供(gong)应」和「需(xu)求」的数量相同），因此(ci)我(wo)们可以设置 。为了方便(bian)，我们将传输圖(tu) 乘(cheng)以標(biao)量 稱(cheng)为 ，即 ，而 现在是一个雙(shuang)隨(sui)機(ji)矩阵（所有行和列的總(zong)和必须为1）。

现在，我们考(kao)慮(lv) [3] 的基于激活的方法，其中成本矩阵 可以用Git Re-Basin的表示法表示为 。

然后使用简寫(xie)的 和 提(ti)取(qu)各(ge)自矩阵的对角(jiao)线(向量)，我们可以将代价矩阵表示为：

因此，我们可以将 OT 问题表示为：

现在，利用质量守恒的约束條(tiao)件(jian)，我们得到了下面的等价问题：

因此，我们認(ren)为上述优化目标与本文的公(gong)式 1 中的优化目标相同。

似乎还有一个区别：OT 的域是双随机矩阵的集合，而 Git Re-Basin 的域是排(pai)列矩阵的集合。但是，任何学过线性规划課(ke)程(cheng)的人都知道，线性规划的解是在多元面（即顶点）的極(ji)值点上找到的。由于著名(ming)的Birkhoff-von Neumann 定理，Birkhoff polytope（双随机矩阵）的极值点恰恰是置換(huan)矩阵，因此这两个问题的解是相同的。

因此，本研究的方法 1 只是 [3] 的一个特例(li)，并且在考虑其基于激活的 ground cost 时与 [3] 相同。

備(bei)注：作者指出，作为他们方法 1 的进一步變(bian)體(ti)，也可以使用激活的互(hu)相关矩阵。必须注意(yi)的是，这一点在 [5，第6頁(ye)] 中已经考虑过了。

讓(rang)我们一起来看(kan)看 Git Re-Basin 是怎(zen)麽(me)说的：

等等，咱(zan)们别忽(hu)略(lve)其他两个算法呀(ya)，它们也有类似的命(ming)运！

（B） 方法 2 和方法 3 与之前的研究 [1,2,3,4] 高度相似，缺(que)乏(fa) Baseline 比较

Git Re-Basin 提出的第二(er)个「新穎(ying)」方法是「檢(jian)查(zha)模型本身(shen)的权重」，以对齐神经元。这是一个需要考虑的自然策(ce)略，事(shi)实上，**类似的方法已经在过去的许多工作中使用过——可以追(zhui)溯(su)到 2015年(nian) [1] 和 [2,3]**。同样地，所有这些过去的方法也不需要依(yi)賴(lai)输入(ru)分布（例如，[3]的基于权重的对齐），可以在幾(ji)秒(miao)鐘(zhong)內(nei)运行（参见下面的C.3節(jie)），这与 Git Re-Basin 传達(da)的印(yin)象不同。

更具体地说，正如他们在工作中所说的，与基于激活的对齐相比，基于权重的匹配固(gu)有地提出了一个更復(fu)雜(za)且很(hen)難(nan)精(jing)确地计算解決(jue)的双线性分配问题。之前的大多数工作 [1-3] 使用从输入层到输出层的貪(tan)心(xin)层对齐神经元。Git Re-Basin 采(cai)用了一種(zhong)替(ti)代的方式，可能比上面的工作稍(shao)微(wei)好一点，盡(jin)管(guan)代价是计算和运行时间更昂(ang)貴(gui)。然而，不幸(xing)的是，Git Re-Basin 完(wan)全(quan)没有认識(shi)到这一点，并完全将这些相似之處(chu)掩(yan)蓋(gai)起来。更不用说与之前的作品(pin)进行比较了！

此外(wai)，过去的工作 [2-4] 選(xuan)擇(ze)使用額(e)外的计算在初(chu)始校(xiao)准后进行微调/再(zai)訓(xun)練(lian)（fine-tune/retrain），而非彌(mi)補(bu)任何缺点。这就引出了方法 3，他们使用「STE 估(gu)计器(qi)」，在尋(xun)找对齐和（猜(cai)猜是什(shen)么——）再训练之间交(jiao)替进行一些叠(die)代，比如一个 epoch（这裏(li)称为「向后传遞(di)」）。很明顯(xian)，这种策略与文献 [2-4] 中使用的微调/再训练方法非常(chang)相似。事实上，还有两点可以说明这一点：

当与再训练相结合时，一开始只需一个基于权重的对齐方式就足够了，而不必在每(mei)一步之后都寻找全新的对齐方式，如 [3] 所示。在这种情(qing)況(kuang)下，当作者在 STE 方法中也只執(zhi)行一次(ci)基于权重的对齐时，是否(fou)会注意到任何显著的性能下降(jiang)（如果有的話(hua)），这将很有趣(qu)了。 更令人惊讶的是，当融(rong)合两个网络时，[3] 还发现，简单地再训练幼(you)稚(zhi)或普通(tong)的网络表现具有競(jing)争力(li)。换句(ju)话说，僅(jin)仅使用 identity 作为初始排列矩阵,并结合再训练（或STE方法的某(mou)些方式），可能相当有竞争力。

然而，作者们又(you)一次没有进行这些比较，而是给他们的方法披(pi)上了一层新奇(qi)的外衣(yi)。包括了先前工作的 Baseline 可能会被质疑(yi)「新颖性」，对吧(ba)?

（C） 一些结果或观察结果已经以类似的形式为人所知

1. 作者聲(sheng)称：

但我们想指出的是 [3] 的表 1，其中对于 CIFAR10 上的 ResNet18，已经表明 OTFusion（STE 一样进行再训练）获得了 的准确性，而单个网络的准确性为 和 。

这应該(gai)表明两个獨(du)立(li)训练的 Resnet 之间存在可忽略的勢(shi)壘(lei) LMC 的初步证據(ju)，因为 OTFusion 网络对应于插(cha)值曲(qu)线中的 ，这通常是与单个网络性能的最大偏(pian)差(cha)点（如图 2 所示）。

2. 接下来，作者对此进行了讨论：

但是，[3] 中有一整(zheng)节详细说明（附(fu)錄(lu) S10 和表 S11）寬(kuan)度如何降低(di)全连接网络的性能差距(ju)(排列后)。这甚至是在 [6] 表明更廣(guang)泛(fan)的模型在全连接和卷(juan)積(ji)网络中都表现出更好的 LMC 之前。

此外，从 [3] 的表 S1 中还可以看到「模式连接时间」的新形式。由于 中的势垒定義(yi)为最大值除(chu)以 ，显然，势垒至少应该与表 S1 中描(miao)述的 的势垒一样大。

3. 然后作者（错誤(wu)地）声称他们是首个在几秒钟内找到解决方案(an)的人：

考虑到他们的「新颖」算法只是炒过去工作 [1-4] 的「冷饭」，当 [3] 的第 5 页提到「在一个 Nvidia V100 GPU 上融合 6 个 VGG11 模型所需的时间≈15秒」时，这就不足为奇了。

在 S1.4 节中，[3] 详细说明了要融合两个网络，MLP 大约需要「3 秒」，CIFAR10 上 VGG11 大约需要「5 秒」，CIFAR10 上 ResNet18 大约需要「7 秒」。不幸的是，謊(huang)言(yan)又一次被传播(bo)开来。

4. 此外，作者在第 5.4 节中指出，在不相交数据集上训练的模型可以被合并。

然而，在 [3] 中完全相同的是，一页长的章(zhang)节 5.1 演(yan)示了精确的事实！——审稿人 qnqB 也指出了这一点。但作为一种常见的模式，这里没有提及(ji)到这点，更别说进行任何比较了。

（D） 「引用」相关工作的徒(tu)勞(lao)

同样，这显然不是建(jian)立在以前工作基础上的问题，但不以正确的方式提出它们，或像(xiang)这里第 9 页第 3 段中那样油(you)腔(qiang)滑(hua)调地陳(chen)述它们，才(cai)是让人是不可接受(shou)的。

具体如下：

文献 [1,2] 未(wei)被引用。

那么 [3] 不是「通过軟(ruan)对齐关联权重合并模型」，而是明确表示「我们主要使用精确 OT 求解器」，因此他们获得了精确的排列矩阵（见 [3] 表 S4 中融合前对齐网络的准确性）。我们已经在上面的（A, B, C）部(bu)分中看到了与 [3] 的巨大相似性。

此外，[4] 的讨论表达得很奇怪(guai)，因为当他们的工作 [4] 中也说明了这一点时，不清(qing)楚(chu)为什么对他们来说融合等大小的网络会有问题。

最后，简要地提到了 [5]，但它们在模式连通性或算法相似性方面的主题相似程度被忽略了，正如审稿人 qnqB 所指出的那样。

小结

现在我们已经看清了 Git Re-Basin 的假象，很清楚，它当前的形式只是以前工作的翻(fan)版(ban) [1-5]，包含(han)了通过在额外的网络规模和数据集(例如 MNIST、CIFAR10、CIFAR100 的结果已在 [2-6] 中显示)。

在这一点上，还需要慶(qing)幸 ICLR 是允(yun)许社(she)区参与审查过程的独特会议之一，从而避(bi)免(mian)不准确的判(pan)斷(duan)滲(shen)透(tou)到文献中——在其他会议中，只有在做了这些判断的情况下才能进行回(hui)顧(gu)性地更正。鑒(jian)于 ICLR 是现代科(ke)学进程的火炬(ju)手(shou)，并将维護(hu)科学的完整性，希(xi)望(wang)我们能够繼(ji)續(xu)对ICLR公正和嚴(yan)謹(jin)的决策过程保(bao)持(chi)信心。

最后，这篇长文评论的两位作者Sidak Pal Singh 和 Martin Jaggi 表示很樂(le)意详细说明或回答(da)任何进一步的意见。

「聽(ting)我说中藥(yao)苦(ku)，抄袭应该更苦」，今(jin)天(tian)的这件事应当对我们有一些启发：应当学习 Sidak Pal Singh 博(bo)士(shi)对于学术道德(de)的端正態(tai)度，诚然，在相关工作的基础上做研究是本没有错的，但必须诚实、不能欺骗、不能心存僥(jiao)幸地隱(yin)瞞(man)。

长文评论鏈(lian)接：

https://openreview.net/forum?id=CQsmMYmlP5T&noteId=9liIVMeFFnW

参考資(zi)料(liao)：

[1] Ashmore, Stephen, & Michael Gashler."A method for finding similarity between multi-layer perceptrons by Forward Bipartite Alignment." 2015 International Joint Conference on Neural Networks (IJCNN). IEEE, 2015.

[2] Yurochkin, Mikhail, et al."Bayesian nonparametric federated learning of neural networks." International Conference on Machine Learning. PMLR, 2019.

[3] Singh, Sidak Pal, & Martin Jaggi."Model fusion via optimal transport." Advances in Neural Information Processing Systems 33 (2020): 22045-22055.

[4] Wang, Hongyi, et al."Federated learning with matched averaging." arXiv preprint arXiv:2002.06440 (2020).

[5] Tatro, Norman, et al."Optimizing mode connectivity via neuron alignment." Advances in Neural Information Processing Systems 33 (2020): 15300-15311.

[6] Entezari, Rahim, et al."The role of permutation invariance in linear mode connectivity of neural networks." arXiv preprint arXiv:2110.06296 (2021).返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：