为你精心设计的美妆盒子，彰显品质与品味

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>8月(yue)AI論(lun)文(wen)GitHub十(shi)強(qiang)榜(bang)出(chu)爐(lu)！語(yu)言(yan)-圖(tu)像(xiang)模(mo)型(xing)連(lian)斬(zhan)Top2

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：LRS

【新智元導(dao)讀(du)】GitHub上(shang)榜項(xiang)目(mu)靠(kao)譜(pu)，拿(na)來(lai)就(jiu)能(neng)用(yong)！

看(kan)完(wan)壹(yi)篇(pian)AI论文，要(yao)是(shi)發(fa)現(xian)代(dai)碼(ma)沒(mei)公(gong)開(kai)，心(xin)就得(de)涼(liang)半(ban)截(jie)，瞬(shun)間(jian)對(dui)實(shi)驗(yan)結(jie)果(guo)都(dou)要开始(shi)懷(huai)疑(yi)。

最(zui)近(jin)有(you)網(wang)友(you)收(shou)集(ji)了(le)八(ba)月份(fen)发表(biao)的(de)10642篇AI论文，发现其(qi)中(zhong)90.9%的论文都没有公开代码。

在(zai)公开的一千(qian)份代码中，根(gen)據(ju)其在GitHub上收獲(huo)Stars數(shu)量(liang)做(zuo)了一個(ge)排(pai)行(xing)榜，排名(ming)前(qian)二(er)的论文都是语言-图像模型相(xiang)關(guan)的研(yan)究(jiu)。

文末(mo)還(hai)有在推(tui)特(te)上排行前十的AI研究列(lie)表，部(bu)分(fen)只(zhi)有论文，没有代码。

1. 用一个詞(ci)描(miao)述(shu)一張(zhang)图

Text-to-image模型通(tong)過(guo)自(zi)然(ran)语言来指(zhi)导創(chuang)作(zuo)图像，提(ti)供(gong)了前所(suo)未(wei)有的自由(you)度(du)。

但(dan)目前还不(bu)清(qing)楚(chu)如(ru)何(he)利(li)用這(zhe)種(zhong)自由来生(sheng)成(cheng)指定(ding)的、具(ju)有獨(du)特概(gai)念(nian)的图像，或(huo)者(zhe)修(xiu)改(gai)图像的外(wai)觀(guan)，或將(jiang)它(ta)們(men)組(zu)成新的角(jiao)色(se)和(he)新的場(chang)景(jing)。

可(ke)以(yi)用一个簡(jian)單(dan)的問(wen)題(ti)来描述：我(wo)们如何利用language-guided模型把(ba)「自己(ji)的」貓(mao)變(bian)成一幅(fu)畫(hua)，或者在「自己最喜(xi)歡(huan)的」玩(wan)具的基(ji)礎(chu)上想(xiang)象(xiang)出一个新產(chan)品(pin)？

来自特拉(la)維(wei)夫(fu)大(da)學(xue)和英(ying)偉(wei)達(da)的研究人(ren)員(yuan)提出了一个简单的方(fang)法(fa)，只需(xu)使(shi)用3-5张用戶(hu)提供的图片(pian)，比(bi)如一个物(wu)體(ti)或一种風(feng)格(ge)，無(wu)需微(wei)調(tiao)text-to-image模型，即(ji)可在通过新的word在embedding空(kong)间中学習(xi)表示(shi)用户輸(shu)入(ru)。

论文鏈(lian)接(jie)：https://arxiv.org/abs/2208.01618

项目链接：https://textual-inversion.github.io/

代码链接：https://github.com/rinongal/textual_inversion

这些(xie)word可以作為(wei)自然语言句(ju)子(zi)中的一部分，以更(geng)直(zhi)观的方式(shi)来指导个性(xing)化(hua)的创作。

比如输入一些用户图片，即可生成一个特殊(shu)的word来表示該(gai)风格或物体。

甚(shen)至(zhi)还可以在自然语言句子中组合(he)多(duo)个新words

值(zhi)得註(zhu)意(yi)的是，研究人员发现有證(zheng)据表明(ming)，单个词的embedding足(zu)以捕(bu)捉(zhuo)到(dao)独特且(qie)多樣(yang)的概念。

在将该方法與(yu)大量的基線(xian)模型進(jin)行比較(jiao)後(hou)，可以证明它能更忠(zhong)实地(di)描繪(hui)一系(xi)列應(ying)用和任(ren)務(wu)中的概念。

2. 從(cong)语言-图像到視(shi)頻(pin)

經(jing)过对比学习訓(xun)練(lian)的「图像文本(ben)模型」在从整(zheng)个「互(hu)聯(lian)网規(gui)模」的数据中学习visual-textual联合表征(zheng)方面(mian)取(qu)得了巨(ju)大成功(gong)，並(bing)在各(ge)种图像任务中表现出超(chao)强的zero-shot泛(fan)化能力(li)。

但我们该如何将这种新的language-image預(yu)训练方法有效(xiao)地擴(kuo)展(zhan)到视频領(ling)域(yu)？目前仍(reng)然是一个开放(fang)的问题。

论文链接：https://arxiv.org/abs/2208.02816

代码链接：https://github.com/microsoft/videox

具体来說(shuo)，为了捕捉视频幀(zhen)在時(shi)间维度上的長(chang)距(ju)離(li)依(yi)賴(lai)性，文中提出了一个跨(kua)帧注意力（cross-frame attention）機(ji)制(zhi)，顯(xian)式地交(jiao)換(huan)不同(tong)帧之(zhi)间的信(xin)息(xi)。

这样設(she)計(ji)得到的模塊(kuai)是輕(qing)量級(ji)的，可以可以无縫(feng)地插(cha)入到预训练的语言-图像模型中。

此(ci)外，研究人员还提出了 一个針(zhen)对视频的prompt模式，能夠(gou)利用视频的內(nei)容(rong)信息来生成有辨(bian)識(shi)度的文本提示。

在完全(quan)監(jian)督(du)（fully-supervised）的情(qing)況(kuang)下(xia)，该方法在Kinectics-400上达到了87.1%的top-1準(zhun)確(que)率(lv)，并且FLOPs僅(jin)为Swin-L和ViViT-H的十二分之一。

在zero-shot实验中，在兩(liang)个常(chang)用的協(xie)議(yi)下，该方法以+7.6%和+14.9%的最高(gao)准确率超过了目前的sota方法。

在few-shot实验中，當(dang)標(biao)簽(qian)数据極(ji)其有限(xian)时，该方法比以前的最佳(jia)方法高出+32.1%和+23.1%

3. 无需噪(zao)聲(sheng)的扩散(san)模型

目前業(ye)界(jie)出现的扩散（Diffusion）模型变体層(ceng)出不窮(qiong)，但「隨(sui)机噪声」是不变的核(he)心。

标准的扩散模型包(bao)括(kuo)图像变换（image transform），添(tian)加(jia)高斯(si)噪声，和一个反(fan)轉(zhuan)图像退(tui)化的恢(hui)復(fu)算(suan)子。

来自馬(ma)裏(li)蘭(lan)大学和紐(niu)約(yue)大学的研究人员观察(cha)到，扩散模型的生成行为并不依赖於(yu)图像退化的選(xuan)擇(ze)，事(shi)实上，通过改变这种选择，可以構(gou)建(jian)整个生成模型系列。

论文链接：https://arxiv.org/abs/2208.09392

代码链接：https://github.com/arpitbansal297/cold-diffusion-models

即使在使用完全确定的退化（如模糊(hu)、遮(zhe)蔽(bi)等(deng)）时，作为扩散模型基础的训练和測(ce)試(shi)时间更新规則(ze)也(ye)可以很(hen)容易(yi)地被(bei)泛化以创建生成模型。

这些完全确定的模型的成功使人们对社(she)區(qu)对扩散模型的理(li)解(jie)产生了疑问，这种理解依赖于梯(ti)度朗(lang)文動(dong)力学（gradient Langevin dynamics）或变分推理中的噪声，并为反转任意过程(cheng)的泛化扩散模型鋪(pu)平(ping)了道路(lu)。

在这篇论文中，作者不再(zai)将扩散模型局(ju)限于「依赖高斯噪声而(er)建立(li)」，而是提出了圍(wei)繞(rao)模糊（blurring）、下采(cai)样（downsampling）等任意图像变换方式建立的廣(guang)義(yi)扩散模型。

由于不再有原(yuan)先(xian)的「高溫(wen)」狀(zhuang)態(tai)，这种全新广义扩散模型也就被稱(cheng)作为 Cold Diffusion。

4. 讓(rang)大模型走(zou)进消(xiao)費(fei)级GPU

大型语言模型目前已(yi)成为主(zhu)流(liu)NLP研究的基础，但使用大模型需要大量的GPU内存(cun)进行推理。

论文链接：https://arxiv.org/abs/2208.07339

代码链接：https://github.com/timdettmers/bitsandbytes

来自華(hua)盛(sheng)頓(dun)大学、Meta AI研究院(yuan)、Hugging Face的研究人员为Transformer中的前饋(kui)和注意力投(tou)影(ying)层开发了一个Int8矩(ju)陣(zhen)乘(cheng)法的程序(xu)，使得推理所需的内存減(jian)少(shao)了一半，同时还能保(bao)持(chi)全精(jing)度的性能。

使用该方法，可以很方便(bian)地加載(zai)一个175B參(can)数的16/32位(wei)checkpoint，转换为Int8后，也不會(hui)出现性能下降(jiang)的情况。

想要做到这一點(dian)，需要通过理解和绕过Transformer语言模型中高度系統(tong)化的突(tu)发特征的特性来进行实现，这些特征主导著(zhu)(zhe)注意力和Transformer的预测性能。

为了应对这些特征，研究人员开发了一个由两部分组成的量化（quantization）程序：LLM.int8。首(shou)先使用矢(shi)量量化，对矩阵乘法中的每(mei)个内積(ji)都使用单独的歸(gui)一化常数，以量化大多数特征。

对于出现的異(yi)常值，文中还提出一个新的混(hun)合精度分解方案(an)，该方案将异常值特征维度隔(ge)离到16位的矩阵乘法中，与此同时仍有超过99.9%的值是以8位乘法的。

根据经验表明，使用LLM.int8可以在参数高达175B的LLM中进行推理而不会有任何性能下降。

该项目也使得这种大模型的使用场景更广泛，例(li)如，有可能在裝(zhuang)有消费级GPU的单一服(fu)务器(qi)上使用OPT-175B/BLOOM

5. 联邦(bang)学习本地蒸(zheng)餾(liu)

来自慕(mu)尼(ni)黑(hei)工(gong)业大学的研究人员提出了一个全新的联邦学习（federated learning）框(kuang)架(jia)FedD3，减少了整体的通信量，大大扩展了联邦学习的应用场景，即使是在网絡(luo)受(shou)限的環(huan)境(jing)中也能使用。

论文链接：https://arxiv.org/abs/2208.11311

代码链接：https://github.com/Guang000/Awesome-Dataset-Distillation

相比傳(chuan)统的学习方法，FedD3通过本地数据集的蒸馏实现了（1）显著减少通信量；（2）限制了transfer到one-shot的通信量，而非(fei)叠(die)代的多路（multi-way）通信；

实验结果表明，FedD3在所需的通信量方面明显優(you)于其他(ta)的联邦学习框架，同时它还能够在准确性和通信成本之间的进行平衡(heng)，具体取決(jue)于使用场景和目标数据集。

例如，要是想用10个客(ke)户端(duan)在Non-IID CIFAR-10上训练AlexNet模型，与其他one-shot联邦学习方法相比，在通訊(xun)量不变的情况下，FedD3可以将准确率提高71%以上；如果准确率相同，则可以節(jie)省(sheng)98%的通信量。

6. 隱(yin)式表征数据集

神(shen)经輻(fu)射(she)场（NeRFs）在隐三(san)维表征（implicit 3D representation）方面取得了諸(zhu)多进展，可以用一种可微分的方式进行准确且逼(bi)真(zhen)的三维重(zhong)建。

这种新的表征方法可以在一个緊(jin)湊(cou)的格式中有效地传达数百(bai)个高分辨率图像的信息，并允(yun)許(xu)对新的视图进行逼真的合成。

来自浦(pu)项科(ke)技(ji)大学、英伟达和加州(zhou)理工大学的研究人员利用NeRF的变种Plenoxels，创建了第(di)一个用于感(gan)知(zhi)任务的大规模隐式表征数据集PeRFception

论文链接：https://arxiv.org/abs/2208.11537

代码链接：https://github.com/POSTECH-CVLab/PeRFception

数据集由两部分组成，包括以物体为中心和以场景为中心的掃(sao)描，可以用于分類(lei)和分割(ge)。

在原始数据集的基础上实现了显著的内存壓(ya)縮(suo)率（96.4％），同时以统一的形(xing)式包含(han)了二维和三维信息。

研究人员直接将这种隐式格式作为输入构建了分类和分割模型，还提出了一种新的增(zeng)强技術(shu)，可以避(bi)免(mian)对图像背(bei)景的过擬(ni)合。

7. 最小(xiao)的视频实例分割框架

研究人员提出了MinVIS，一个最小的视频实例分割（VIS）框架，在既(ji)没有基于视频的架构也没有训练程序的情况下，实现了最先进的VIS性能。

论文链接：https://arxiv.org/abs/2208.02245

代码链接：https://github.com/nvlabs/minvis

通过只训练一个基于查(zha)詢(xun)的图像实例分割模型，MinVIS在比较難(nan)的Occluded VIS数据集上的表现比以前的最佳结果要好(hao)10%以上。

由于MinVIS将训练视频中的帧视为独立的图像，因(yin)此可以在不做任何修改的情况下对训练视频中的标注帧进行大幅度的子采样。

在YouTube-VIS 2019/2021上，MinVIS只用了1%的标注帧，就超过了完全监督的最先进的方法，或者与之相当。

主要观察结果是，经过训练的查询在帧内物体实例之间具有判(pan)別(bie)能力，在时间上是一致(zhi)的，可以用来追(zhui)蹤(zong)实例，而不需要任何人工设计的啟(qi)发式方法。

因此，MinVIS的推理pipeline为：先将训练好的基于查询的图像实例分割独立应用于视频帧，然后通过对相应的查询进行雙(shuang)邊(bian)匹(pi)配(pei)来追踪被分割的实例。

这种推理是以在线方式进行的，不需要一次(ci)性處(chu)理整个视频。所以MinVIS具有降低(di)标签成本和内存需求(qiu)的实際(ji)优勢(shi)，同时不会犧(xi)牲(sheng)VIS的性能。

8. 用来唱(chang)歌(ge)的Vocoder

Vocoder是一种條(tiao)件(jian)音(yin)频生成模型，将声学特征（如旋(xuan)律(lv)谱图）转换成波(bo)形。

从可微分数字(zi)信號(hao)处理（DDSP）中得到启发，研究人员提出了一种新的Vocoder，名为SawSing，可以用于歌唱的声音。

论文链接：https://arxiv.org/abs/2208.04756

代码链接：https://github.com/yatingmusic/ddsp-singing-vocoders

SawSing通过用线性时变有限脈(mai)沖(chong)響(xiang)应濾(lv)波器过滤鋸(ju)齒(chi)源(yuan)信号来合成歌声的諧(xie)波部分，该滤波器的系数是通过神经网络从输入的旋律谱图中估(gu)计出来的。

由于这种方法加强了相位的连續(xu)性，SawSing可以产生歌唱的声音，而不会出现许多现有vocoder的相位不连续的突变。

此外，源滤波器的假(jia)设提供了一个感应性的偏(pian)向(xiang)，使SawSing可以在少量的数据上进行训练。

实验表明，在資(zi)源有限的情况下，SawSing收斂(lian)得更快(kuai)，并优于最先进的生成式对抗(kang)网络和基于扩散的vocoder，只有3个训练記(ji)錄(lu)和3小时的训练时间。

9. 无需模型的强化学习

深(shen)度强化学习是在不需要领域知识的不可控(kong)环境中学习策(ce)略(lve)的一种有效的方法。

不幸(xing)的是，由于样本的低效率，深度强化学习的应用主要集中在模拟环境中。

在这项工作中，研究人员证明了机器学习算法和庫(ku)的最新进展与精心调整的机器人控制器相结合，在现实世(shi)界中只需20分鐘(zhong)就能学会四(si)足动物的運(yun)动。

论文链接：https://arxiv.org/abs/2208.07860

代码链接：https://github.com/ikostrikov/walk_in_the_park

研究人员在幾(ji)个室(shi)内和室外的地形上評(ping)估了该方法，这些地形对于经典(dian)的基于模型的控制器来说是具有挑(tiao)戰(zhan)性的，观察到机器人能够在所有这些地形上持续学习行走步(bu)态，文中也在一个模拟环境中评估了该设计决策。

10. 物联网攻(gong)擊(ji)檢(jian)测

现代車(che)輛(liang)，包括自动駕(jia)駛(shi)车辆和联网车辆，通过与其他车辆、智能设備(bei)和基础设施(shi)的连接和通信，逐(zhu)漸(jian)包含了越(yue)来越多的功能。

但车联网（IoV）日(ri)益(yi)增长的连接性也增加了对网络攻击的脆(cui)弱(ruo)性。

为了准确地检测物联网网络中的各种类型的攻击，研究人员提出了一个全新的集成IDS框架，取名为为领导者类和信心决策集成（Leader Class and Confidence Decision Ensemble, LCCDE）。

论文链接：https://arxiv.org/abs/2208.03399

代码链接：https://github.com/Western-OC2-Lab/Intrusion-Detection-System-Using-Machine-Learning

通过在三种最先进的ML算法（XGBoost、LightGBM和CatBoost）中为每一类或每一种攻击类型确定表现最好的ML模型。

然后利用具有预测置(zhi)信度值的类领袖(xiu)模型，对各种类型的网络攻击的检测做出准确的决定。

在两个公共(gong)物联网安(an)全数据集（Car-Hacking和CICIDS2017数据集）上的实验证明了所提出的LCCDE对车辆内部和外部网络的入侵(qin)检测的有效性。

推特排名前十的研究

参考(kao)资料(liao)：

https://www.reddit.com/r/MachineLearning/comments/x4vppv/d_most_popular_ai_research_aug_2022_ranked_based/返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：