北京街头创意广告牌

jujiaoxiangji，xiangjikuaisujujiao，suodingmeirenmeijing，kuaisudinggemeihaoshunjian。wanjiamenzaiyouxizhongchuangguanshixuyaozhuyihaowujiangzhenrongdedapei，zheyangcainengtigaoshenglv；geiniyigegengjiahelidejieda，zaiyidingchengdushangyenenggoushengxiahenduoshijian。shebeiyunxingtiaojiankeyizijisheji，yidandadaojidingtiaojianjikezidongkaiqishebeizhangwogengduoyouhuihuodong，binfenlequhuodong，dujiahuiyuanyouhuitiantianxiang。Stability AI連(lian)扔(reng)兩(liang)個(ge)王(wang)炸(zha)！首(shou)个開(kai)源(yuan)RLHF模(mo)型(xing)登(deng)基(ji)，DeepFloyd IF像(xiang)素(su)級(ji)出(chu)圖(tu)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas 好(hao)困(kun)

【新智元導(dao)讀(du)】开源先(xian)鋒(feng)StabilityAI壹(yi)天(tian)扔了(le)两枚(mei)重(zhong)磅(bang)炸彈(dan)：發(fa)布(bu)史(shi)上(shang)首个开源RLHF大(da)語(yu)言(yan)模型，以(yi)及(ji)像素级图像模型DeepFloyd IF。开源社(she)區(qu)狂(kuang)喜(xi)！

最(zui)近(jin)，大名(ming)鼎(ding)鼎的(de)Stable Diffusion背(bei)後(hou)的公(gong)司(si)，一连整(zheng)了两个大活(huo)。

首先，Stability AI重磅发布了世(shi)上首个基於(yu)RLHF的开源LLM聊(liao)天機(ji)器(qi)人(ren)——StableVicuna。

StableVicuna基于Vicuna-13B模型實(shi)現(xian)，是(shi)第(di)一个使(shi)用(yong)人類(lei)反(fan)饋(kui)訓(xun)練(lian)的大規(gui)模开源聊天机器人。

有(you)網(wang)友(you)經(jing)過(guo)实測(ce)后表(biao)示(shi)，StableVicuna就(jiu)是目(mu)前(qian)當(dang)之(zhi)無(wu)愧(kui)的13B LLM之王！

對(dui)此(ci)，1x exited創(chuang)始(shi)人表示，這(zhe)可(ke)以看(kan)作(zuo)是自(zi)ChatGPT推(tui)出以來(lai)的第二(er)个裏(li)程(cheng)碑(bei)。

另(ling)外(wai)，Stability AI 发布了开源模型DeepFloyd IF，这个文(wen)本(ben)到(dao)图像的级聯(lian)像素擴(kuo)散(san)模型功(gong)能(neng)超(chao)強(qiang)，可以巧(qiao)妙(miao)地(di)把(ba)文本集(ji)成(cheng)到图像中(zhong)。

这个模型的革(ge)命(ming)性(xing)意(yi)義(yi)在(zai)于，它(ta)一连解(jie)決(jue)了文生(sheng)图領(ling)域(yu)的两大難(nan)題(ti)：正(zheng)確(que)生成文字(zi)，正确理(li)解空(kong)間(jian)關(guan)系(xi)！

秉(bing)持(chi)著(zhe)开源的一貫(guan)傳(chuan)統(tong)，DeepFloyd IF在以后會(hui)完(wan)全(quan)开源。

Stailibity AI，果(guo)然(ran)是开源界(jie)当之无愧的扛(kang)把子(zi)。

StableVicuna

世上首个开源RLHF LLM聊天机器人StableVicuna，由(you)Stability AI震(zhen)撼(han)发布！

一位(wei)Youtube主(zhu)播(bo)对Stable Vicuna進(jin)行(xing)了实测，Stable Vicuna在每(mei)一次(ci)测試(shi)中，都(dou)擊(ji)敗(bai)了前任(ren)王者(zhe)Vicuna。

所(suo)以这位Youtuber激(ji)動(dong)地喊(han)出：Stable Vicuna就是目前最强大的 13B LLM模型，是当之无愧的LLM模型之王！

StableVicuna基于小(xiao)羊(yang)駝(tuo)Vicuna-13B模型实现， 是Vicuna-13B的进一步(bu)指(zhi)令(ling)微(wei)調(tiao)和(he)RLHF训练的版(ban)本。

而(er)Vicuna-13B是LLaMA-13B的一个指令微调模型。

從(cong)以下(xia)基準(zhun)测试可以看出，StableVicuna與(yu)类似(si)规模的开源聊天机器人在整體(ti)性能上的比(bi)較(jiao)。

StableVicuna可以做(zuo)基礎(chu)數(shu)學(xue)题。

可以寫(xie)代(dai)碼(ma)。

還(hai)能為(wei)妳(ni)講(jiang)解语法(fa)知(zhi)識(shi)。

开源聊天机器人平(ping)替(ti)狂潮(chao)

Stability AI想(xiang)做这樣(yang)一个开源的聊天机器人，当然也(ye)是受(shou)了此前LLaMa權(quan)重泄(xie)露(lu)引(yin)爆(bao)的ChatGPT平替狂潮的影(ying)響(xiang)。

从去(qu)年(nian)春(chun)天Character.ai的聊天机器人，到后来的ChatGPT和Bard， 都引发了大家(jia)对开源平替的强烈(lie)興(xing)趣(qu)。

这些(xie)聊天模型的成功，基本都歸(gui)功于这两種(zhong)训练範(fan)式(shi)：指令微调和人类反馈强化(hua)学習(xi) (RLHF)。

这期(qi)间，开发者一直(zhi)在努(nu)力(li)構(gou)建(jian)开源框(kuang)架(jia)幫(bang)助(zhu)训练这些模型，比如(ru)trlX、trl、DeepSpeed Chat和ColossalAI等(deng)，然而，卻(que)並(bing)沒(mei)有一个开源模型，能夠(gou)同(tong)時(shi)應(ying)用指令微调和RLHF。

大多(duo)数模型都是在没有RLHF的情(qing)況(kuang)下进行指令微调的，因(yin)为这个过程十(shi)分(fen)復(fu)雜(za)。

最近，Open Assistant、Anthropic 和 Stanford都开始向(xiang)公眾(zhong)提(ti)供(gong)RLHF数據(ju)集。

Stability AI把这些数据集与trlX提供的RLHF相(xiang)結(jie)合(he)，就得(de)到了史上第一个大规模指令微调和RLHF模型——StableVicuna。

训练过程

为了实现StableVicuna的强大性能，研(yan)究(jiu)者利(li)用Vicuna作为基础模型，并遵(zun)循(xun)了一种典(dian)型的三(san)级RLHF管(guan)線(xian)。

Vicuna在130億(yi)參(can)数LLaMA模型的基础上，使用Alpaca进行调整后得到的。

他(ta)們(men)混(hun)合了三个数据集，训练出具(ju)有監(jian)督(du)微调 (SFT) 的Vicuna基础模型：

OpenAssistant Conversations Dataset (OASST1)，一个人工(gong)生成的、人工註(zhu)釋(shi)的助理式对話(hua)语料(liao)庫(ku)，包(bao)含(han) 161,443條(tiao)消(xiao)息(xi)，分布在66,497个对话樹(shu)中，使用35种不(bu)同的语言；

GPT4 All Prompt Generations，由 GPT-3.5 Turbo 生成的 437,605 个提示和响应的数据集；

Alpaca，这是由OpenAI的text-davinci-003引擎(qing)生成，包含52,000条指令和演(yan)示的数据集。

研究者使用trlx，训练了一个獎(jiang)勵(li)模型。在以下这些RLHF偏(pian)好数据集上，研究者得到了SFT模型，这是奖励模型的基础。

OpenAssistant Conversations Dataset (OASST1)，包含7213个偏好样本；

Anthropic HH-RLHF，一个关于AI助手(shou)有用性和无害(hai)性的偏好数据集，包含160,800个人类標(biao)簽(qian)；

斯(si)坦(tan)福(fu)人类偏好 (SHP)，这是一个数据集，包含348,718个人类对各(ge)种不同回(hui)答(da)的集体偏好，包括(kuo)18个从烹(peng)飪(ren)到哲(zhe)学的不同学科(ke)领域。

最后，研究者使用了trlX，进行近端(duan)策(ce)略(lve)優(you)化 (Proximal Policy Optimization, PPO) 强化学习，对SFT模型进行了RLHF训练，然后，StableVicuna就誕(dan)生了！

据Stability AI稱(cheng)，会进一步开发StableVicuna，并且(qie)会很(hen)快(kuai)在Discord上推出。

另外，Stability AI还計(ji)劃(hua)給(gei)StableVicuna一个聊天界面(mian)，目前正在开发中。

相关演示已(yi)经可以在HuggingFace上查(zha)看了，开发者也可以在Hugging Face上下載(zai)模型的权重，作为原(yuan)始LLaMA模型的增(zeng)量(liang)。

但(dan)如果想使用StableVicuna，还需(xu)要(yao)獲(huo)得原始LLaMA模型的訪(fang)問(wen)权限(xian)。

获得权重增量和 LLaMA 权重后，使用GitHub存(cun)儲(chu)库中提供的腳(jiao)本將(jiang)它们組(zu)合起(qi)来，就能得到StableVicuna-13B了。不过，也是不允(yun)許(xu)商(shang)用的。

DeepFloyd IF

在同一时间，Stability AI还放(fang)出了一个大动作。

你敢(gan)信(xin)，AI一直无法正确生成文字这个老(lao)大难问题，竟(jing)然被(bei)解决了？（基本上）

没錯(cuo)，下面这張(zhang)「完美(mei)」的招(zhao)牌(pai)，就是由StabilityAI全新推出的开源图像生成模型——DeepFloyd IF制(zhi)作的。

除(chu)此之外，DeepFloyd IF还能够生成正确的空间关系。

模型剛(gang)一发布，网友们已经玩(wan)瘋(feng)了：

prompt: Robot holding a neon sign that says"I can spell".

不过，对于prompt中没有明(ming)确說(shuo)明的文字，DeepFloyd IF大概(gai)率(lv)还是会出错。

prompt：A neon sign of an American motel at night with the sign javilop

官(guan)方(fang)演示

下图可左(zuo)右(you)滑(hua)动查看更(geng)多

順(shun)便(bian)一提，在硬(ying)件(jian)的需求(qiu)上，如果想要实现模型所能支(zhi)持的最大1,024 x 1,024像素輸(shu)出，建議(yi)使用24GB的顯(xian)存；如果只(zhi)要256 x 256像素，16GB的显存即(ji)可。

是的，RTX 3060 16G就能跑(pao)。

代码实现：https://gist.github.com/Stella2211/ab17625d63aa03e38d82ddc8c1aae151

开源版谷(gu)歌(ge)Imagen

2022年5月(yue)，谷歌高(gao)调发布了自家的图像生成模型Imagen。

根(gen)据官方演示的效(xiao)果，Imagen不僅(jin)在質(zhi)量上完勝(sheng)OpenAI最强的DALL-E 2，更重要的是——它能够正确地生成文本。

迄(qi)今(jin)为止(zhi)，没有任何(he)一个开源模型能够穩(wen)定(ding)地实现这一功能。

与其(qi)他生成式AI模型一样，Imagen也依(yi)賴(lai)于一个凍(dong)结的文本编码器：先将文本提示轉(zhuan)換(huan)为嵌(qian)入(ru)，然后由扩散模型解码成图像。但不同的是，Imagen并没有使用多模態(tai)训练的CLIP，而是使用了大型T5-XXL语言模型。

这次，StabilityAI推出的DeepFloyd IF复刻(ke)的正是这一架构。

甚(shen)至(zhi)在测试中，DeepFloyd IF憑(ping)借(jie)着COCO数据集上6.66的zero-shot FID分数，直接(jie)超越(yue)了谷歌的Imagen，以及一众競(jing)品(pin)（包括自家Stable Diffusion）。

下一代图像生成AI模型

具体来说，DeepFloyd IF是一个模塊(kuai)化、级联的像素扩散模型。

模块化：

DeepFloyd IF由幾(ji)个神(shen)经模块组成（可以解决獨(du)立(li)任務(wu)的神经网絡(luo)），它们在一个架构中相互(hu)協(xie)同工作。

级联：

DeepFloyd IF以多个模型级联的方式实现高分辨(bian)率输出：首先生成一个低(di)分辨率的样本，然后通(tong)过连續(xu)的超分辨率模型进行上采(cai)样，最終(zhong)得到高分辨率图像。

扩散：

DeepFloyd IF的基本模型和超分辨率模型都是扩散模型，其中使用馬(ma)爾(er)可夫(fu)鏈(lian)的步驟(zhou)将隨(sui)机噪(zao)聲(sheng)注入到数据中，然后反转該(gai)过程从噪声中生成新的数据样本。

像素：

DeepFloyd IF在像素空间工作。与潛(qian)在扩散模型（如Stable Diffusion）不同，扩散是在像素级別(bie)实现的，其中使用潜在表征(zheng)。

上面这个流(liu)程图展(zhan)示的就是，DeepFloyd IF三个階(jie)段(duan)的性能：

阶段1：

基本扩散模型将定性文本转换为64x64图像。DeepFloyd團(tuan)隊(dui)已经训练了三个版本的基本模型，每个版本都有不同的参数：IF-I 400M、IF-I 900M和IF-I 4.3B。

阶段2：

为了「放大」图像，团队将两个文本条件超分辨率模型（Efficient U-Net）应用于基本模型的输出。其中之一将64x64图像放大到256x256图像。同样，这个模型也有几个版本：IF-II 400M和IF-II 1.2B。

阶段3：

应用第二个超分辨率扩散模型，生成生动的1024x1024图像。最后的第三阶段模型IF-III擁(yong)有700M参数。

值(zhi)得注意的是，团队还没有正式发布第三阶段的模型，但DeepFloyd IF的模块化特(te)性讓(rang)我(wo)们可以使用其他上采样模型——如Stable Diffusion x4 Upscaler。

团队表示，这項(xiang)工作展示了更大的UNet架构在级联扩散模型的第一阶段的潜力，从而为文本到图像合成展示了充(chong)滿(man)希(xi)望(wang)的未(wei)来。

数据集训练

DeepFloyd IF是在一个定制的高质量LAION-A数据集上进行训练的，该数据集包含10亿（图像，文本）对。

LAION-A是LAION-5B数据集英(ying)文部(bu)分的一个子集，基于相似度(du)哈(ha)希去重后获得，对原始数据集进行了額(e)外的清(qing)理和修(xiu)改(gai)。DeepFloyd的定制过濾(lv)器用于刪(shan)除水(shui)印(yin)、NSFW和其他不適(shi)当的內(nei)容(rong)。

目前，DeepFloyd IF模型的许可仅限于非(fei)商業(ye)目的的研究，在完成反馈的收(shou)集之后，DeepFloyd和StabilityAI团队将发布一个完全免(mian)費(fei)的商业版本。

参考(kao)資(zi)料：

https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

https://stability.ai/blog/deepfloyd-if-text-to-image-model返(fan)回搜(sou)狐(hu)，查看更多

責(ze)任编辑：