广州天河城led屏广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>國(guo)產(chan)Midjourney震(zhen)撼(han)登(deng)場(chang)！阿(e)裏(li)通(tong)義(yi)萬(wan)相(xiang)畫(hua)出(chu)「海(hai)底(di)星(xing)空(kong)」，自(zi)研(yan)Composer架(jia)構(gou)立(li)功(gong)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】阿里通义大(da)家(jia)族(zu)又(you)上(shang)新了(le)，這(zhe)壹(yi)回(hui)出场的(de)是(shi)AI作(zuo)画大模(mo)型(xing)「通义万相」，實(shi)測(ce)後(hou)發(fa)現(xian)，它(ta)的創(chuang)作能(neng)力(li)已(yi)經(jing)逼(bi)近(jin)世(shi)界(jie)TOP 2的作画模型Midjourney和(he)Stable Diffusion！

最(zui)近，AI作画大模型，已经卷(juan)出了新境(jing)界。

Midjourney和Stable Diffusion，仿(fang)佛(fo)每(mei)幾(ji)天(tian)就(jiu)要(yao)放(fang)出一個(ge)大殺(sha)器(qi)。

而(er)我(wo)們(men)国产的AI作画大模型，當(dang)然(ran)也(ye)沒(mei)落(luo)后。

阿里雲(yun)通义大模型家族的AI繪(hui)画创作大模型「通义万相」，在(zai)千(qian)呼(hu)万喚(huan)中(zhong)終(zhong)於(yu)來(lai)了！

基(ji)于阿里研发的組(zu)合(he)式(shi)生(sheng)成(cheng)模型Composer，通义万相提(ti)出了基于擴(kuo)散(san)模型的「组合式生成」框(kuang)架，通過(guo)對(dui)配(pei)色(se)、布(bu)局(ju)、風(feng)格(ge)等(deng)圖(tu)像(xiang)設(she)計(ji)元素(su)進(jin)行(xing)拆(chai)解(jie)和组合，提供(gong)了高(gao)度(du)可(ke)控(kong)性(xing)和極(ji)大自由(you)度的图像生成效(xiao)果(guo)。

從(cong)此(ci)，图片(pian)设计的門(men)檻(kan)將(jiang)大幅(fu)降(jiang)低(di)，無(wu)論(lun)是藝(yi)術(shu)设计、遊(you)戲(xi)，還(hai)是文(wen)创，都(dou)将迎(ying)来一场變(bian)革(ge)。

目(mu)前(qian)，通义万相已经開(kai)啟(qi)定(ding)向(xiang)邀(yao)测。

三(san)大功能

目前，通义万相具(ju)有(you)以(yi)下(xia)三大功能：文生图、相似(si)图生成、风格遷(qian)移(yi)。

文生图

首(shou)先(xian)，当然就是最基本(ben)的文生图功能。

只(zhi)要輸(shu)入(ru)prompt，選(xuan)定创作风格（水(shui)彩(cai)、油(you)画、中国画、扁(bian)平(ping)插(cha)画、二(er)次(ci)元、素描(miao)、3D卡(ka)通等），通义万相就可以自動(dong)生成海量(liang)的创意(yi)靈(ling)感(gan)。

比(bi)如(ru)，「中国甲(jia)蟲(chong)陶(tao)瓷(ci)雕(diao)塑(su)零(ling)件(jian)面(mian)板(ban)，裝(zhuang)配零件和道具，金(jin)画細(xi)節(jie)Knolling布局，解构，高度詳(xiang)细，深(shen)度，許(xu)多(duo)零件，流(liu)明(ming)渲(xuan)染(ran)，8k」

想(xiang)要个VR游戏的背(bei)景(jing)，输入这樣(yang)的prompt：「用(yong)蒸(zheng)汽(qi)动力機(ji)器、復(fu)雜(za)的发條(tiao)机构和工(gong)業(ye)時(shi)代(dai)的建(jian)築(zhu)建造(zao)一座(zuo)錯(cuo)綜(zong)复杂的蒸汽朋(peng)克(ke)大都市(shi)，非(fei)常(chang)適(shi)合VR和AR體(ti)驗(yan)」。

生成的图片的確(que)很(hen)有蒸汽朋克风，讓(rang)人(ren)忍(ren)不(bu)住(zhu)进入这样的VR游戏体验一把(ba)了！

再(zai)試(shi)试雕塑风格的画作：「创造一个令(ling)人難(nan)以忘(wang)懷(huai)的美(mei)麗(li)画像，描绘一座搖(yao)摇欲(yu)墜(zhui)的廢(fei)棄(qi)城(cheng)堡(bao)被(bei)迷(mi)人的森(sen)林(lin)所(suo)取(qu)代，藤(teng)蔓(man)和樹(shu)根(gen)编織(zhi)在不斷(duan)衰(shuai)退(tui)的結(jie)构中，雕刻(ke)」。

通义万相給(gei)出的被树根和藤蔓包(bao)圍(wei)的废弃古(gu)堡有那(na)个味(wei)了，感覺(jiao)下一秒(miao)就要发生古堡驚(jing)魂(hun)事(shi)件。

「描绘一个瘋(feng)狂(kuang)科(ke)學(xue)家在实验室(shi)內(nei)的场景，以古怪(guai)的人物(wu)、奇(qi)幻(huan)的装置(zhi)和豐(feng)富(fu)多彩的化(hua)学反(fan)應(ying)為(wei)特(te)色，用于漫(man)画创作。」

「在夜(ye)間(jian)環(huan)境中创建一个擁(yong)有生物发光(guang)植(zhi)被、水生生物和水下结构的寧(ning)靜(jing)水下城市，3D环境设计。」

完(wan)全(quan)就是小(xiao)编腦(nao)海中的海底科幻城了！

下面来點(dian)国风的：「封(feng)面插图，未(wei)来派(pai)中国建筑主(zhu)題(ti)，卡通，水彩，精(jing)确，详细，充(chong)滿(man)活(huo)力的調(tiao)色板，黃(huang)色，藍(lan)色，紅(hong)色」。

这不，就在前兩(liang)天，拉(la)斯(si)維(wei)加(jia)斯耗(hao)資(zi)23億(yi)美元建成的新地(di)標(biao)「MSG Sphere」，也稱(cheng)碗(wan)形(xing)劇(ju)院(yuan)，正(zheng)式点亮(liang)了。

MSG球(qiu)体的外(wai)立面屏(ping)幕(mu)是世界上最大的可编程(cheng)LED屏幕。

?

让通义万相也来设计一款(kuan)「球形建筑」，提示(shi)很簡(jian)單(dan)：「球形建筑，球体外全是LED屏幕」。

时尚(shang)與(yu)美感兼(jian)具，妥(tuo)妥的设计大師(shi)。

输入prompt：「吉(ji)蔔(bu)力，春(chun)天，水彩，风景，手(shou)绘，厚(hou)塗(tu)，唯(wei)美，治(zhi)愈(yu)系(xi)，二次元」。

通义万相生成的这4幅吉卜力风格的水彩画，美到(dao)无以言(yan)表(biao)。

再让通义万相生成一幅有意境的城市落日(ri)景觀(guan)吧(ba)。

黄昏(hun)时刻，天空云彩青(qing)一塊(kuai)紫(zi)一块，高聳(song)的摩(mo)天大樓(lou)像巨(ju)人一样直(zhi)視(shi)著(zhe)整(zheng)座城市，还有那窗(chuang)戶(hu)映(ying)射(she)着日落的余(yu)暉(hui)，简直美不勝(sheng)收(shou)。

相似图生成

在这个功能中，只要用户提供一張(zhang)參(can)考(kao)图像，就可以獲(huo)得(de)一张与之(zhi)内容(rong)、风格類(lei)似的图像。

这个功能，对于原(yuan)画师等相關(guan)从业者(zhe)，可是太(tai)实用了。

比如，看(kan)到一张图，非常希(xi)望(wang)生成类似的风格，該(gai)怎(zen)麽(me)辦(ban)？

通义万相的相似图生成功能，就为用户解決(jue)了这个煩(fan)惱(nao)。

另(ling)外，有了这个功能，用户就可以根據(ju)现有素材(cai)，快(kuai)速(su)地批(pi)量扩展(zhan)相似素材。

而且(qie)，生成的相似图，很可能就會(hui)提供全新的灵感源(yuan)泉(quan)，挖(wa)掘(jue)出新的创意。

比如，输入这个水晶(jing)球。

通义万象(xiang)就会生成类似风格的四(si)个水晶球。

不能用原图，但(dan)是可以得到它的平替(ti)，这也太香(xiang)了吧！

输入新海誠(cheng)的《言葉(葉)(ye)之庭(ting)》（「言の葉の庭」）动画截(jie)图——

生成的类似风格的照(zhao)片，可謂(wei)抓(zhua)住了新海诚的精髓(sui)。

来试试能不能复刻出《崩(beng)壞(huai)：星穹(qiong)鐵(tie)道》的布洛(luo)妮(ni)婭(ya)和克拉拉。

通义万相在原图的基礎(chu)上，创造出了新的人物，当然AI画手的問(wen)题依(yi)然存(cun)在。

试着生成和这幅原神(shen)海燈(deng)节側(ce)影(ying)图相近的图画。

图源：@步(bu)明嚼(jiao)栗(li)

实测效果也算(suan)小有意境。

下面是一大波(bo)相似图。

左(zuo)邊(bian)是Midjourney根据prompt生成的原图，右(you)边都是通义万相根据原图生成的作品(pin)。

可以看出，通义万相的部分(fen)作图能力，已经在逼近全球最牛(niu)AI作画神器Midjourney。

风格迁移

有时候(hou)，很喜(xi)歡(huan)一幅图的画风，想要把某(mou)张原图處(chu)理(li)成类似风格，怎么办？

通义万相的风格迁移功能，就完美地解决了我们的需(xu)求(qiu)！

比如，上傳(chuan)一张寫(xie)实的风景图。

但是我们想要的图片，是下面这幅水彩貓(mao)猫的风格。

那就把这张猫猫也输入大模型，就能一鍵(jian)get类似风格的风景图了。

输入一张素描画的鹿(lu)，右边是希望迁移的风格。

迁移之后，就得到了彩色的鹿，毛(mao)发的细膩(ni)質(zhi)感栩(xu)栩如生。

让我们试着把这个穿(chuan)着白(bai)紗(sha)的美女(nv)，改(gai)成法(fa)国印(yin)象派画家雷(lei)諾(nuo)阿的风格。

迁移完成后，得到了这样一幅印象派的人物肖(xiao)像。

来试试《權(quan)力的游戏》中龍(long)媽(ma)，迁移的风格选擇(ze)的是19世紀(ji)英(ying)国画家約(yue)翰(han)·威(wei)廉(lian)·沃(wo)特豪(hao)斯的作品<The Lady of Shalott>。

通义万相生成的龙妈，果然有了「拉斐(fei)爾(er)前派」的浪(lang)漫主义风格。

剪(jian)刀(dao)手愛(ai)德(de)華(hua)的形象孤(gu)獨(du)、黑(hei)暗(an)、陰(yin)郁(yu)，屬(shu)于鬼(gui)才(cai)导演(yan)蒂(di)姆(mu)·波頓(dun)典(dian)型的哥(ge)特风。

而畢(bi)加索(suo)开创的立体主义风格，通过空间、色彩与線(xian)的運(yun)用，表现出強(qiang)烈(lie)的情(qing)感和个性。

二者一结合，果然碰(peng)撞(zhuang)出了不一样的火(huo)花(hua)。

最近爆(bao)火的電(dian)影「消(xiao)失(shi)的她(ta)」，看过的人都說(shuo)后勁(jin)十(shi)足(zu)。

除(chu)了不断反轉(zhuan)扣(kou)人心(xin)弦(xian)的剧情，剧中的美学设计也廣(guang)受(shou)贊(zan)揚(yang)，影片无处不梵(fan)高，就連(lian)何(he)非帶(dai)李(li)木(mu)子(zi)去(qu)看的海底星空，也是梵高的「星夜」。

不如，以星夜与大海为材，看看通义万相创意如何？

原图+风格图

不能说完全是李木子看到那片海底星空，但通义万相在处理印象派风格、油画的筆(bi)觸(chu)，別(bie)有韻(yun)味。

还有这个夏(xia)天，「多巴(ba)胺(an)穿搭(da)」遍(bian)布全網(wang)，高亮配色、撞色混(hun)搭，成为全新潮(chao)流熱(re)点。

要说玩(wan)配色，蘋(ping)果最拿(na)手了。

前段(duan)时间，苹果首个VR頭(tou)顯(xian)发布，主打(da)白色。我们不如来个「多巴胺Vision Pro」。

原图+风格图

借(jie)着五(wu)彩iPad，苹果未来叠(die)代的Vision Pro的配色，通义万相幫(bang)妳(ni)设计好(hao)了。

拆分再重(zhong)组

通义万相的能力如此强大，背后杀手鐧(jian)便(bian)是，阿里自研的「组合式生成」模型Composer。

论文地址(zhi)：https://arxiv.org/pdf/2302.09778.pdf

与Stable Diffusion原理不同(tong)的是，Composer把訓(xun)練(lian)图像拆解为多个图像，然后基于这些(xie)元素再训练扩散模型（DM），让其(qi)能夠(gou)灵活组合。

基于这个「拆解-组合」思(si)想，你就能看到一種(zhong)现象，称为「组合爆炸(zha)」。

假(jia)设有100张「带珍(zhen)珠(zhu)耳(er)环的少(shao)女」图片，拆分成8种元素，那么就能生成100^8的组合结果。

那么，为什(shen)么要通过「组合性」这一方(fang)法去实现图像生成创造力的爆发？

由于当前，许多AI模型在细节可控方面，比如色彩、风格、布局等做(zuo)的还不够。

阿里研究(jiu)人員(yuan)認(ren)为，若(ruo)想要实现图像可控生成，重点应该放在「组合性」上。这也是这項(xiang)研究最大貢(gong)獻(xian)，即(ji)提出基于扩散模型的「组合式生成」框架。

就像论文中，引(yin)用了語(yu)言大家喬(qiao)姆斯基的名(ming)句(ju)，「有限(xian)方法的无限使(shi)用」。

具体来講(jiang)，首先将训练图像拆解成一系列(lie)不同的设计元素，包括(kuo)配色、草(cao)图、布局、风格、语义、材质等，然后训练扩散模型。

然后AI模型便可以将这些被拆分的元素，在推(tui)理階(jie)段组合成新的图像。

在这个过程中用到的元素，可以自由修(xiu)改编辑。由此，拆解-组合提供了设计元素層(ceng)面的可控性。

同时，我们也能看到，不同元素的组合，能够输出指(zhi)數(shu)級(ji)的图像，是一个极大的生成空间。

基于组合爆炸，「组合式生成」给人类设计师生成定制(zhi)化图片，提供了极大的自由度和定制化能力。

正是基于Composer框架，通义万相可以灵活处理各(ge)类图生图创作任(ren)務(wu)。

首先，最基本能力就是相似图生成。保(bao)持(chi)图像语义内容不变，改变图像中局部细节，即可实现相似图生成。

从上面演示的例(li)子可見(jian)，通义万相相似图功能可以在較(jiao)好保持原图主体一致(zhi)性的同时、提升(sheng)生成图的多样性和质量。

另外，Composer可以进行图像重构，能够简单地改变图像表示来重新配置图像，草稿(gao)图和分割(ge)图。

Composer还能实现风格迁移，是在保留(liu)原始(shi)图片基本形態(tai)，结构的同时，迁移风格图片的色彩、笔触、风格等个性化信(xin)息(xi)。

如下是图像实现的位(wei)置迁移。

值(zhi)得一提的是，最新研究成果已经被机器学習(xi)頂(ding)会ICML 2023接(jie)收。

久(jiu)久为攻(gong)，厚積(ji)薄(bo)发

从通义千问，到通义聽(ting)悟(wu)，再到通义万相，阿里将大模型能力逐(zhu)漸(jian)向公(gong)眾(zhong)展现出来。

那么，或(huo)许你会问，最新发布的通义万相和此前两个定位有何差(cha)異(yi)？

首先，通义千问是阿里云推出的大语言模型，类似GPT-4、PaLM等，能够回答(da)问题、创作文字(zi)、编写代碼(ma)等能力。

目前，阿里云也在帮助(zhu)行业客(ke)户打造專(zhuan)属模型。通义千问大模型已在多个行业落地，已有累(lei)计30万用户申(shen)請(qing)接入通义千问。

通义听悟，是接入了通义千问大模型能力的应用产品，目前累计超(chao)36万用户。它能够高效对音(yin)頻(pin)的转写、檢(jian)索、摘(zhai)要和整理。

不得不说，这简直就是会議(yi)AI神器，用大模型自动做笔記(ji)、整理訪(fang)談(tan)、提取PPT等。

小编近来的会议记錄(lu)、采(cai)访，都是在通义听悟加持下，效率(lv)嗖(sou)嗖嗖地提升。

作为阿里云大模型家族的新成员，通义万相是聚(ju)焦(jiao)在图片创作方向的大模型。

当然，它的能力也在不断进化中，並(bing)逐渐向行业客户开放相关能力，未来主要为电商(shang)、文创、游戏等视觉创意行业提供服(fu)务。

隨(sui)着AI模型賽(sai)道日益(yi)拥擠(ji)，国内外科技(ji)巨头紛(fen)纷入局，那么阿里有何独特優(you)勢(shi)，去创造新的可能？

要知(zhi)道，大模型打造的门槛非常高，对算力、数据、大模型基础设施(shi)等提出了极高要求。

大模型的研发动輒(zhe)要超千亿参数，囊(nang)括了底层算力、网絡(luo)、存儲(chu)、大数据、AI框架、AI模型等复杂技术的系統(tong)性工程，堆(dui)GPU是无法实现的。

真(zhen)正需要的是AI-云计算的全棧(zhan)技术能力。

作为全球头部科技公司(si)之一，阿里在这几个領(ling)域(yu)都有深度布局，并且有着深厚的技术积澱(dian)，同时也是为数不多拥有超万亿参数大模型研发经验的机构。

在AI算法方面，阿里是国内最早(zao)率先为中文大模型的发展做了一些前沿(yan)性、引领性的工作，为自身(shen)构建了实力引领的先发优势。

阿里的大模型探(tan)索之路(lu)从2019年(nian)便已经开始。一起(qi)步，通义大模型直接登顶全球NLP权威榜(bang)单GLUE。

2021年，阿里先后发布了，国内首个超百(bai)亿参数的多模态大模型M6，以及(ji)號(hao)称「中文版(ban)GPT-3」的语言大模型PLUG。

同年，还训练实现了全球首个10万亿参数AI模大型。

2022年，阿里在世界人工智能大会上推出了「通义大模型系列」，在语言及多模态能力、超大模型、通用统一模型等多个技术维度上，处于国内第(di)一梯(ti)隊(dui)。

为推动大模型研发和应用，阿里達(da)摩院在国内首提「Model as a Service」理念(nian)，并牽(qian)头建设了国内規(gui)模最大的AI模型服务社(she)區(qu)「魔(mo)搭」。

算力层面，阿里云是亞(ya)洲(zhou)第一、全球第三的云计算服务商，阿里云拥有国内最强的智能算力储備(bei)，阿里云的智算集(ji)群(qun)可支(zhi)持最大十万卡GPU规模。

去年8月(yue)，阿里建成了国内最大规模的智算中心「飛(fei)天智算平臺(tai)」。

6月27日，由复旦(dan)大学与阿里云、中国电信共(gong)同打造的「国内高校(xiao)最大」云上科研智算平台CFFF在复旦正式上线。

以先进的公共云模式提供超千卡并行智能计算，支持千亿参数的大模型训练，领先于斯坦(tan)福(fu)大学等国際(ji)知名高校。

在AI大模型探索之路上，国内外的科技巨头正在快馬(ma)加鞭(bian)，你追(zhui)我趕(gan)。

正是因(yin)为有了强大的云基础设施能力、深厚的大模型技术积淀，为阿里参与这輪(lun)AI競(jing)赛提供了无与倫(lun)比的优势。

憑(ping)借这些技术力，未来阿里还会有更(geng)多技术创新，为千行百业带来更多的想象空间。返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：