广告公司的成功案例

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>Luma AI：基(ji)於(yu)NeRF，文(wen)字(zi)、圖(tu)片(pian)、視(shi)頻(pin)都(dou)可(ke)生(sheng)成(cheng)3D模(mo)型(xing)

上(shang)周(zhou)，我(wo)們(men)剛(gang)刚報(bao)道(dao)了(le)3D內(nei)容(rong)方(fang)案(an)商(shang)Luma AI完(wan)成2000萬(wan)美(mei)元(yuan)A輪(lun)融(rong)資(zi)消(xiao)息(xi)，本(ben)周Luma AI繼(ji)續(xu)宣(xuan)布(bu)推(tui)出(chu)视频轉(zhuan)3D場(chang)景(jing)API：Video-to-3D API。簡(jian)單(dan)來(lai)說(shuo)，現(xian)在(zai)Luma正(zheng)式(shi)開(kai)放(fang)了NeRF能(neng)力(li)，意(yi)味(wei)著(zhu)(zhe)正在進(jin)行(xing)商業(ye)化(hua)探(tan)索(suo)。

正如(ru)最(zui)近(jin)很(hen)火(huo)爆(bao)的(de)GPT等(deng)生成式AI那(na)樣(yang)，NeRF在最近兩(liang)年(nian)同(tong)样是(shi)壹(yi)項(xiang)關(guan)註(zhu)度(du)極(ji)高(gao)的方案，而(er)以(yi)NeRF為(wei)核(he)心(xin)的Luma AI發(fa)展(zhan)同样迅(xun)速(su)。

可能很多(duo)人(ren)還(hai)不(bu)熟(shu)悉(xi)Luma AI這(zhe)家(jia)公(gong)司(si)，它(ta)是一個(ge)專(zhuan)注于3D内容方案的平(ping)臺(tai)，短(duan)短半(ban)年之(zhi)内先(xian)後(hou)基于NeRF上線(xian)了文生3D模型、網(wang)頁(ye)版(ban)全(quan)體(ti)積(ji)NeRF渲(xuan)染(ran)器(qi)、视频到(dao)3D模型API等功(gong)能。

关于Luma AI

前(qian)面(mian)我们提(ti)到，Luma的核心就(jiu)NeRF，简单来講(jiang)这是一套(tao)三(san)維(wei)重(zhong)建(jian)技(ji)術(shu)方案，它的特(te)點(dian)是基于现有(you)视角(jiao)的图像(xiang)生成新(xin)视角的图像。

有了NeRF，可以说妳(ni)手(shou)裏(li)的相(xiang)機(ji)不单单只(zhi)是拍(pai)照(zhao)这麽(me)简单，而是變(bian)成數(shu)據(ju)采(cai)集(ji)裝(zhuang)置(zhi)，通(tong)過(guo)拍攝(she)大(da)量(liang)图片或(huo)视频，即(ji)可創(chuang)建出一个可微(wei)分(fen)的三维场景。比(bi)起(qi)傳(chuan)統(tong)的摄影(ying)測(ce)量方案，NeRF的優(you)勢(shi)是可以用(yong)更(geng)少(shao)量的数据生成三维模型。

据青(qing)亭(ting)网了解(jie)，Luma公司成立(li)于2021年9月(yue)，總(zong)部(bu)位(wei)于美國(guo)加(jia)州(zhou)，创始(shi)人：Amit Jain、Alex Yu，分別(bie)在3D视覺(jiao)、机器學(xue)習(xi)、實(shi)時(shi)图形(xing)学有所(suo)建樹(shu)。

近半年发展歷(li)程(cheng)：

22年10月，开放网页版Luma； 22年11月，iOS版App开始测試(shi)； 22年12月，推出文生3D模型功能； 23年1月，iOS版App开始支(zhi)持(chi)NeRF Reshoot； 23年1月，升(sheng)級(ji)NeRF，自(zi)動(dong)去(qu)除(chu)雜(za)影； 23年2月，推出网页版全体积NeRF渲染器； 23年3年，iOS版App 支持AR預(yu)覽(lan)； 23年3月，推出视频转3D API。

那么，接(jie)下(xia)来我们分开来解析(xi)一下Luma的產(chan)品(pin)組(zu)合(he)。

Luma App

实際(ji)上，上述(shu)很多功能都是组合形式出现，例(li)如手机App，當(dang)前Luma只推出了iOS客(ke)戶(hu)端(duan)。可以通过iPhone上传视频，基于NeRF生成3D场景。手机版App的推出可以说是一个大的突(tu)破(po)，因(yin)为之前市(shi)面上並(bing)沒(mei)有類(lei)似(si)的NeRF产品出现。

很快(kuai)，經(jing)过网友(you)们的测试发现Luma NeRF的效(xiao)果(guo)非(fei)常(chang)出色(se)，色彩(cai)、光(guang)影、清(qing)晰(xi)度等方面都良(liang)好(hao)。据悉，Luma對(dui)NeRF进行了改(gai)良和(he)优化，才(cai)有这么好的表(biao)现。

视频效果

導(dao)出3D模型效果

iOS端支持导入(ru)视频，以及(ji)引(yin)导模式和自由(you)模式三種(zhong)：

导入模式，这个很好理(li)解，和Web模式功能类似，对設(she)備(bei)和视频理論(lun)上要(yao)求(qiu)最低(di)。 引导模式，需(xu)要360度拍摄，App將(jiang)具(ju)体提示(shi)框(kuang)提醒(xing)你的拍摄视角、拍摄位置； 自由模式，支持非360度（部分视角）拍摄，App不會(hui)給(gei)出明(ming)確(que)提示框，当然(ran)也(ye)需要盡(jin)可能拍摄多个角度。

引导模式、和自由模式需iPhone 11或更新机型，而查(zha)看(kan)3D模型要求是iPhone X或更新机型。

根(gen)据@未(wei)来GIS实驗(yan)室(shi) 的测试，小(xiao)物(wu)体渲染后細(xi)節(jie)表现不錯(cuo)，室内场景可还原(yuan)墻(qiang)面和地(di)板(ban)的反(fan)光，室外(wai)场景的效果同样非常逼(bi)真(zhen)，整(zheng)体的效果可以说是非常不错。

NeRF Reshoot也是一个有意思(si)的功能，通过生成的3D场景你可以“重新拍照”，比如你可以從(cong)其(qi)它角度查看图片并重新拍照；重新定(ding)制(zhi)虛(xu)擬(ni)相机路(lu)线，生成一段(duan)新的视频；修(xiu)改图片/视频比例；調(tiao)整幀(zhen)率(lv)等等，也可以在AR模式下結(jie)合6DoF模式还原当时拍摄场景，算(suan)是一项进階(jie)玩(wan)法(fa)。

另(ling)外，Luma App还加入AR预览模式，这个没啥(sha)難(nan)度，應(ying)該(gai)就是基于ARKit的体验拓(tuo)展。

网页和API类

网页版本目(mu)前集成了主(zhu)流(liu)功能，包(bao)括(kuo)：网页版Luma、文字转3D模型、视频转3D API。

1，网页版Luma

网页版Luma就是自行上传照片、视频来进行三维重建，网页版可以上传更大的文件(jian)，目前视频和图片（ZIP壓(ya)縮(suo)包）体积最大限(xian)制5GB，通常来讲照片的生成質(zhi)量比视频要好一些(xie)，前提是照片是进行特定拍摄，無(wu)明顯(xian)模糊(hu)。

另外，Luma官(guan)网还会列(lie)出一些精(jing)選(xuan)的3D场景，大家可以用于參(can)考(kao)。当然，在App里可以查看或編(bian)輯(ji)其他(ta)人的精选3D场景。

2，文字转3D模型

文字转3D模型功能目前依(yi)然未全量开放，就像是Midjourney一样，只需輸(shu)入文字描(miao)述，即可生成对应的3D模型。

文字生成3D模型效果图

上图是文字生成3D模型的示例，官网上也有更多示例，并不是每(mei)一个质量都很好。当然，目前也處(chu)于测试阶段，效果也跟(gen)你的Prompt有很大关系(xi)，感(gan)興(xing)趣(qu)可以先加入等待(dai)列表。

3，视频转3D API

效果方面，视频转3D的效果幾(ji)乎(hu)和网页版一致(zhi)。價(jia)格(ge)方面，转換(huan)一个视频費(fei)用1美元，就是单純(chun)的按(an)照次(ci)数收(shou)费，不管(guan)视频容量大小，所以当然是尽量豐(feng)富(fu)视频的细节，转换时間(jian)在30分鐘(zhong)左(zuo)右(you)。

Luma表示，这一方案将为：電(dian)子(zi)商務(wu)、遊(you)戲(xi)美术、影视特效等領(ling)域(yu)发展重要价值(zhi)，因为此(ci)前创建3D模型的价格在60-1500美元，时间需要2-10周（Luma提供(gong)数据）。

以下是Luma提供的用于转换3D场景的视频拍摄技巧(qiao)：

捕(bu)獲(huo)过程

捕获速度：運(yun)动模糊会显著降(jiang)低重建质量。为了達(da)到最佳(jia)效果，慢(man)慢移(yi)动手机，尽量避(bi)免(mian)快速移动，尤(you)其是旋(xuan)转。

场景覆(fu)蓋(gai)：为了获得(de)最佳效果，应该从尽可能多的獨(du)特视角捕捉(zhuo)物体或场景。此外，在拍摄时最好移动手机(在3D空(kong)间中(zhong))，而不是从靜(jing)止(zhi)位置旋转它。站(zhan)在同一个地方，在一个球(qiu)体中向(xiang)外捕捉通常不太(tai)好。引导捕获模式是一个很好的选擇(ze)，以确保(bao)足(zu)夠(gou)的覆盖。

对象(xiang)大小：对于引导捕获，任(ren)何(he)可以从所有角度(包括頂(ding)部和底(di)部)輕(qing)松(song)查看的对象都是一个很好的候(hou)选对象。对于自由形式的捕捉来说，任何東(dong)西(xi)都是公平的，尽管更好的覆盖範(fan)圍(wei)会产生更好的结果，所以較(jiao)大的物体可能难以获得完全幹(gan)凈(jing)的结果。

物体距(ju)離(li)：为了获得最佳效果，在掃(sao)描时尽量保持整个物体在帧中。这样做(zuo)将为应用程序(xu)提供更多关于反射(she)和物体形狀(zhuang)的信(xin)息，从而实现更準(zhun)确的重建。

物体材(cai)质：目前，该应用程序掙(zheng)紮(zha)于復(fu)杂的反射(例如，曲(qu)面鏡(jing)面)，彎(wan)曲的透(tou)明物体(例如，車(che)窗(chuang)或塑(su)料(liao)水(shui)瓶(ping))，以及非常大的无紋(wen)理表面(例如白(bai)墙)。大多数其他材料都很好。

捕捉環(huan)境(jing)光照水平：该应用程序可以在大多数光照條(tiao)件下捕捉物体，只要纹理仍(reng)然可以識(shi)别(即，没有被(bei)洗(xi)掉(diao)或完全黑(hei)暗(an))。照明条件将被烘(hong)焙(bei)，所以场景应该点亮(liang)，但(dan)你希(xi)望(wang)它出现在最終(zhong)的结果。

移动的物体：在捕捉过程中，场景中的任何运动都可能降低最终结果的质量。例如，在風(feng)中移动的树葉(ye)可能会导致细节的丟(diu)失(shi)，而在背(bei)景中移动的人可能会引入偽(wei)影。拍摄时請(qing)注意不要将手指(zhi)/手臂(bi)/腿(tui)伸(shen)入畫(hua)面。

相机设置

视频设置注意事(shi)项：如上传视频，需关閉(bi)视频穩(wen)定选项，尤其安(an)卓(zhuo)手机；iOS需禁(jin)止使(shi)用“HDR视频”选项。

曝(pu)光：建議(yi)使用固(gu)定曝光，尽管动態(tai)曝光对室外场景有益(yi)。

捕获格式

基于图片生成：可在Luma网页上传图片压缩包。通常照片比视频质量更高，但需特定拍摄，无模糊，并包含(han)EXIF元数据。

提醒：可上传原始格式图像(如CR3和DNG等)和HDR图像(.exr)，以实现更高的动态范围，以提高质量。如果使用原始文件，元数据将用于sRGB渲染(而底層(ceng)NeRF将是HDR)。使用EXR，渲染的顏(yan)色将在当前颜色空间中，因为没有colorspace元数据。

不建议上传大于4K分辨(bian)率的图片，当前版本对高分辨率图像效率更低；

魚(yu)眼(yan)相机和360相机：360度视频可以更有效实现大面积，但很多360相机实际上是雙(shuang)鱼眼相机，进行拼(pin)接形成，拼接可能会导致失真。但可以手动在网页版上传，注意选择对应的模式。注：单鱼眼模式Insta360 .insv文件可以直(zhi)接重命(ming)名(ming)为mp4上传；多鱼眼模式可将Insta360 .insv文件放在一个zip上传。返(fan)回(hui)搜(sou)狐(hu)，查看更多

責(ze)任编辑：