北京led户外广告屏

ziyouhuanxiangjiuyoubanshouyouxiazaizhelishigaoshoudediantang，duorenzaixianyunikuafuzhandou！geigongzhumenchuanshangnixihuandeyifu，xuanzenideyifu，shenzhishipiaoliangdehuangguan。jingcaidejuqingjincoudejiezoujiangwanjiaqingsongdairuqizhong。guankanjubenquanhemishiquandedongtai，xunzhaoyouqudeshike奧(ao)特(te)曼(man)最(zui)新(xin)透(tou)露(lu)：急(ji)缺(que)GPU，擬(ni)開(kai)源(yuan)GPT-3，明(ming)年(nian)开放(fang)多(duo)模(mo)態(tai)

來(lai)源：澎(peng)湃(pai)新聞(wen)

記(ji)者(zhe) 邵(shao)文(wen)

·雖(sui)然(ran)奥特曼呼(hu)籲(xu)對(dui)AI的(de)未(wei)来進(jin)行(xing)監(jian)管(guan)，但(dan)他(ta)並(bing)不(bu)認(ren)為(wei)現(xian)有(you)模式(shi)是(shi)危(wei)險(xian)的，并认为监管或(huo)禁(jin)止(zhi)现有模式將(jiang)是個(ge)大(da)錯(cuo)誤(wu)。

·OpenAI的內(nei)部(bu)數(shu)據(ju)表(biao)明，模型(xing)性(xing)能(neng)的縮(suo)放法(fa)則(ze)（Scaling laws）仍(reng)然有效(xiao)，使(shi)模型變(bian)大将繼(ji)續(xu)產(chan)生(sheng)性能。

圖(tu)片(pian)来源：由(you)無(wu)界(jie) AI工(gong)具(ju)生成(cheng)

上(shang)周(zhou)，OpenAI首(shou)席(xi)執(zhi)行官(guan)山(shan)姆(mu)·奥特曼（Sam Altman）和(he)AI开發(fa)平(ping)臺(tai)HumanLoop首席执行官拉(la)紮(zha)·哈(ha)比(bi)比（Raza Habib）等(deng)20多位(wei)开发者开展(zhan)了(le)壹(yi)次(ci)閉(bi)門(men)會(hui)議(yi)，討(tao)論(lun)OpenAI的API（應(ying)用(yong)程(cheng)序(xu)編(bian)程接(jie)口(kou)）和产品(pin)計(ji)劃(hua)。幾(ji)天(tian)後(hou)，拉扎·哈比比公(gong)开了一份(fen)詳(xiang)細(xi)的会议要(yao)點(dian)整(zheng)理(li)。

在(zai)讨论中(zhong)，奥特曼非(fei)常(chang)坦(tan)率(lv)地(di)承(cheng)认OpenAI目(mu)前(qian)受(shou)到(dao)GPU（图形(xing)處(chu)理器(qi)）的限(xian)制(zhi)，并談(tan)到了GPT-3的开源计划、OpenAI的當(dang)前首要任(ren)務(wu)以(yi)及(ji)人(ren)工智(zhi)能的社(she)会影(ying)響(xiang)等問(wen)題(ti)。虽然奥特曼呼吁对AI的未来进行监管，但并不认为现有模式是危险的。

奥特曼還(hai)表示(shi)，OpenAI的内部数据表明，模型性能與(yu)規(gui)模成比例(li)的规律(lv)仍然成立(li)，即(ji)模型更(geng)大、性能也(ye)会更強(qiang)。OpenAI会继续嘗(chang)試(shi)把(ba)模型做(zuo)得(de)更大，但它(ta)們(men)每(mei)年的规模可(ke)能只(zhi)会增(zeng)加(jia)一倍(bei)或兩(liang)倍，而(er)不是增加很(hen)多数量(liang)級(ji)。

目前嚴(yan)重(zhong)受限於(yu)GPU

在整場(chang)讨论中，一个反(fan)復(fu)提(ti)到的主(zhu)题是OpenAI目前極(ji)度(du)依(yi)賴(lai)GPU，這(zhe)讓(rang)他们的很多短(duan)期(qi)计划都(dou)延(yan)遲(chi)了。

OpenAI收(shou)到最多的用戶(hu)投(tou)訴(su)都是關(guan)于API的可靠(kao)性和速(su)度。奥特曼理解(jie)他们的擔(dan)憂(you)，并解釋(shi)說(shuo)问题大部分(fen)是由GPU資(zi)源短缺造(zao)成的。

ChatGPT此(ci)前支(zhi)持(chi)的32k tokens上下(xia)文功(gong)能还不能推(tui)廣(guang)給(gei)更多人，OpenAI还有一些(xie)问题需(xu)要解決(jue)，因(yin)此，盡(jin)管他们可能很快(kuai)就(jiu)会有100k-1M的tokens上下文窗(chuang)口，但还都需要在研(yan)究(jiu)上取(qu)得突(tu)破(po)。

微(wei)調(tiao)API目前也受限于GPU资源。他们还沒(mei)有使用像(xiang)Adapters或LoRa（两種(zhong)常見(jian)的大模型微调方(fang)法）这樣(yang)的高(gao)效微调方法，因此微调運(yun)行和管理非常消(xiao)耗(hao)计算(suan)资源。未来会有更好(hao)的微调方式。他们甚(shen)至(zhi)可能会主持一个社區(qu)貢(gong)獻(xian)模型的市(shi)场。

專(zhuan)用容(rong)量供(gong)应同(tong)样受限于GPU资源。OpenAI为有私(si)人需求(qiu)的客(ke)户提供了专用容量，可以让客户在专用的空(kong)間(jian)运行私人数据。要訪(fang)问此服(fu)务，客户需要承諾(nuo)預(yu)支10萬(wan)美(mei)元(yuan)。

OpenAI路(lu)線(xian)图

山姆分享(xiang)了OpenAI的API暫(zan)定(ding)短期路线图。

2023年，首要任务是實(shi)现更便(bian)宜(yi)、更快的GPT-4；第(di)二(er)，更長(chang)的上下文窗口——在不久(jiu)的将来，可能最高達(da)到100万个tokens的上下文窗口；第三(san)，微调API将擴(kuo)展到最新的模型，但具體(ti)形式将由开发者实際(ji)需求决定；第四(si)，有狀(zhuang)态的API——今(jin)天在调用聊(liao)天API時(shi)，需要反复傳(chuan)遞(di)相(xiang)同的对話(hua)歷(li)史(shi)，并反复支付(fu)相同的tokens，将来将有一个记住(zhu)对话历史的API版(ban)本(ben)。

2024年，开放多模态能力(li)。GPT-4发布(bu)时曾(zeng)演(yan)示了强大的多模态能力，但是在GPU得到滿(man)足(zu)之(zhi)前，这一功能还无法拓(tuo)展到所(suo)有人。

很多开发人員(yuan)都对通(tong)過(guo)API访问ChatGPT插(cha)件(jian)感(gan)興(xing)趣(qu)，但奥特曼认为这些插件短期内不会发布。除(chu)了瀏(liu)覽(lan)之外(wai)，插件系(xi)統(tong)还没有找(zhao)到PMF（Product Market Fit，产品和市场达到最佳(jia)的契(qi)合(he)点）。

奥特曼指(zhi)出(chu)，很多人认为他们希(xi)望(wang)自(zi)己(ji)的应用程序位于ChatGPT之内，但他们真(zhen)正(zheng)想(xiang)要的是应用程序中的ChatGPT。

奥特曼表示，OpenAI不会发布ChatGPT之外的更多产品。

他说，按(an)照(zhao)慣(guan)例，偉(wei)大的平台都会有殺(sha)手(shou)级应用，ChatGPT就是要做这个創(chuang)紀(ji)錄(lu)的应用。ChatGPT的願(yuan)景(jing)是成为工作(zuo)的超(chao)级智能助(zhu)手，但OpenAI不会涉(she)及其(qi)他許(xu)多GPT用例。

缩放法则仍然有效

虽然奥特曼呼吁对AI的未来进行监管，但他并不认为现有模式是危险的，并认为监管或禁止现有模式将是个大错误。

他重申(shen)了对开源重要性的信(xin)念(nian)，并表示OpenAI正在考(kao)慮(lv)将GPT-3开源。之所以还没有开源是因为他们覺(jiao)得没多少(shao)人和公司(si)有能力妥(tuo)善(shan)管理如(ru)此大型的大語(yu)言(yan)模型。

最近(jin)许多文章(zhang)援(yuan)引(yin)奥特曼的发言稱(cheng)“巨(ju)型人工智能模型的时代(dai)已(yi)經(jing)結(jie)束(shu)”，但这并没有準(zhun)確(que)反映(ying)他的原(yuan)意(yi)。他表示，OpenAI的内部数据表明，模型性能的缩放法则（Scaling laws）仍然有效，使模型变大将继续产生性能。缩放率的确不能維(wei)持，因为OpenAI在短短几年内已经将模型扩大了数百(bai)万倍，未来继续这样做是不可持续的。这并不意味(wei)著(zhe)OpenAI不会继续尝试使模型变大，只是意味着他们可能每年只会增加一倍或两倍，而不是增加许多个数量级。

奥特曼说，缩放法则继续有效的事(shi)实对AGI（通用人工智能）开发时间线有重要影响。缩放法则假(jia)設(she)我(wo)们可能已经擁(yong)有構(gou)建(jian)AGI所需的大部分部件，而剩(sheng)下的大部分工作将是将现有方法扩大到更大的模型和更大的数据集(ji)。如果(guo)缩放法则的时代结束了，我们可能应該(gai)预期AGI还有很长的路要走(zou)。缩放法则继续有效强烈(lie)地表明了实现AGI的时间线較(jiao)短。返(fan)回(hui)搜(sou)狐(hu)，查(zha)看(kan)更多

責(ze)任编輯(ji)：