儿童涂鸦广告招聘标语

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>被(bei)刪(shan)除(chu)的(de)Sam Altman 談(tan)話(hua)紀(ji)要(yao)：Open AI 也(ye)缺(que) GPU，降(jiang)低(di)成(cheng)本(ben)是(shi)首(shou)要目(mu)標(biao)

作(zuo)者(zhe) | 淩(ling)梓(zi)郡(jun)

編(bian)輯(ji) | 衛(wei)詩(shi)婕(jie)

來(lai)源(yuan)丨(shu)極(ji)客(ke)公(gong)園(yuan)

圖(tu)片(pian)来源：由(you)無(wu)界(jie) AI工(gong)具(ju)生(sheng)成

SamAltman 的歐(ou)洲(zhou)之(zhi)行(xing)仍(reng)在(zai)進(jin)行中(zhong)。前(qian)不(bu)久(jiu)，在倫(lun)敦(dun)，他(ta)和(he) AI 公司(si) HumanLooop 的 CEO 进行了(le)壹(yi)次(ci)閉(bi)門(men)討(tao)論(lun)。HumanLoop 是一家(jia)幫(bang)助(zhu)開(kai)發(fa)者在大(da)語(yu)言(yan)模(mo)型(xing)上(shang)構(gou)建(jian)應(ying)用(yong)的公司。

HumanLoop 的 CEO Raza Habib 記(ji)錄(lu)了這(zhe)次谈话的要點(dian)，並(bing)公开在公司官(guan)網(wang)上。但(dan)隨(sui)後(hou)在 OpenAI 的要求(qiu)下(xia)，这份(fen)纪要被撤(che)下。这反(fan)而(er)增(zeng)強(qiang)了外(wai)界對(dui)这次谈话的好(hao)奇(qi)心(xin)。有(you)人(ren)推(tui)測(ce)，是其(qi)中所(suo)涉(she)及(ji)的 OpenAI 的一些(xie)想(xiang)法(fa)有所更(geng)改(gai)。

极客公园在瀏(liu)覽(lan)了这份被删除的谈话纪要后，发現(xian)其中不僅(jin)涉及 Sam 眼(yan)中对 OpenAI 的短(duan)期(qi)規(gui)劃(hua)，也隱(yin)藏(zang)著(zhe)獲(huo)得(de)微(wei)軟(ruan)雲(yun)計(ji)算(suan)資(zi)源大力(li)支(zhi)持(chi)后，OpenAI 所承(cheng)擔(dan)的壓(ya)力。畢(bi)竟(jing)，模型的微調(tiao)、推理(li)依(yi)舊(jiu)消(xiao)耗(hao)大量(liang)计算资源。據(ju) The Information 報(bao)道(dao)，Open AI 的模型已(yi)經(jing)花(hua)費(fei)了 Microsoft Azure 12 億(yi)美(mei)元(yuan)，將(jiang)计算资源集(ji)中於(yu)支持 OpenAI，也讓(rang)微软的其他部(bu)门可(ke)使(shi)用的服(fu)務(wu)器(qi)受(shou)限(xian)。

对此(ci)，Sam 表(biao)示(shi)降低成本是目前的首要目标。

此外，Sam 還(hai)透(tou)露(lu)：目前，开放(fang)更長(chang)的上下文(wen)窗(chuang)口(kou)、提(ti)供(gong)微调 API 等(deng)服务都(dou)受到(dao)GPU资源的限制(zhi)；

这場(chang)对话中，Sam Altman 回(hui)应了許(xu)多(duo)外界關(guan)心的問(wen)題(ti)，比(bi)如(ru)競(jing)爭(zheng)與(yu)商(shang)業(ye)化(hua)：

盡(jin)管(guan)剛(gang)刚招(zhao)聘(pin)了一位(wei)世(shi)界級(ji)的產(chan)品(pin)经理 Peter Deng，但 OpenAI 不會(hui)考(kao)慮(lv)发布(bu)更多的产品；

未(wei)来的应用趨(qu)勢(shi)是大模型的功(gong)能(neng)嵌(qian)入(ru)更多APPs，而不是在ChatGPT上生长出(chu)更多插(cha)件(jian)，因(yin)為(wei)现實(shi)中大多數(shu)插件并沒(mei)有呈(cheng)现出 PMF（Product / Market Fit，即(ji)产品市(shi)场匹(pi)配(pei)）；

過(guo)去(qu)幾(ji)年(nian)，OpenAI 以(yi)数百(bai)萬(wan)倍(bei)的速(su)度(du)擴(kuo)展(zhan)模型规模，但这樣(yang)的速度不可持續(xu)。接(jie)下来，OpenAI 会繼(ji)续以 1 到 3 倍的速度，增加(jia)模型规模，以提升(sheng)模型性(xing)能。

谈话纪要公开于 5 月(yue) 29 日(ri)，根(gen)据网友(you)的记录，于 6 月 3 日左(zuo)右(you)删除。以下是通(tong)过備(bei)份获得的內(nei)容(rong)：

01、OpenAI 目前受到 GPU 的嚴(yan)重(zhong)限制

随着对话扩展，所需(xu)的计算资源呈指(zhi)数增长

目前 OpenAI 的 GPU 非(fei)常(chang)有限，这拖(tuo)延(yan)了他們(men)许多短期计划。客戶(hu)最(zui)大的抱(bao)怨(yuan)是 API 的可靠(kao)性和速度。Sam 承認(ren)他们的担憂(you)，并解(jie)釋(shi)說(shuo)，大部分(fen)问题是由于 GPU 短缺。

The longer 32k context can』t yet be rolled out to more people. OpenAI haven』t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 100k - 1M token context windows soon (this year) anything bigger would require a research breakthrough.

更长的 32K 上下文还不能提供給(gei)更多的人。OpenAI 还没有克(ke)服註(zhu)意(yi)力機(ji)制的 O (n ^ 2) 的扩展问题，尽管看(kan)起(qi)来，他们很(hen)快(kuai) (今(jin)年) 就(jiu)会擁(yong)有 100k-1M Token 的上下文窗口。任(ren)何(he)更大的窗口都需要研(yan)究(jiu)突(tu)破(po)。

注：O (n^2) 意味(wei)着，随着序(xu)列(lie)长度的增加，執(zhi)行 Attention 计算所需的计算资源呈指数增长。O 用来描(miao)述(shu)算法時(shi)間(jian)或(huo)空(kong)间復(fu)雜(za)度增长速度的上限或最壞(huai)情(qing)況(kuang)；（n^2）表示复杂度与輸(shu)入大小(xiao)的平(ping)方(fang)成正(zheng)比。

微调 API 目前也受到 GPU 可用性的限制。他们还没有使用像(xiang) Adapters 或 LoRa 这样的高(gao)效(xiao)微调方法，因此，通过微调进行運(yun)行和管理（模型）非常计算密(mi)集。未来将对微调提供更好的支持。他们甚(shen)至(zhi)可能主(zhu)持一個(ge)基(ji)于社(she)區(qu)的模型貢(gong)獻(xian)市场。

專(zhuan)用容量供应受 GPU 可用性的限制。OpenAI 提供专用容量，为客户提供模型的私(si)有副(fu)本。要获得这項(xiang)服务，客户必(bi)須(xu)願(yuan)意承諾(nuo)預(yu)先(xian)支付(fu) 10 万美元。

02、OpenAI 的近(jin)期路(lu)線(xian)图

2023，降低智(zhi)能成本；2024，多模態(tai)的有限演(yan)示

Sam 也分享(xiang)了他所看到的 OpenAI API 臨(lin)时近期路线图。

2023:

更便(bian)宜(yi)更快的 GPT-4 ーー这是他们的首要任务。總(zong)體(ti)而言，OpenAI 的目标是尽可能地(di)降低「智能成本」，因此他们将努(nu)力工作，随着时间的推移(yi)继续降低 API 的成本。

更长的上下文窗口ーー在不久的将来，上下文窗口可能高達(da) 100 万个 Token。

微调 API ー微调 API 将扩展到最新(xin)模型，但具体的形(xing)式(shi)将取(qu)決(jue)于开发者表明(ming)他们真(zhen)正想要什(shen)麽(me)。

一个有狀(zhuang)态的 API（stateful API) - 當(dang)今天(tian)调用聊(liao)天 API 时，妳(ni)必须反复通过相(xiang)同(tong)的会话歷(li)史(shi)，反复支付相同的 tokens。将来会有一个版(ban)本的 API 可以记住(zhu)会话历史记录。

2024：

多模态 - 这作为 GPT-4 版本的一部分进行演示，但在更多 GPU 上线之前不能扩展到所有人。

03、商业化预判(pan)和思(si)考：插件「没有 PMF」，可能不会很快出现在 API 中

很多开发者都对通过 API 訪(fang)问 ChatGPT 插件感(gan)興(xing)趣(qu)，但 Sam 说他认为这些插件不会很快发布。除了 Brosing 插件 之外，其他插件的使用情况表明还没有 PMF（Product/Market Fit）。他指出，很多人认为他们希(xi)望(wang)自(zi)己(ji)的应用程(cheng)序位于 ChatGPT 之内，但他们真正想要的是 ChatGPT 存(cun)在于应用中。

04、除了 ChatGPT，OpenAI 将避(bi)免(mian)与其客户竞争

偉(wei)大的公司都有一个殺(sha)手(shou)级应用

不少(shao)开发者表示，他们对使用 OpenAI API 开发感到緊(jin)張(zhang)，因为 OpenAI 最終(zhong)可能发布对他们有竞争力的产品。Sam 说， OpenAI 不会在 ChatGPT 之外发布更多的产品。他说，历史上，伟大的平臺(tai)公司有一个杀手级应用。ChatGPT 将允(yun)许开发者成为自己产品的客户来改进 API。ChatGPT 的愿景(jing)是成为一个超(chao)级智能的工作助理，但很多其他的 GPT 用例(li)，OpenAI 不会涉及。

05、需要監(jian)管，但不是现在

「我(wo)对多少个人和公司，有能力持有大模型表示懷(huai)疑(yi)」

雖(sui)然(ran) Sam 呼(hu)籲(xu)对未来的模型进行监管，但他认为现有模型并不危(wei)險(xian)，认为监管或禁(jin)止(zhi)它(ta)们是一个大錯(cuo)誤(wu)。他再(zai)次强调了开源的重要性，并表示 OpenAI 正在考虑将 GPT-3 开源。他们还没有开源，部分原(yuan)因是他对有多少个人和公司有能力持有和服务大型语言模型（LLMs）表示怀疑。

06、规模定(ding)律(lv)仍然適(shi)用

几年数百万倍的扩展速度，不可能一直(zhi)持续下去。

最近有很多文章(zhang)聲(sheng)稱(cheng)「巨(ju)型 AI 模型的时代(dai)已经过去」。这并不準(zhun)確(que)。（注：在 4 月一场在 MIT 的活(huo)動(dong)中，Sam Altman 曾(zeng)经表示：我们现在已经接近巨大模型时代的尾(wei)声。）

OpenAI 的内部数据表明，模型性能的规模定律仍然适用，增加模型的大小将继续提高性能。

由于 OpenAI 在短短几年内就将模型扩大了数百万倍，这样的扩展速度不可能持续下去。这并不意味着 OpenAI 不会继续嘗(chang)試(shi)把(ba)模型做(zuo)得更大，而是意味着，它们每(mei)年的规模可能会增加一倍或三(san)倍，而不是增加许多数量级。

规模定律有效对 AGI 开发时间线有重要意義(yi)。规模定律的假(jia)設(she)是我们可能已经具备构建 AGI 所需的大部分要素(su)，并且(qie)剩(sheng)下的工作，主要是将现有方法扩展到更大的模型和更大的数据集上。如果(guo)规模的时代已经过去，那(na)么我们可能会離(li) AGI 更遙(yao)遠(yuan)。规模定律继续适用的事(shi)实，强烈(lie)暗(an)示着更短的时间线。返(fan)回搜(sou)狐(hu)，查(zha)看更多

責(ze)任编辑：