节约用水广告词创意

xinzengsaomazhifugongneng，tarendaifu，saoyisaojiunengmaigushi。duoyangpkxitongquanmiankaiqi，jishiqiecuo，dailaijizhipkkuaigan，naqishouzhongwuqi，zhangetongkuai。chengweiyiduanbumiedejiahua。gankuaixialaiyouxi，kaishiyiduanxinderenshengba。jiaosedutejineng，dazaobuyiyangdezhandoufengge，geinihualideshijiaoshengyanhequanxindezuozhantiyan。zhuanmenweiguangdadiaoyupengyoukaifadediaoyujiaoyoupingtai。zaizhegeyingyongchengxuzhong，laizishijiegedidediaoyupengyoufenxianglehenduodiaoyujiqiao深(shen)度(du)學(xue)習(xi)三(san)巨(ju)頭(tou)之(zhi)壹(yi) Yann LeCun：大(da)語(yu)言(yan)模(mo)型(xing)帶(dai)不(bu)來(lai) AGI

作(zuo)者(zhe)：淩(ling)梓(zi)郡(jun)、Li Yuan

圖(tu)片(pian)来源(yuan)：由(you)無(wu)界(jie) AI工(gong)具(ju)生(sheng)成(cheng)

當(dang)今(jin)世(shi)界，Yann LeCun 、Geoffrey Hinton 以(yi)及(ji) Yoshua Bengio 三位(wei)科(ke)学家(jia)並(bing)稱(cheng)為(wei)深度学习三巨头。值(zhi)得(de)註(zhu)意(yi)的(de)是(shi)，三巨头之中(zhong)，LeCun 對(dui)於(yu) AI 發(fa)展(zhan)所(suo)持(chi)的態(tai)度是最(zui)为樂(le)觀(guan)的。此(ci)前(qian)在(zai)馬(ma)斯(si)克(ke)提(ti)出(chu)「人(ren)工智(zhi)能(neng)給(gei)人類(lei)文(wen)明(ming)带来了(le)潛(qian)在風(feng)險(xian)」時(shi)，LeCun 曾(zeng)公(gong)開(kai)反(fan)駁(bo)，認(ren)为人工智能遠(yuan)未(wei)发展到(dao)给人类構(gou)成威(wei)脅(xie)的程(cheng)度。關(guan)于 AI 接(jie)下(xia)来該(gai)如(ru)何(he)发展，在今天(tian)上(shang)午(wu)于北(bei)京(jing)舉(ju)行(xing)的 2023 智源人工智能大會(hui)上，他(ta)发表(biao)了名(ming)为《走(zou)向(xiang)能夠(gou)学习、推(tui)理(li)和(he)規(gui)劃(hua)的大模型》的演(yan)講(jiang)，表達(da)了系(xi)統(tong)的思(si)考(kao)。

法(fa)國(guo)当地(di)时間(jian)凌晨(chen)四(si)點(dian)，LeCun 從(cong)法国的家中連(lian)線(xian)智源大会的北京現(xian)場(chang)。盡(jin)管(guan) OpenAI 的 GPT 路(lu)线风头正(zheng)盛(sheng)，許(xu)多(duo)人认为大语言模型將(jiang)通(tong)往(wang) AGI，LeCun 卻(que)直(zhi)言不諱(hui)：需(xu)要(yao)放(fang)棄(qi)生成模型、強(qiang)化(hua)学习方(fang)法這(zhe)樣(yang)的主(zhu)流(liu)路线。他认为，基(ji)于自(zi)監(jian)督(du)的语言模型无法獲(huo)得关于真(zhen)實(shi)世界的知(zhi)識(shi)。尽管语言生成的內(nei)容(rong)質(zhi)量(liang)一直提升(sheng)，但(dan)是这些(xie)模型在本(ben)质上是不可(ke)控(kong)的。对于语言模型的局(ju)限(xian)性(xing)理解(jie)，也(ye)基于他此前的一個(ge)基本观点：人类有(you)许多知识是目(mu)前无法被(bei)语言系统所觸(chu)达的。

因(yin)此，想(xiang)讓(rang) AI 获得如人一般(ban)对真实世界学习、應(ying)对和规划的能力(li)，他展示(shi)了自己(ji)在一年(nian)前所发表的論(lun)文中提出的架(jia)构「自主智能」(autonomous intelligence）。这是由一个配(pei)置(zhi)模塊(kuai)控制(zhi)整(zheng)个系统，基于輸(shu)入(ru)信(xin)息(xi)，進(jin)行預(yu)測(ce)、推理、決(jue)策(ce)的架构。其(qi)中的「世界模块」具有估(gu)計(ji)缺(que)失(shi)信息、预测未来外(wai)界狀(zhuang)态的能力。

極(ji)客(ke)公園(yuan)團(tuan)隊(dui)在智源大会现场观看(kan)了这场演讲，以下为核(he)心(xin)观点精(jing)彩(cai)摘(zhai)要以及經(jing)過(guo)編(bian)輯(ji)的演讲内容。

LeCun 核心观点精彩摘要：

AI 的能力距(ju)離(li)人类與(yu)動(dong)物(wu)的能力，還(hai)有差(cha)距——差距主要體(ti)现在邏(luo)辑推理和规划，大模型目前只(zhi)能「本能反应」。

什(shen)麽(me)是自监督学习？自监督学习是捕(bu)捉(zhuo)输入中的依(yi)賴(lai)关系。訓(xun)練(lian)系统会捕捉我(wo)們(men)看到的部(bu)分(fen)和我们尚(shang)未看到的部分之间的依赖关系。

目前的大模型如果(guo)训练在一萬(wan)億(yi)个 token 或(huo)兩(liang)万亿个 token 的數(shu)據(ju)上，它(ta)们的性能是驚(jing)人的。我们很(hen)容易(yi)被它的流暢(chang)性所迷(mi)惑(huo)。但最終(zhong)，它们会犯(fan)很愚(yu)蠢(chun)的錯(cuo)誤(wu)。它们会犯事(shi)实错误、逻辑错误、不一致(zhi)性，它们的推理能力有限，会產(chan)生有害(hai)内容。由此大模型需要被重(zhong)新(xin)训练。

如何让 AI 能够像(xiang)人类一样能真正规划？可以參(can)考人类和动物是如何快(kuai)速(su)学习的——通过观察(cha)和体驗(yan)世界。

Lecun 认为，未来 AI 的发展面(mian)臨(lin)三大挑(tiao)戰(zhan)，并由此提出「世界模型（World Model）」。

以下为演讲全(quan)文的部分摘要，经极客公园编辑後(hou)发布(bu)：

很抱(bao)歉(qian)我不能親(qin)自到场，已(yi)经很久(jiu)沒(mei)有去(qu)中国了。

今天我将談(tan)一下我眼(yan)中的人工智能的未来。我会分享(xiang)一下 AI 在未来十(shi)年左(zuo)右(you)的方向，以及目前的一些初(chu)步(bu)結(jie)果，但还没有完(wan)整的系统。

本质上来說(shuo)，人类和动物的能力和今天我们看到的AI的能力之间，是有差距的。簡(jian)單(dan)来说，機(ji)器(qi)学习和人类动物相(xiang)比(bi)并不特(te)別(bie)好(hao)。AI 缺失的不僅(jin)仅是学习的能力，还有推理和规划的能力。

过去幾(ji)十年来，我们一直在使(shi)用(yong)监督学习，这需要太(tai)多的標(biao)注。强化学习效(xiao)果不错，但需要大量的实验。最近(jin)几年，我们更(geng)多使用机器自我监督，但结果是，这些系统在某(mou)種(zhong)程度上是專(zhuan)業(ye)化和脆(cui)弱(ruo)的。它们会犯愚蠢的错误，它们不会推理和规划，它们只是快速地反应。

那(na)么，我们如何让机器像动物和人类一样理解世界的運(yun)作方式(shi)，并预测其行动的后果？是否(fou)可以通过无限步驟(zhou)的推理執(zhi)行鏈(lian)，或者将復(fu)雜(za)任(ren)務(wu)分解为子(zi)任务序(xu)列(lie)来规划复杂任务？

这是我今天想讲的話(hua)題(ti)。

但在此之前，我想先(xian)谈一下什么是自我监督学习？自我监督学习是捕捉输入中的依赖关系。在最常(chang)見(jian)的範(fan)例(li)中，我们遮(zhe)蓋(gai)输入的一部分后将其反饋(kui)送(song)到机器学习系统中，然(ran)后揭(jie)曉(xiao)其余(yu)的输入——训练系统会捕捉看到的部分和尚未看到的部分之间的依赖关系。有时是通过预测缺失的部分来完成的，有时不完全预测。

这种方法在自然语言處(chu)理的領(ling)域(yu)取(qu)得了惊人的成功(gong)（如翻(fan)譯(yi)、文本分类）。最近大模型的所有成功都(dou)是这个想法的一个版(ban)本。

同(tong)样成功的是生成式人工智能系统，用于生成图像、視(shi)頻(pin)或文本。在文本领域这些系统是自回(hui)歸(gui)的。自监督学习的训练方式下，系统预测的不是隨(sui)机缺失的单詞(ci)，而(er)是仅预测最后一个单词。系统不斷(duan)地预测下一个标記(ji)，然后将标记移(yi)入输入中，再(zai)预测下一个标记，再将其移入输入中，不断重复该过程。这就(jiu)是自回归 LLM。

这就是我们在过去几年中看到的流行模型所做(zuo)的事情(qing)：其中一些来自 Meta 的同事，包(bao)括(kuo)开源的 BlenderBot、Galactica、LLaMA、Stanford 的 Alpaca（Lama 基于 LLaMA 的微(wei)調(tiao)版）、Google 的 LaMDA 、Bard、DeepMind 的 Chinchilla，当然还有 OpenAI 的 ChatGPT 和 GPT-4。如果妳(ni)将这些模型训练在一万亿个 Token 或两万亿个 Token 的数据上，它们的性能是惊人的。但最终，它们会犯很愚蠢的错误。它们会犯事实错误、逻辑错误、不一致性，它们的推理能力有限，会产生有害内容。

因为它们没有关于基礎(chu)现实的知识，它们純(chun)粹(cui)是在文本上进行训练的。这些系统在作为寫(xie)作輔(fu)助(zhu)工具、幫(bang)助程序員(yuan)编写代(dai)碼(ma)方面非(fei)常出色(se)。但是它们可能会产出虛(xu)构的故(gu)事或者制造(zao)幻(huan)覺(jiao)。

我同事给我开了一个玩(wan)笑(xiao)。他们说，你知道(dao) Yann Lecun（楊(yang)立(li)昆(kun)）去年发行了一張(zhang)说唱(chang)专辑嗎(ma)？我们聽(ting)了一下（AI 根(gen)据这个想法生成的假(jia)专辑），当然这是不真实的，但如果您(nin)要求(qiu)它这样做，它会这样做。目前的研(yan)究(jiu)重点是，如何让这些模型系统能够调用搜(sou)索(suo)引(yin)擎(qing)、计算(suan)器、数据庫(ku)查(zha)詢(xun)等(deng)这类工具。这被称为擴(kuo)展语言模型。

我和我的同事合(he)作撰(zhuan)写过一篇(pian)关于扩展语言模型的论文。我们很容易被它们的流畅性所迷惑，认为它们很聰(cong)明，但它们实際(ji)上并不那么聪明。它们非常擅(shan)長(chang)檢(jian)索记憶(yi)，但它们没有任何关于世界运作方式的理解。这种自回归的生成，存(cun)在一种主要缺陷(xian)。

如果我们想象(xiang)所有可能答(da)案(an)的集(ji)合，即(ji)标记序列的樹(shu)（tree），在这个巨大的树中，有一个小(xiao)的子树对应于给定(ding)提示的正確(que)答案。因此，如果我们想象任何产生标记的平(ping)均(jun)概(gai)率(lv) e 都会将我们带出正确答案集合的集合，而且(qie)产生的错误是獨(du)立的，那么它们可能会看到 n 的答案的相似(si)度是（1-e）的 n 次(ci)方。这意味(wei)著(zhe)会存在一个指(zhi)数級(ji)的发散(san)过程将我们带出正确答案的树。这就是自回归的预测过程造成的。除(chu)了使 e 尽可能小之外，没有其他修(xiu)复方法。

因此，我们必(bi)須(xu)重新設(she)计系统，使其不会这样做。这些模型必须重新训练。

那么如何让 AI 能够像人类一样能真正规划？我们先来看人类和动物是如何能够快速学习的。

我们看到嬰(ying)兒(er)在生命(ming)的前几个月(yue)内掌(zhang)握(wo)了大量关于世界运作方式的基础概念(nian)：如物体永(yong)恒(heng)性、世界是三維(wei)的、有机和无机物体之间的區(qu)别、穩(wen)定性的概念、自然类别的学习以及重力等非常基本的概念。婴儿在 9 个月左右就能会这些。

根据我同事制作的图表，如果您向 5 个月大的婴儿展示下面左下角(jiao)的场景(jing)，其中一个小汽(qi)車(che)在平臺(tai)上，你将小汽车从平台上推下来，它似乎(hu)漂(piao)浮(fu)在空(kong)中，5 个月大婴儿不会感(gan)到惊訝(ya)。但是 10 个月大的婴儿会非常惊讶，因为在此期(qi)间，婴儿已经知道了物体不应该停(ting)留(liu)在空中，它们应该在重力下下落(luo)。这些基本概念是通过观察世界和体验世界来习得的。我认为我们应该用机器复制这种通过观察世界或体验世界学习世界运作方式的能力。

我们有流利(li)的系统，可以通过法律(lv)考試(shi)或醫(yi)学考试，但我们没有可以清(qing)理餐(can)桌(zhuo)并填(tian)滿(man)洗(xi)碗(wan)机的家庭(ting)机器人，对吧(ba)？这是任何孩(hai)子都可以在几分鐘(zhong)内学会的事情。但我们仍(reng)然没有机器可以接近这样做。

我们顯(xian)然在当前擁(yong)有的 AI 系统中缺少(shao)了非常重要的東(dong)西(xi)。我们远远没有达到人类水(shui)平的智能，那么我们该如何做到这一点？实际上，我已经确定了未来几年 AI 面临的三个主要挑战。

首(shou)先是学习世界的表征(zheng)和预测模型，当然可以采(cai)用自我监督的方式进行学习。

其次是学习推理。这对应着心理学家丹(dan)尼(ni)爾(er)·卡(ka)尼曼(man)的系统 1 和系统 2 的概念。系统 1 是与潜意识计算相对应的人类行为或行动，是那些无需思考即可完成的事情；而系统 2 則(ze)是你有意识地、有目的地运用你的全部思维力去完成的任务。目前，人工智能基本上只能实现系统 1 中的功能，而且并不完全；

最后一个挑战则是如何通过将复杂任务分解成简单任务，以分層(ceng)的方式运行来规划复杂的行动序列。

所以大約(yue)一年前，我发布了一篇论文，是关于我认为未来 10 年人工智能研究应该走向的願(yuan)景，你可以去看一下，内容基本上是你们在这个演讲中听到的提議(yi)。在我提出的这个系统中，核心是世界模型（World Model）。世界模型可以为系统所用，它可以想象一个场景，基于这样的场景作为依据，预测行动的结果。因此，整个系统的目的是找(zhao)出一系列根据其自己的世界模型预测的行动，能够最小化一系列成本的行动序列。

（编者注：有关 Lecun 关于世界模型的论述(shu)，感興(xing)趣(qu)的讀(du)者可以自行搜索 Lecun 的这篇论文《A Path Towards Autonomous Machine Intelligence》。）

問(wen)答環(huan)節(jie) Q & A：

提问人：朱(zhu)軍(jun)｜清華(hua)大学教(jiao)授(shou)，智源首席(xi)科学家

Q：生成式模型通常将输出定義(yi)为多个選(xuan)擇(ze)的概率。当我们应用这些生成模型时，我们通常也希(xi)望(wang)它们拥有創(chuang)造力，产生多样化的结果。这是否意味着这些模型实际上无法避(bi)免(mian)事实错误或逻辑的不一致性呢(ne)？即使您拥有平衡(heng)的数据，因为在许多情況(kuang)下，数据会产生沖(chong)突(tu)的影(ying)響(xiang)，对吗？您之前提到了输出的不确定性，您对此有何看法？

A：我认为，通过保(bao)留自回归生成来解决自回归预测模型生成模型的问题是不可行的。这些系统本质上是不可控的。所以，它们将必须被我提出的那种架构所取代，在推理过程中，你需要让系统優(you)化某种成本和某些準(zhun)则。这是使它们可控、可操(cao)縱(zong)和可规划的唯(wei)一方法。这样的系统将能够计划其回答。

就像我们像现在这样讲话，我们都会计划讲话的过程，怎(zen)样从一个观点到另(ling)一个观点，怎么解釋(shi)事物，这些都在你的腦(nao)海(hai)裏(li)。当我们设计演讲时，不是一字(zi)一句(ju)地即兴发揮(hui)。也许在低(di)层次上，我们在即兴发挥，但在高(gao)层次上，我们一定是在规划。所以规划的必要性是非常明显的。人类和许多动物都具備(bei)规划能力，我认为这是智能的一項(xiang)重要特征。所以我的预测是，在相对短(duan)的几年内，理智的人肯(ken)定不会再使用自回归元(yuan)素(su)。这些系统将很快被放弃，因为它们是无法修复的。

Q：您之后将参与一个辯(bian)论，探(tan)討(tao)人工智能会不会成为人类生存的威胁。

参会者还有 Yoshua Bengio，Max Tegmark 和 Melanie Mitchell。您能讲讲您屆(jie)时将闡(chan)述什么观点吗？

A：在这场辩论中，Max Tegmark 和 Yoshua Bengio 将站(zhan)在「是」的一邊(bian)，认为强大的 AI 系统可能对人类构成存在风险。而我和 Melanie Mitchell 将站在「否」的一边。我们的论点不是说没有风险，而是这些风险雖(sui)然存在，但通过謹(jin)慎(shen)的工程设计可以輕(qing)易地加(jia)以減(jian)轻或抑(yi)制。

我对此的论点是，今天问人们是否能够使超(chao)智能系统对人类安(an)全，这个问题无法回答，因为我们还没有超智能系统。所以，直到你能基本设计出超智能系统，你才(cai)能讨论如何让它變(bian)得安全。这就好比你在 1930 年问一位航(hang)空工程師(shi)，你能使渦(wo)噴(pen)发动机安全可靠(kao)吗？工程师会说，什么是涡喷发动机？因为涡喷发动机在 1930 年还没有被发明出来，对吧？所以，我们处于一种有点尷(gan)尬(ga)的境(jing)地。现在，宣(xuan)称我们无法使这些系统安全还为时过早(zao)，因为我们还没有发明出它们。一旦(dan)我们发明了它们，或许就是按(an)照(zhao)我所提出的设计藍(lan)图，再讨论如何使它们安全也许是值得的。

极客一问

如何让 AI 能够

像人类一样能真正规划？返(fan)回搜狐(hu)，查看更多

責(ze)任编辑：