opporeno抽奖广告

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>ChatGPT背(bei)後(hou)真(zhen)正(zheng)的(de)英(ying)雄(xiong)：OpenAI首(shou)席(xi)科(ke)學(xue)家(jia)Ilya Sutskever的信(xin)仰(yang)之(zhi)躍(yue)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

來(lai)源(yuan)：智源社(she)區(qu)

作(zuo)者(zhe)： 牛(niu)夢(meng)琳(lin)，李(li)梦佳(jia)

編(bian)輯(ji)：Aeneas

【新智元導(dao)讀(du)】ChatGPT的橫(heng)空(kong)出(chu)世(shi)萬(wan)眾(zhong)矚(zhu)目(mu)，但(dan)我(wo)們(men)不(bu)應(ying)忘(wang)記(ji)在(zai)它(ta)背后默(mo)默無(wu)聞(wen)的天(tian)才(cai)——OpenAI的聯(lian)合(he)創(chuang)始(shi)人(ren)和(he)首席科学家Ilya Sutskever。

ChatGPT的横空出世万众瞩目，但我们不应忘记在它背后默默无闻的天才。Ilya Sutskever是(shi)OpenAI的联合创始人和首席科学家。正是在他(ta)的領(ling)导下(xia)，OpenAI在開(kai)發(fa)尖(jian)端(duan)技(ji)術(shu)和推(tui)動(dong)人工(gong)智能(neng)领域(yu)的发展(zhan)方(fang)面(mian)取(qu)得(de)了(le)重(zhong)大(da)進(jin)展。

在這(zhe)篇(pian)文(wen)章(zhang)中(zhong)，我们將(jiang)探(tan)討(tao)二(er)十(shi)年(nian)間(jian)，Sutskever是如(ru)何(he)從(cong)壹(yi)個(ge)年輕(qing)的研(yan)究(jiu)人員(yuan)一步(bu)步走(zou)到(dao)人工智能领域的领导人物(wu)之一的。无論(lun)妳(ni)是人工智能愛(ai)好(hao)者，還(hai)是研究人员，或(huo)者僅(jin)仅是對(dui)这一领域的內(nei)部(bu)運(yun)作感(gan)到好奇(qi)的人，这篇文章都(dou)會(hui)提(ti)供(gong)寶(bao)貴(gui)的觀(guan)點(dian)和信息(xi)。

本(ben)文遵(zun)循(xun)以(yi)下時(shi)间線(xian)：

2003: Ilya Sutskever的拜(bai)師(shi)之旅(lv)

2011: 初(chu)識(shi)AGI

2013: 将DNNresearch拍(pai)賣(mai)給(gei)谷(gu)歌(ge)

2014: 語(yu)言(yan)翻(fan)譯(yi)的革(ge)命(ming)

2015: 从谷歌到OpenAI：人工智能的新篇章

2018: GPT 1、2和3

2021: 开发DALL-E 1

2022年：向(xiang)世界(jie)揭(jie)开ChatGPT的面紗(sha)

Ilya Sutskever

OpenAI的联合创始人和首席科学家，2005年畢(bi)業(ye)於(yu)多(duo)倫(lun)多大学，2012年獲(huo)得CS博(bo)士(shi)学位(wei)。2012年至(zhi)今(jin)，他曾(zeng)先(xian)后就(jiu)職(zhi)于斯(si)坦(tan)福(fu)大学，DNNResearch，Google Brain，从事(shi)機(ji)器(qi)学習(xi)與(yu)深(shen)度(du)学习的相(xiang)關(guan)研究，並(bing)于2015年放(fang)棄(qi)谷歌的高(gao)薪(xin)职位，与Greg Brockman等(deng)人联合创建(jian)了OpenAI，在OpenAI主(zhu)导了GPT-1，2，3以及(ji)DALLE系(xi)列(lie)模(mo)型(xing)的研发。2022年，他入(ru)選(xuan)英國(guo)皇(huang)家科学学会院(yuan)士。他是人工智能领域的先驅(qu)，在塑(su)造(zao)人工智能的當(dang)前(qian)格(ge)局(ju)方面发揮(hui)了重要(yao)作用(yong)，并在繼(ji)續(xu)推动机器学习的可(ke)能性(xing)的界限(xian)。他对人工智能的熱(re)情(qing)讓(rang)他的开创性研究熠(yi)熠生(sheng)輝(hui)，也(ye)由(you)此(ci)塑造了深度学习和机器学习领域的发展歷(li)程(cheng)。

2003:对Ilya Sutskever的初印(yin)象(xiang)

Sutskever：我不理(li)解(jie)，Hinton：為(wei)什(shen)麽(me)不理解，Sutskever：人们訓(xun)練(lian)神(shen)經(jing)網(wang)絡(luo)来解決(jue)問(wen)題(ti)，当人们想(xiang)解决不同(tong)问题时，就得用另(ling)外(wai)的神经网络重新开始训练。但我認(ren)为人们应該(gai)有(you)一个能夠(gou)解决所(suo)有问题的神经网络。

在多伦多大学读本科时，Sutskever想加(jia)入Geoffrey Hinton教(jiao)授(shou)的深度学习實(shi)驗(yan)室(shi)。于是，他在某(mou)一天直(zhi)接(jie)敲(qiao)开了Hinton教授辦(ban)公(gong)室的門(men)，詢(xun)问自(zi)己(ji)是否(fou)可以加入实验室。教授让他提前預(yu)約(yue)，但Sutskever不想再(zai)浪(lang)費(fei)时间，所以他立(li)即(ji)问："就現(xian)在怎(zen)么樣(yang)？"

Hinton意(yi)识到Sutskever是一个敏(min)銳(rui)的学生，于是给了他兩(liang)篇论文让他閱(yue)读。一周(zhou)后，Sutskever回(hui)到教授办公室，然(ran)后告(gao)訴(su)教授他不理解。

“为什么不理解？”教授问。

Sutskever解釋(shi)說(shuo)：“人们训练神经网络来解决问题，当人们想解决不同问题时，就得用另外的神经网络重新开始训练。但我认为人们应该有一个能够解决所有问题的神经网络。"

这段(duan)話(hua)展示(shi)了Sutskever得出結(jie)论的獨(du)特(te)能力(li)，而(er)这種(zhong)能力即使(shi)是有经验的研究人员也需(xu)要花(hua)费數(shu)年时间才能找(zhao)到，Hinton于是向他发出邀(yao)請(qing)，希(xi)望(wang)他加入自己的实验室。

2011: 初识AGI

Sutskever：我不认同这个想法(fa)（AGI）

Sutskever还在多伦多大学时，曾飛(fei)到伦敦(dun)去(qu)DeepMind找工作。在那(na)裏(li)他見(jian)到了Demis Hassabis 和 Shane Legg（DeepMind的联合创始人），他们正在建立AGI（Artificial General Intelligence，人工通(tong)用智能）。AGI是一种通用的人工智能，它能够像(xiang)人類(lei)一样思(si)考(kao)和推理，并完(wan)成(cheng)与人类智能相关的各(ge)种任(ren)務(wu)，如理解自然语言，从经验中学习，做(zuo)出决定(ding)，以及解决问题。

在当时，AGI并不是嚴(yan)肅(su)的研究人员会談(tan)论的東(dong)西(xi)。Sutskever也认为他们已(yi)经与现实脫(tuo)節(jie)，所以他拒(ju)絕(jue)了这份(fen)工作，回到了大学，最(zui)終(zhong)于2013年加入了谷歌。

2012: 圖(tu)像识別(bie)革命

ImageNet競(jing)賽(sai)中获勝(sheng)

Geoffrey Hinton慧(hui)眼(yan)独具(ju)，在其(qi)他人都不相信的时候(hou)相信了深度学习。并且(qie)他堅(jian)信，在ImageNet竞赛中获得成功(gong)就会徹(che)底(di)解决这一爭(zheng)论。

ImageNet竞赛：斯坦福大学的实验室每(mei)年都会舉(ju)办ImageNet竞赛。他们为參(can)赛者提供了一个由精(jing)心(xin)標(biao)记的照(zhao)片(pian)組(zu)成的龐(pang)大数據(ju)庫(ku)，来自世界各地(di)的研究人员都会来参加比(bi)赛，嘗(chang)試(shi)创建一个能够识别最多的图像的系統(tong)。

Hinton的两个学生，伊(yi)利(li)亞(ya)-蘇(su)茨(ci)克(ke)沃(wo)（Ilya Sutskever）和亚历克斯-克里切(qie)夫(fu)斯基(ji)（Alex Krizhevsky）参加了这个比赛。他们打(da)破(po)了傳(chuan)统的手(shou)工設(she)計(ji)方案(an)，采(cai)用了深度神经网络，并突(tu)破了75%的準(zhun)確(que)率(lv)大关。因(yin)此他们贏(ying)得了ImageNet竞赛，他们的系统后来被(bei)命名(ming)为AlexNet。

从那时起(qi)，图像识别领域煥(huan)然一新。

后来，Sutskever、Krizhevsky和Hinton发表(biao)了一篇关于AlexNet的论文，这篇论文成为计算(suan)机科学领域被引(yin)用次(ci)数最多的论文之一，總(zong)共(gong)被其他研究人员引用了6万多次。

2013: 将DNNresearch拍卖给谷歌

Sutskever&Krizhevsky：您(nin)值(zhi)得更(geng)大比例(li)的分(fen)紅(hong)。Hinton：你们分我的錢(qian)太(tai)多了。Sutskever&Krizhevsky：但我们已经决定好了，让您占(zhan)大頭(tou)。Hinton：这體(ti)现了他们的人品(pin)。

Hinton与Sutskever，Krizhevsky一起，成立了一家名为DNNresearch的新公司(si)。他们沒(mei)有任何產(chan)品，也没有在未(wei)来打造任何产品的计劃(hua)。

Hinton问律(lv)师，如何让他的新公司具有最大的價(jia)值，盡(jin)管(guan)目前只(zhi)有三(san)名员工，既(ji)没有产品，也没有底蘊(yun)。律师给他的选擇(ze)之一是设立一个拍卖会。有四(si)家公司参与了收(shou)購(gou)：百(bai)度、谷歌、微(wei)軟(ruan)和DeepMind（当时还是一家年轻的起步于伦敦的创业公司）。第(di)一个退(tui)出的是DeepMind，其次是微软，最后只剩(sheng)下百度和谷歌在竞争。

到某天晚(wan)上(shang)接近(jin)午(wu)夜(ye)时分，拍卖价格高達(da)4400万美(mei)元，Hinton于是暫(zan)停(ting)了竞标并且去睡(shui)了一覺(jiao)。第二天，他宣(xuan)布(bu)拍卖结束(shu)，并以4400万美元将他的公司卖给了谷歌，他认为为他的研究找到合適(shi)的“家”更重要。在这一点上，Hinton和他的学生们一样，把(ba)他们的想法置(zhi)于经濟(ji)利益(yi)之上。

平(ping)分收益的时候，Sutskever和Krizhevsky坚持(chi)认为Hinton应该得到更大的份額(e)（40%），尽管Hinton建議(yi)他们不如先睡一觉。第二天，他们仍(reng)然坚持这种分配(pei)方式(shi)。Hinton后来評(ping)论说：“这能体现他们的为人，而非(fei)我的”。

在这之后，Sutskever成为了谷歌大腦(nao)的研究科学家，他的想法产生了更大的變(bian)化(hua)，并开始与DeepMind创始人的想法逐(zhu)漸(jian)一致(zhi)。他开始相信，屬(shu)于AGI的未来就在眼前。当然，Sutskever本人也从不畏(wei)懼(ju)在面对新信息或经验时改(gai)变主意。毕竟(jing)相信AGI需要的是信仰之跃，正如謝(xie)爾(er)蓋(gai)-萊(lai)文（Sergey Levine，Sutskever在谷歌的同事）对Sutskever的评价：“他是一个不害(hai)怕(pa)‘相信’的人。”

2014: 语言翻译的革命

Sutskever：正确的结论是，如果(guo)你有一个非常(chang)大的数据集(ji)和一个非常庞大的神经网络，那么取得成功是必(bi)然的。（性能最優(you)的翻译器）

在收购了DNNResearch之后，谷歌聘(pin)请Sutskever为谷歌大脑的研究科学家。

在谷歌工作期(qi)间，Sutskever发明(ming)了一种神经网络的变体，能将英语翻译成法语。他提出了 “序(xu)列到序列学习”（Sequence to Sequence Learning），它能捕(bu)捉(zhuo)到輸(shu)入的序列结構(gou)（如英语的句(ju)子(zi)），并将其映(ying)射(she)到同样具有序列结构的输出（如法语的句子）。

他说，研究人员本不相信神经网络可以做翻译，所以当它们真的能翻译时，这就是一个很(hen)大的驚(jing)喜(xi)。他的发明擊(ji)敗(bai)了表现最好的翻译器，为谷歌翻译提供了重大升(sheng)級(ji)。语言翻译从此变得不一样了。

2015: 从谷歌到OpenAI：人工智能的新篇章

Sam Altman和Greg Brockman将Sutskever和其他9名研究人员聚(ju)集在一起，尝试是否还有可能与该领域最优秀(xiu)的人才组成一个研究实验室。当讨论到这个将成为OpenAI的实验室时，Sutskever意识到他找到了一群(qun)誌(zhi)同道合的人，他们与他的信念(nian)和願(yuan)望相同。

Brockman向这10位研究人员发出了加入他的实验室的邀请，并给他们三周的时间来决定。谷歌知(zhi)道这件(jian)事后，向Sutskever提供了一筆(bi)可观的金(jin)额来加入他们。被拒绝后，谷歌将他们的薪資(zi)提高到第一年近200万美元，这是OpenAI要付(fu)给他的两三倍(bei)。

但Sutskever还是愉(yu)快(kuai)地放弃了谷歌数百万美元的工作机会，最终成为非營(ying)利组織(zhi)OpenAI的联合创始人。

OpenAI的目标是利用人工智能造福全(quan)人类，以負(fu)責(ze)任的方式推进人工智能。

2018: 开发GPT 1, 2 & 3

Sutskever领导OpenAI发明了GPT-1，隨(sui)后发展到GPT-2、GPT-3和ChatGPT。

GPT（Generative Pre-trained Transformer）模型是一系列基于神经网络的语言模型。GPT模型的每一次更新換(huan)代(dai)，都是自然语言處(chu)理领域的突破性进展。

GPT-1（2018年）：这是该系列的第一个模型，是在一个大規(gui)模的互(hu)联网文本数据集上训练的。它的关鍵(jian)创新之一是使用无監(jian)督(du)的预训练，在这种情況(kuang)下，模型学习根(gen)据前面的單(dan)詞(ci)的上下文来预測(ce)句子中的单词。这使得该模型能够学习语言结构，并生成类似(si)人类的文本。

GPT-2（2019年）：在GPT-1的成功基礎(chu)上，它在一个更大的数据集上进行(xing)了训练，产生了一个更強(qiang)大的模型。GPT-2的主要进步之一是它能够就廣(guang)泛(fan)的主题生成連(lian)貫(guan)和流(liu)暢(chang)的文本段落(luo)，这使它成为了无监督语言理解和生成任务的关键角(jiao)色(se)。

GPT-3（2020年）：GPT-3在规模和性能上都是一个实質(zhi)性的飞跃。它是在一个大规模的数据集上训练的，使用了1750億(yi)个参数，比以前的模型大得多。GPT-3在广泛的语言任务上取得了最先进的性能，如问题回答(da)、机器翻译和总结，具有接近人类的能力。它还顯(xian)示了執(zhi)行簡(jian)单的编碼(ma)任务、编寫(xie)连贯的新闻文章、甚(shen)至生成詩(shi)歌的能力。

GPT-4：预计很快就会出现，预计就在2023年。

2021: 开发DALL-E 1

Sutskever还领导OpenAI发明了DALL-E 1，这是一个由AI驱动的图像生成模型。它使用了与GPT模型类似的架(jia)构和训练過(guo)程，但被应用于图像的生成，而非文本。

今天許(xu)多主要的图像生成器--DALL-E 2、MidJourney--都歸(gui)功于DALL-E 1，因为它们基于相同的变换器架构，并在类似的图像数据集和相关文字(zi)说明上进行训练。此外，DALL-E 2和MidJourney都是基于DALL-E 1的微調(tiao)过程。

2022年：向世界揭开ChatGPT的面纱

2022年11月(yue)30日(ri)，Sutskever幫(bang)忙(mang)推出了ChatGPT，这引起了大众的广泛关註(zhu)，并在短(duan)短5天内就发展到100万用戶(hu)。

ChatGPT的工作方式是在大量(liang)的文本数据集上预先训练一个深度神经网络，然后在特定的任务上对其进行微调，如回答问题或生成文本。它是一个基于GPT-3语言模型的对话式人工智能系统。

理解对话的背景(jing)并产生适当的反(fan)应是ChatGPT的主要功能之一。该机器人会记住(zhu)你的对话线索(suo)，并根据以前的问题和答案作出后续回应。与其他聊(liao)天机器人不同的是，这些(xie)机器人通常仅限于预编程的反应，而ChatGPT可以在应用中产生反应，使其能够进行更加动態(tai)和多样化的对话。

Elon Musk是OpenAI的创始人之一，他说：“ChatGPT优秀得可怕。我们離(li)危(wei)險(xian)的强大人工智能不遠(yuan)了”。

尾(wei)注

Ilya Sutskever对人工智能的热情推动了他的突破性研究，改变了该领域的进程。他在深度学习和机器学习方面的工作对推进技术水(shui)平和塑造该领域的未来方向起到了重要作用。

我们也親(qin)身(shen)见證(zheng)了Sutskever在人工智能领域工作的影(ying)響(xiang)。他已经改变了该领域的进程，并将继续在这个方向努(nu)力。尽管多次面对物质上的誘(you)惑(huo)，Sutskever还是选择了追(zhui)求(qiu)他的激(ji)情，專(zhuan)注于他的研究；他对工作的奉(feng)獻(xian)对任何研究人员来说都是堪(kan)稱(cheng)典(dian)範(fan)。

如今我们已经见证了Sutskever对我们这个世界的影响。很显然，这仅仅是个开始。

参考资料(liao)：

https://journeymatters.ai/ilya-the-brain-behind-chatgpt/返(fan)回搜(sou)狐(hu)，查(zha)看(kan)更多

责任编辑：