北京做得好的广告公司

<随心_句子c><随心_句子c><随心_句子c><随心_句子c><随心_句子c>高(gao)達(da)3.6萬(wan)億(yi)token！PaLM 2訓(xun)練(lian)數(shu)據(ju)翻(fan)5倍(bei)，全(quan)新(xin)Bard對(dui)比(bi)ChatGPT有(you)8個(ge)優(you)勢(shi)

新智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：Aeneas 潤(run)

【新智元導(dao)讀(du)】PaLM2模(mo)型(xing)训练数据是(shi)上(shang)壹(yi)代(dai)的(de)5倍，达到(dao)3.6万亿。基(ji)於(yu)PaLM2的Bard对比ChatGPT有8項(xiang)优势。

決(jue)定(ding)大(da)模型能(neng)力(li)的關(guan)鍵(jian)因(yin)素(su)，到底(di)是模型的參(can)数，還(hai)是训练文(wen)本(ben)的大小(xiao)？

谷(gu)歌(ge)發(fa)布(bu)的PalM2，似(si)乎(hu)選(xuan)擇(ze)了(le)後(hou)者(zhe)作(zuo)為(wei)提(ti)升(sheng)的主(zhu)要(yao)路(lu)徑(jing)。

据悉(xi)，谷歌用(yong)于训练的PaLM2的文本数量(liang)幾(ji)乎是训练其(qi)前(qian)身(shen)模型的5倍。

而(er)且(qie)上周(zhou)宣(xuan)布PaLM 2時(shi)，谷歌明(ming)確(que)表(biao)示(shi)，該(gai)模型比早(zao)期(qi)的PaLM更(geng)小。

谷歌內(nei)部(bu)文件(jian)顯(xian)示，PaLM經(jing)過(guo)了5400亿的参数训练，而新推(tui)出(chu)的PaLM2，训练参数接(jie)近(jin)腰(yao)斬(zhan)，只(zhi)有3400亿个。

技(ji)術(shu)文檔(dang)中(zhong)训练数据的描(miao)述(shu)

但(dan)是在(zai)另(ling)一个模型训练的关键数据——训练語(yu)料(liao)大小上，谷歌開(kai)始(shi)瘋(feng)狂(kuang)堆(dui)料，把(ba)PaLM的7800亿的训练token量直(zhi)接推到了3.6万亿！

而且除(chu)了Token数量的激(ji)增(zeng)，PaLM2在数据質(zhi)量上也(ye)有很(hen)大的提升。

训练数据中各(ge)个语言(yan)的比例(li)

所(suo)以(yi)相(xiang)比PaLM，第(di)二(er)代在英(ying)语语料数据量沒(mei)有显著(zhu)增長(chang)的情(qing)況(kuang)下(xia)，英语性(xing)能明显提高，部分(fen)原(yuan)因是因为英语数据的质量提升了。

大模型路線(xian)选择

OpenAI没有公(gong)开GPT-4的训练参数数量，但是谷歌没有藏(zang)著(zhe)掖(ye)着，主動(dong)公开了PaLM2训练参数。

而且在谷歌I/O大會(hui)上，还同(tong)时发布了4个参数更少(shao)的模型。

其中最(zui)小的一款(kuan)模型 Gecko（壁(bi)虎(hu)），甚(shen)至(zhi)可(ke)以在智能手(shou)機(ji)上運(yun)行(xing)。

這(zhe)一舉(ju)动側(ce)面(mian)反(fan)應(ying)了谷歌未(wei)來(lai)的野(ye)心(xin)，希(xi)望(wang)在更多(duo)的平(ping)臺(tai)上部署(shu)自(zi)己(ji)的大模型。

在这个大背(bei)景(jing)之(zhi)下，從(cong)长遠(yuan)的角(jiao)度(du)来看(kan)，谷歌几乎不(bu)可能选择堆训练参数量来提升模型性能，增加(jia)训练语料的数量和(he)质量几乎成(cheng)了必(bi)然(ran)的选择。

PaLM 2：史(shi)上最強(qiang)大模型？

在I/O大会上宣布PaLM 2时，谷歌證(zheng)實(shi)：该模型经过100種(zhong)语言的训练，可以執(zhi)行廣(guang)泛(fan)的任(ren)務(wu)。它(ta)已(yi)经被(bei)用来为25个功(gong)能和產(chan)品(pin)提供(gong)支(zhi)持(chi)，包(bao)括(kuo)谷歌的实驗(yan)性聊(liao)天(tian)机器(qi)人(ren)Bard。

PaLM 2有四(si)种尺(chi)寸(cun)，从小到大依(yi)次(ci)是：Gecko（壁虎）、Otter（水(shui)獺(ta)）、Bison（野牛(niu)）和Unicorn（獨(du)角獸(shou)）。

基于現(xian)在公开披(pi)露(lu)的数据，PaLM 2比现有的任何(he)模型都(dou)更强大。

Meta的LLaMA在今(jin)年(nian)二月(yue)推出，它在1.4万亿个token上進(jin)行了训练。

而上一次OpenAI分享(xiang)训练規(gui)模，还是在推出GPT-3时，當(dang)时OpenAI說(shuo)，它接受(shou)了3000亿个token的训练。

另外(wai)，谷歌兩(liang)年前曾(zeng)提出LaMDA模型，当时它接受了1.5万亿个token的训练。

AI軍(jun)備(bei)競(jing)賽(sai)升溫(wen)，公眾(zhong)要求(qiu)更高透(tou)明度

对于大模型训练数据的細(xi)節(jie)，大廠(chang)們(men)都很默(mo)契(qi)地(di)选择了「Close」。

发布GPT-4时，OpenAI没有公布架(jia)構(gou)（包括模型大小）、硬(ying)件、训练計(ji)算(suan)、数据集(ji)构建(jian)、训练方(fang)法(fa)等(deng)细节，理(li)由(you)是「像(xiang)GPT-4这樣(yang)的大规模模型的竞爭(zheng)格(ge)局(ju)和安(an)全影(ying)響(xiang)」。

被OpenAI逼(bi)到墻(qiang)角的谷歌，也一直渴(ke)望展(zhan)示自己AI技术的力量，包括如(ru)何將(jiang)其嵌(qian)入(ru)到搜(sou)索(suo)、電(dian)子(zi)郵(you)件、文字(zi)處(chu)理和电子表格中，但是此(ci)前，谷歌一直不願(yuan)意(yi)公布训练数据的大小或(huo)其他(ta)细节。

保(bao)密(mi)的原因，当然就(jiu)是業(ye)务的竞争性质。

無(wu)論(lun)是谷歌还是OpenAI，都在争搶(qiang)着希望使(shi)用聊天机器人而不是傳(chuan)統(tong)搜索引(yin)擎(qing)的用戶(hu)。

但隨(sui)着AI军备竞赛的升温，研(yan)究(jiu)社(she)區(qu)正(zheng)在要求更高的透明度。

而现在，随着AI应用迅(xun)速(su)成为主流(liu)，圍(wei)繞(rao)底層(ceng)技术的争議(yi)也愈(yu)发激烈(lie)。

随着新的人工(gong)智能应用迅速成为主流，围绕底层技术的争议也越(yue)来越激烈。

今年2月，谷歌研究高級(ji)科(ke)學(xue)家(jia)El Mahdi因公司(si)缺(que)乏(fa)透明度，选择辭(ci)職(zhi)。

周二，OpenAI首(shou)席(xi)执行官(guan)Sam Altman在参议院(yuan)司法小組(zu)委(wei)員(yuan)会关于隱(yin)私(si)和技术的聽(ting)证会上作证，同意立(li)法者的觀(guan)點(dian)——需(xu)要監(jian)管(guan)AI的新系(xi)统。

「对于一项非(fei)常(chang)新的技术，我(wo)们需要一个新的框(kuang)架，」Altman说。「当然，像我们这样的公司，对于在全球(qiu)推出的工具(ju)負(fu)有很大責(ze)任。」

Bard可以幹(gan)但ChatGPT干不了的事(shi)

1. 訪(fang)問(wen)網(wang)絡(luo)

相对于ChatGPT，Bard的一个显著优势就是——可以访问互(hu)聯(lian)网。

问问今天（5月17日(ri)）的體(ti)壇(tan)大事，Bard快(kuai)速總(zong)結(jie)出来了。

而ChatGPT无法直接访问互联网，只能通(tong)过其付(fu)費(fei)版(ban)本Plus上的插(cha)件访问网络。

2. 圖(tu)像生(sheng)成

在生成图像上，Bard也超(chao)越了ChatGPT的付费和非付费版本。

谷歌宣布将通过集成Adobe Firefly，提供AI图像生成功能。这个功能增强了对話(hua)的視(shi)覺(jiao)效(xiao)果(guo)，讓(rang)用户獲(huo)得(de)了上下文更豐(feng)富(fu)的信(xin)息(xi)。

3. 语音(yin)輸(shu)入

在语音输入方面，Bard也优于ChatGPT，用户只要通过语音，就可以和模型交(jiao)互了。

这样在多任务处理和打(da)字不方便(bian)时，用户就多了一种快速获取(qu)响应的邊(bian)界(jie)方式(shi)。

小编把今日体坛新聞(wen)的问題(ti)读了一遍(bian)，Bard就自动显示了。唯(wei)一要註(zhu)意的是，英文发音要足(zu)夠(gou)標(biao)準(zhun)。??

4. 编碼(ma)能力

在编码能力上，Bard也超越了ChatGPT，它能够協(xie)助(zhu)20多种编程(cheng)语言，包括 C++、Python、Java、Type、Java等。它可以輔(fu)助开发者进行代码生成、解(jie)釋(shi)和調(tiao)試(shi)。

相比之下，雖(sui)然ChatGPT也具有编码功能，但它在处理額(e)外任务时存(cun)在不足，相比之下OpenAI的Codex可能更適(shi)合(he)执行这些(xie)任务。

让Bard用python生成一个斐(fei)波(bo)那(na)契数列(lie)，並(bing)打出前10个数字。

Bard成功完(wan)成了。

5. 高度整(zheng)合Gmail

與(yu)Gmail集成，是Bard是另一个重(zhong)要优势。

Gmail擁(yong)有超过20亿用户，是全球最大的电子邮件服(fu)务商(shang)。如果在邮件中能用Bard，无疑(yi)为电子邮件交互开辟(pi)了新的可能性。

但是，微(wei)軟(ruan)也正把ChatGPT添(tian)加到Microsoft 365 中，并将嵌入到 Word、Excel、PowerPoint以及(ji)Gmail的竞争者中。

6. 分享输出内容(rong)

另外，Bard还可以将结果立即(ji)导出到Gmail和Docs。

用户可以将生成的内容直接导出到这些平台，輕(qing)松(song)与他人分享。这个功能大大簡(jian)化(hua)了共(gong)享信息的过程，使撰(zhuan)寫(xie)电子邮件變(bian)得非常轻松。

另一方面，OpenAI在設(she)置(zhi)中有一个類(lei)似的导出选项。用户可以导出帳(zhang)户詳(xiang)细信息和对话，以可下載(zai)文件的形(xing)式发送(song)到电子邮箱(xiang)中。

7. 支持图像提示

Bar还有一大功能是，能够使用图像作为提示。

用户只需点擊(ji)图片(pian)或使用Google Lens掃(sao)描图像，就可以向(xiang)Bard尋(xun)求幫(bang)助了。

比如，用户可以查(zha)找(zhao)与某(mou)張(zhang)图片类似的度假(jia)勝(sheng)地，还可以詢(xun)问其这个地点的歷(li)史意義(yi)。

同样，GPT-4 也是一个多模態(tai)大模型，可以接受图像和文本输入，不过截(jie)至本文发布之日，在付费版本中也没有引入这个功能。

8. 网頁(ye)摘(zhai)要

因为Bard可以联网，因而它可以通过简單(dan)地共享鏈(lian)接来总结某个网页。

相比之下，ChatGPT不能联网，用户只能手动復(fu)制(zhi)和粘(zhan)貼(tie)想(xiang)要总结的内容。

不过，Bard也有其局限(xian)性，特(te)別(bie)是在毒(du)性方面。

在測(ce)试过程中，当給(gei)出明确的有毒提示时，Bard在超过30%的时間(jian)内，会产生有毒反应。

此外，在英语、德(de)语和葡(pu)萄(tao)牙(ya)语等语言中，PaLM 2总体上会表现出更明显的毒性行为。

总的来说，由于不同的架构和测试方法，直接比較(jiao)这PaLM2和GPT-4有一定的挑(tiao)戰(zhan)性。

在推理任务中，PaLM 2的表现与GPT-4类似，甚至更好(hao)。

不过，在编码任务中，PaLM 2需要多次嘗(chang)试，以及额外的编码token，才(cai)能获得良(liang)好的性能。

参考(kao)資(zi)料：

https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html

https://analyticsindiamag.com/8-things-that-bard-can-do-but-chatgpt-cant/返(fan)回(hui)搜狐(hu)，查看更多

责任编辑：