星闻对对碰

laobanjiandePKjiushibizhuanqiananjingderiji，anjingdechengchang，pingfanderijishijilunidesuiyuekefennianjifenzhutifenxilieyueduyingwenyoushenghuiben，zhongyingwenziyouqiehuan；xieyaochuannaimosundenalei，yaoburanshifeichangrongyisunhuaide，zhuyile。qiangdadegequxiazaigongneng，zhiyaoyoudewusunziyuantongtongmianfeixiazai現(xian)場(chang)直(zhi)播(bo)懟(dui)臉(lian)！騰(teng)訊(xun)雲(yun)行(xing)業(ye)大(da)模(mo)型(xing)炸(zha)场，超(chao)炫(xuan)AI能(neng)力(li)全(quan)能輸(shu)出(chu)

新(xin)智(zhi)元(yuan)報(bao)道(dao)

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】现在(zai)，國(guo)內(nei)各(ge)家(jia)大廠(chang)竟(jing)不(bu)約(yue)而(er)同(tong)地(di)走(zou)上(shang)了(le)在各行各业應(ying)用(yong)的(de)路(lu)線(xian)，看(kan)來(lai)，行业大模型大概(gai)率(lv)已(yi)經(jing)成(cheng)為(wei)了產(chan)业共(gong)識(shi)。

6月(yue)19日(ri)，腾讯云在行业大模型這(zhe)個(ge)領(ling)域(yu)成功(gong)秀(xiu)了壹(yi)把(ba)，還(hai)是(shi)现场直怼脸的那(na)種(zhong)。

这不，端(duan)午(wu)節(jie)就(jiu)要(yao)来了，不如(ru)問(wen)个實(shi)際(ji)點(dian)的：端午节三(san)天(tian)不出江(jiang)浙(zhe)滬(hu)，有(you)什(shen)麽(me)行程(cheng)推(tui)薦(jian)？

先(xian)来看標(biao)準(zhun)的語(yu)言(yan)大模型模型的回(hui)答(da)。

它(ta)給(gei)出了和(he)許(xu)多(duo)LLM同樣(yang)的「配(pei)方(fang)」，比(bi)如參(can)觀(guan)名(ming)勝(sheng)古(gu)跡(ji)、品(pin)嘗(chang)美(mei)食(shi)等(deng)簡(jian)單(dan)安(an)排(pai)。

總(zong)之(zhi)，讓(rang)人(ren)感(gan)覺(jiao)好(hao)像(xiang)安排了，又(you)好像沒(mei)有安排，参考(kao)性(xing)比較(jiao)弱(ruo)。

如果(guo)求(qiu)助(zhu)用行业场景(jing)數(shu)據(ju)訓(xun)練(lian)後(hou)的大模型，效(xiao)果如何(he)？

这次(ci)，順(shun)便(bian)升(sheng)級(ji)一下(xia)问題(ti)復(fu)雜(za)度(du)：「我(wo)和孩(hai)子(zi)都(dou)是歷(li)史(shi)人文(wen)愛(ai)好者(zhe)，端午节想(xiang)去(qu)上海(hai)周(zhou)邊(bian)，預(yu)算(suan)5000以(yi)内，最(zui)好每(mei)天去2个景点玩(wan)。」

可(ke)以看到(dao)，模型给出了三天的行程規(gui)劃(hua)。相(xiang)较之前(qian)的回复，細(xi)致(zhi)了很(hen)多，但(dan)实操(cao)性还是不夠(gou)強(qiang)。

接(jie)下来，同样的问题，再(zai)扔(reng)给接入(ru)文旅(lv)客(ke)戶(hu)API接口(kou)后的行业大模型问一遍(bian)。

顯(xian)然(ran)，这次直接提(ti)供(gong)了「保(bao)姆(mu)级三天攻(gong)略(lve)」，詳(xiang)细介(jie)紹(shao)了景点的特(te)色(se)。

另(ling)外(wai)，还给出了每天景点的交(jiao)通(tong)安排，甚(shen)至(zhi)，可以实時(shi)查(zha)詢(xun)到今(jin)年(nian)的介绍信(xin)息(xi)、購(gou)票(piao)鏈(lian)接、还有價(jia)格(ge)等相關(guan)信息。

让人看完(wan)，瞬(shun)間(jian)觉得(de)这样的行程不僅(jin)有意(yi)義(yi)，还省(sheng)去了做(zuo)出行功課(ke)的时间。

如果再让它推荐一下蘇(su)州(zhou)的酒(jiu)店(dian)，妳(ni)直接得到了不同檔(dang)次的推荐和介绍，还有酒店的预定(ding)链接。

未(wei)来，隨(sui)著(zhe)更(geng)高(gao)質(zhi)量(liang)数据增(zeng)加(jia)，模型的精(jing)調(tiao)效果还會(hui)更好。

行业大模型已成共识

在这场ChatGPT引(yin)爆(bao)AI大模型的熱(re)潮(chao)中(zhong)，企(qi)业雖(sui)然期(qi)待(dai)能够得到大模型能力的加持(chi)，但通用大模型在解(jie)決(jue)他(ta)們(men)问题时多多少(shao)少遇(yu)到一些(xie)局(ju)限(xian)性。

首(shou)先，安全方面(mian)。

由(you)於(yu)很多企业的业務(wu)数据等都是非(fei)常(chang)隱(yin)私(si)的核(he)心(xin)数据，他们根(gen)本(ben)不会將(jiang)其(qi)放(fang)在数据集(ji)上進(jin)行公(gong)開(kai)训练。

然而，训练模型的專(zhuan)业、且(qie)高质量的数据收(shou)集是非常難(nan)的。

其次，经濟(ji)方面。

很多企业和機(ji)構(gou)在构建(jian)大模型上，算力需(xu)求还是極(ji)大的。但是並(bing)非每家企业都有足(zu)够的資(zi)源(yuan)，让大模型完成训练和推理(li)。

英(ying)偉(wei)達(da)曾(zeng)公布(bu)数据显示(shi)，训练一次大模型，大约100多萬(wan)美金(jin)。

再加上，如果遇到服(fu)务器(qi)過(guo)热宕(dang)机，整(zheng)个GPU集群(qun)都要停(ting)止(zhi)工(gong)作(zuo)，训练任(ren)务也(ye)要重(zhong)新开始(shi)。

这對(dui)云服务運(yun)維(wei)能力與(yu)排查问题能力的要求非常高，所(suo)以很多算法(fa)團(tuan)隊(dui)都選(xuan)擇(ze)最专业的云服务厂商(shang)来支(zhi)持。

这些都需要高成本的投(tou)入，但许多企业级用户是無(wu)法做到的。

最后，效率方面。

对于通用大模型来說(shuo)，数据质量非常重要。

大模型需要大量的高质量数据进行训练和優(you)化(hua)。必(bi)須(xu)经过清(qing)洗(xi)和预處(chu)理，来消(xiao)除(chu)噪(zao)聲(sheng)、填(tian)補(bu)缺(que)失(shi)值(zhi)并確(que)保数据质量。

否(fou)則(ze)，训练出的模型效果、效率都无法得到保障(zhang)。

除此(ci)之外，在很多产业场景中，用户对企业提供的专业服务要求高，容(rong)錯(cuo)性低(di)。企业一旦(dan)提供了错誤(wu)信息，可能引起(qi)巨(ju)大的法律(lv)責(ze)任或(huo)公关危(wei)机。

因(yin)此，企业使(shi)用的大模型必须可控(kong)、可追(zhui)溯(su)、可溯源，而且必须反(fan)复、充(chong)分(fen)測(ce)試(shi)才(cai)能上线。

以上种种难题，怎(zen)么破(po)？答案(an)就是行业大模型。

稍(shao)加观察(cha)就会發(fa)现，现在国内很多家大模型，都在往(wang)产业领域和具(ju)體(ti)的业务场景上走。

不止腾讯云，回看国内各大厂，包(bao)括(kuo)阿(e)裏(li)云、百(bai)度云、京(jing)東(dong)云在内都在加速(su)大模型在各行各业的应用。

可以看到，行业大模型大概率已经成为了产业共识。因为聚(ju)焦(jiao)到具体应用场景中，行业大模型更符(fu)合(he)垂(chui)類(lei)场景的需求。

當(dang)然，在此之前，腾讯云早(zao)已在自(zi)家平(ping)臺(tai)上做了深(shen)度的探(tan)索(suo)。

作为国内开发者最常用的輔(fu)助工具，GitHub Copilot让大家充分感受(shou)到了智能的力量。代(dai)碼(ma)自動(dong)补全的功能，代表(biao)着巨大飛(fei)躍(yue)的来臨(lin)。

而腾讯云的新一代AI代码助手(shou)，也实现了GitHub Copilot的类似(si)功能。多种编程语言、主(zhu)流(liu)开发框(kuang)架(jia)、常用IDE等，AI代码助手都支持。

舉(ju)个例(li)子，比如有段(duan)代码不会寫(xie)，AI代码助手就可以根据代码类型、代码上下文等信息，自动进行代码补全。不仅如此，它还能根据代码反向(xiang)生(sheng)成註(zhu)釋(shi)和单元测试代码，甚至更进一步(bu)地幫(bang)你debug。

MaaS一站(zhan)式(shi)解决方案

现在，腾讯云基(ji)于自己(ji)的应用積(ji)累(lei)，以及(ji)行业上的实际需求，重磅(bang)推出了全新的MaaS（Model-as-a-Service）一站式服务，大幅(fu)降(jiang)低了大模型的应用門(men)檻(kan)。

目(mu)前，腾讯云已经聯(lian)合頭(tou)部企业，为諸(zhu)如金融(rong)、傳(chuan)媒(mei)、文旅、政(zheng)务、教(jiao)育(yu)等10大行业，输出了超过50个解决方案。

具体来说，腾讯云MaaS可以覆(fu)蓋(gai)行业大模型生命(ming)周期的整个流程——「模型选型-训练共建-部署(shu)应用」，同时支持MLOps体系(xi)及相关工具。

在配套(tao)服务方面，腾讯云提供本地化的训练、落(luo)地及陪(pei)跑(pao)优化服务，并可以針(zhen)对用户的需求，提供私有化部署、公有云托(tuo)管(guan)、混(hun)合云部署等靈(ling)活(huo)部署方案。

其中，企业可以利(li)用自己的场景数据，定制(zhi)专屬(shu)的精调大模型。或者，也可以根据自身(shen)的需求，开展(zhan)多模型训练任务。

举个例子，在某(mou)商业銀(yin)行的日常业务中，就时常遇到这样的难题。

客户业务中涉(she)及到大量银行回单、交易(yi)发票、跨(kua)境(jing)匯(hui)款(kuan)申(shen)請(qing)書(shu)、业务往来郵(you)件(jian)、传真(zhen)等数据，需要整理、錄(lu)入系統(tong)。

如果純(chun)依(yi)賴(lai)人工，就会面临耗(hao)时長(chang)、效率低、成本高、易出错的难题。

并且，模型也不具備(bei)閱(yue)读理解和推理能力、指(zhi)标上限低，在不同场景下，模型的能力更是无法复制、定制成本极高。

而腾讯云TI-OCR大模型卻(que)充分解决了以上痛(tong)点。

首先，它是基于原(yuan)生大模型，不经过训练，就可以直接支持常规下遊(you)任务，零(ling)样本學(xue)習(xi)泛(fan)化召(zhao)回率可达93%。

其次，通过prompt設(she)計(ji)，模型不经过训练，就可支持复杂的下游任务，小(xiao)样本学习泛化召回率可达95%。

另外，通过多模態(tai)技(ji)術(shu)，模型可以通过小样本精调解决传统OCR难题，比传统模型召回率提高了3%-20%。

那么，这样「预制菜(cai)」式的大模型精调，是怎么实现的呢(ne)？

堅(jian)实的技术积累

为了帮助用户实现一站式的大模型精调，腾讯云也给TI平台来了个全面升级，提供包括数据标注、训练、評(ping)估(gu)、测试和部署等全套工具链。

升级之后的TI平台，能够更好地完成「业务分析(xi)-数据分析-数据清洗-数据标注-大模型选择-训练加速-模型评测-应用落地」这一全套的行业大模型落地流程。

人人皆(jie)知(zhi)，算力、数据、算法是AI的三要素(su)，大模型时代也是如此。

大模型训练，算力是基礎(chu)。

就算力来講(jiang)，可以说，腾讯云把配置(zhi)全给拉(la)滿(man)了。

早在今年4月，腾讯云便发布了面向大模型训练的最新一代HCC（High-Performance Computing Cluster）高性能计算集群。

采(cai)用最新一代腾讯云星(xing)星海自研(yan)服务器，結(jie)合多層(ceng)加速的高性能存(cun)儲(chu)系统，能够提供3.2Tbps业界(jie)最高互(hu)联帶(dai)寬(kuan)，算力性能提升3倍(bei)。

具体来说，集群的单GPU卡(ka)能够在不同精度下，输出最高1979 TFlops的算力。

而在大模型场景下，集群利用并行计算理念(nian)，通过CPU和GPU节点的一体化设计，能够将单点算力性能提升至更高。

除了单点的运算能力外，集群中不同计算节点之间的通信性能也会直接影(ying)響(xiang)训练效率。

为此，腾讯云自研了具备业界最高3.2T RDMA通信带宽的星脈(mai)高性能计算網(wang)絡(luo)，能够更好地满足节点间海量的数据交互需求。

实测结果显示，相较于此前的1.6T网络，在GPU数量不變(bian)的情(qing)況(kuang)下，3.2T星脉网络能够给集群带来20%的算力提升。

其次，大模型的训练数据至关重要，经常会遇到数据清洗、标注、分析等问题。

而在前期的数据处理階(jie)段，TI-DataTruth数据标注平台能提供智能数据生产服务支持，包括数据标注作业、数据眾(zhong)包管理、场景数据挖(wa)掘(jue)等。

在接下来的模型训练上，TI-ONE一站式机器学习平台内置了多种训练方式和算法框架，可以满足不同AI应用场景的需求，并支持從(cong)数据接入、模型训练、模型管理到模型服务的全流程开发。

ChatGPT还没联网之前，训练数据只(zhi)截(jie)止到2021年9月，而对训练截止之日之后发生的事(shi)情一无所知。而向量数据庫(ku)通过存储最新信息，让大模型能够訪(fang)问，来彌(mi)补这个不足点。

向量是AI理解世(shi)界的数据形(xing)式，由此向量数据库之于大模型的价值就是「記(ji)憶(yi)体」，能够给LLM提供与加强记忆。可以说，向量数据库是大模型时代「储存新基座(zuo)」。

就在今年3月，老(lao)黃(huang)在GTC大会上还首次提及了将要推出的RAFT向量数据库。

基于这一需求，腾讯自研的大模型向量数据库（Tecent Cloud Vector DB），不仅具备高吞(tun)吐(tu)、低延(yan)遲(chi)、低成本、高可用、彈(dan)性擴(kuo)展等特点，而且还能进行实时更新，并大幅提升大模型阅读理解的长度，从2千(qian)字(zi)到8千字。

为了提升模型的训练推理效率，降低用户成本，腾讯云在去年推出了TI-ACC加速工具。

TI-ACC底(di)层使用TNN作为框架，训练加速实现了数据IO优化、计算加速、通信加速、并行训练、显存优化等能力，兼(jian)容原生PyTorch、TensorFlow框架和DDP、PS工具。

而TI-ACC推理加速则可以实现计算优化、低精度加速、内存优化等能力，能力通过统一的加速库和优化函(han)数的形式提供，同样兼容原生PyTorch等框架，无需进行模型轉(zhuan)換(huan)。

这次，腾讯云更进一步地将TI-ACC升级为「太(tai)极Angel」，从而提供更优和更完整的大模型训练和推理加速能力。

在传统CV、NLP算法模型的基础上，太极Angel新增了对大模型的训练和推理加速能力，通过異(yi)步调度优化、显存优化、计算优化等方式，相比行业常用方案性能提升30%+。

在模型的应用和部署上，TI-Matrix应用平台支持快(kuai)速接入各种数据、算法和智能设备。用户则可以借(jie)助可視(shi)化编排工具，进行模型服务和资源的管理及调度。

最后，对于行业大模型尤(you)为重要的安全、合规方面，腾讯云也有成熟(shu)的技术积累和经驗(yan)。

通过在问题側(ce)、模型侧和答案侧同时进行敏(min)感信息的过濾(lv)和规避(bi)，可以让输出的答案符合安全、规範(fan)的要求，并确保大模型可信、可靠(kao)、可用。

模型应用，产业先行

大模型方興(xing)未艾(ai)，为什么大家都在走向大模型通往产业领域的路徑(jing)？这是否意味(wei)着通用大模型失去了价值？

其实不然。我们見(jian)證(zheng)了，GPT-4、PaLM等巨量参数的通用大模型，湧(yong)现出「举一反三」的强大泛化能力。

它们都是利用大算力，在大规模无标注数据集中进行训练，相当于完成了「通识教育」。

最直接的证明(ming)是，OpenAI把通用大模型的训练结果——ChatGPT带到所有人面前，让发展大半(ban)个世紀(ji)的AI真正(zheng)步入提升人类生产力的新纪元。

可见，通用大模型是邁(mai)向通用人工智能里程碑(bei)的重要一步，其价值不可估量。

对于通用大模型来讲，生态最为重要，可以让众多企业接入大模型底座去賦(fu)能千行百业。

同时，我们也要看到，通用大模型并非万能，在更加深入的一个专业领域中，其know-how是遠(yuan)远无法满足的。

再加上大模型经常会出现「胡(hu)说八(ba)道」，对于至关重要的场景，比如律師(shi)行业，将带来更大的風(feng)險(xian)。

然而，现有大模型的算力和能耗的挑(tiao)戰(zhan)，再加上行业不同，需求不同，垂直领域大模型的到来注定是必然的。

因为，专业领域大模型在金融、文旅、传媒、政务、教育等多个产业场景中具有廣(guang)泛应用和商业創(chuang)新价值。

比如，今年3月，彭(peng)博(bo)社(she)发布了为金融界打(da)造(zao)的500億(yi)大模型BloombergGPT。

这一模型依托彭博社大量金融数据源，在金融任务上的表现超过任一模型。甚至，在通用场景中，也能与现有模型一较高下。

还有谷(gu)歌(ge)推出的醫(yi)療(liao)领域大模型Med-PALM2，在医学考试问答上超过了许多专家的水(shui)平。

要知道，只有真正创造价值的技术才能可持續(xu)、高质量地发展。

目前，国内布局大模型领域的大厂，正在不斷(duan)夯(hang)实通用大模型，打造产业大模型，进而助力AI产业大模型的发展。

「通用大模型+产业大模」兩(liang)條(tiao)腿(tui)走路，并駕(jia)齊(qi)驅(qu)，可能更適(shi)合目前我国发展的情况。

甚至，国家也在營(ying)造人工智能大模型产业生态中给予(yu)大力支持。

比如「北(bei)京市(shi)通用人工智能产业创新夥(huo)伴(ban)计划」的啟(qi)动，就是要推动大模型赋能千行百业数智化转型。

要看到的是，垂直大模型是一种全新的生产力。

以GPT-4为代表的認(ren)知大模型在多个任务上实现了驚(jing)艷(yan)的表现，同时也带动了相关产业创新应用也在不断涌现。

这次技术峰(feng)会，腾讯云进一步释放行业大模型的服务能力。从侧面也看出，目前企业对大模型实际落地需求也是非常迫(po)切(qie)的。

从真实客户需求场景出发，腾讯云獨(du)到的「量体裁(cai)衣(yi)、普(pu)惠(hui)适用」的行业模型解决方案，让大家做属于自己的行业模型，实现提质增效。

腾讯集团高级執(zhi)行副(fu)总裁、云与智慧(hui)产业事业群CEO湯(tang)道生表示，

大模型只是开端，AI与产业的融合，将綻(zhan)放出更有创造力的未来。生态共建是AI发展的有效路径，腾讯将坚持生态开放，为企业提供高质量模型服务，同时支持客户多模型训练任务，加速大模型在产业场景的创新探索。

在这个AI2.0时代，若(ruo)想成为掌(zhang)握(wo)下一个十(shi)年的核心競(jing)爭(zheng)力的先行者，还需模型应用，产业先行。

腾讯云在做的，让行业大模型落地更实在。返(fan)回搜(sou)狐(hu)，查看更多

责任编辑：