林一个人资料介绍

zhichiALexaEchoGoogleHomexiaoaitongxuetianmaojinglingdengguoneiwaidisanfangyuyinpingtai。tingbenkechengpeiyouwaijiaoyuanshengquanwenlangduluyin,jidianjidu,xiangtingnalitingnali,xiangtingjibiantingjibian,peiyanglianghaodeyingwenyugan。kuajiezhanchanggefangjizhan，yimenpaiweidanweibaomingdekuajiezhandoufeichangciji，gegefuwuqidedashendouhuichuxian。【gaimingka】ruguonijiaodexianzaideyonghuminggenbushangshidaidechaoliule，biepa！gaimingkalaila，kuangzhuaixuankudemingzirennixiugaiyangchefuwu：quanmiandeyangchefuwudengnitiyan，buguannishixichemeirongyanghuwomendounengweinitigongfuwu幾(ji)分(fen)鐘(zhong)開(kai)發(fa) AI 應(ying)用(yong)成(cheng)為(wei)可(ke)能(neng)，为什(shen)麽(me)說(shuo)大(da)模(mo)型(xing)中(zhong)間(jian)件(jian)是(shi) AI 必(bi)備(bei)軟(ruan)件？

來(lai)源(yuan)：CSDN

2022年(nian)底(di)，OpenAI基(ji)於(yu)大語(yu)言(yan)模型发布(bu)了(le)聊(liao)天(tian)应用ChatGPT，推(tui)出(chu)僅(jin)壹(yi)個(ge)月(yue)活(huo)躍(yue)用戶(hu)破(po)億(yi)，吸(xi)引(yin)全(quan)球(qiu)範(fan)圍(wei)的(de)廣(guang)泛(fan)關(guan)註(zhu)。ChatGPT的出現(xian)將(jiang)人(ren)工(gong)智(zhi)能推向(xiang)全球关注的中心(xin)舞(wu)臺(tai)，大语言模型帶(dai)動(dong)的新(xin)一輪(lun)人工智能浪(lang)潮(chao)，正(zheng)以(yi)前(qian)所(suo)未(wei)有(you)的速(su)度(du)席(xi)卷(juan)全球。據(ju)統(tong)計(ji)，目(mu)前全球大型语言模型相(xiang)关的創(chuang)業(ye)公(gong)司(si)已(yi)超(chao)過(guo)200家(jia)，投(tou)資(zi)總(zong)額(e)達(da)到(dao)70亿美(mei)元(yuan)。

TechCrunch的數(shu)据顯(xian)示(shi)，2022年前三(san)个季(ji)度全球人工智能的投资已达到560亿美元，创下(xia)歷(li)史(shi)新高(gao)。其(qi)中，融(rong)资較(jiao)高的创业公司包(bao)括(kuo)Anthropic、Cohere、AI21 Labs等(deng)，這(zhe)些(xie)公司的技(ji)術(shu)都(dou)建(jian)立(li)在(zai)大型语言模型的基礎(chu)之(zhi)上(shang)。

圖(tu)片(pian)来源：由(you)無(wu)界(jie) AI 生(sheng)成

大模型落(luo)地(di)的挑(tiao)戰(zhan)

對(dui)于个人用户，大语言模型带来了前所未有的高度个性(xing)化(hua)體(ti)驗(yan)。它(ta)能夠(gou)與(yu)用户進(jin)行(xing)流(liu)暢(chang)的对話(hua)，並(bing)提(ti)供(gong)即(ji)時(shi)且(qie)針(zhen)对性的回(hui)应。借(jie)助(zhu)基于大型语言模型的AI寫(xie)作(zuo)助手(shou)，用户能够快(kuai)速生成高質(zhi)量(liang)的文(wen)章(zhang)草(cao)稿(gao)，其風(feng)格(ge)与用户貼(tie)合(he)，極(ji)大提高了內(nei)容(rong)创作效(xiao)率(lv)。然(ran)而(er)，大模型要(yao)在企(qi)业側(ce)真(zhen)正落地仍(reng)然面(mian)臨(lin)很(hen)大挑战，总結(jie)为下面四(si)个方(fang)面：

大模型專(zhuan)业深(shen)度不(bu)够，数据更(geng)新不及(ji)时，缺(que)乏(fa)与真實(shi)世(shi)界的連(lian)接(jie)。例(li)如(ru)，在法(fa)律(lv)政(zheng)策(ce)解(jie)讀(du)、電(dian)商(shang)客(ke)服(fu)、投资研(yan)報(bao)等专业領(ling)域(yu)中，由于大型模型缺乏足(zu)够的专业领域数据，用户在使(shi)用过程(cheng)中經(jing)常(chang)會(hui)感(gan)覺(jiao)大模型在一本(ben)正经地“胡(hu)说八(ba)道(dao)”。

大模型有Token的限(xian)制(zhi)，記(ji)憶(yi)能力(li)有限。大家之所以驚(jing)艷(yan)于ChatGPT流畅絲(si)滑(hua)的对话能力，有很大一部(bu)分原(yuan)因(yin)是其支(zhi)持(chi)多(duo)轮对话。用户提問(wen)时，ChatGPT不但(dan)能理(li)解意(yi)图，而且還(hai)能够基于之前的问答(da)做(zuo)綜(zong)合推理。然而，大模型由于Token的限制，只(zhi)能记忆部分的上下文。比(bi)如ChatGPT 3.5只能记忆4096个Token，无法实现長(chang)期(qi)记忆。

用户对于数据安(an)全的擔(dan)憂(you)。大模型的出现讓(rang)AI成为一種(zhong)普(pu)惠(hui)技术，人人都可以基于大模型構(gou)建AI的应用。AI技术本身(shen)不再(zai)是商业壁(bi)壘(lei)，数据才(cai)是。而企业要想(xiang)利(li)用大模型构建商业，必須(xu)将自(zi)己(ji)的数据全部輸(shu)送(song)給(gei)大模型，以进行推理和(he)表(biao)达。如何(he)在数据安全可控(kong)的情(qing)況(kuang)下使用大模型技术，成为一个亟(ji)待(dai)解決(jue)的问題(ti)。

使用大模型的成本问题。目前有兩(liang)种模式(shi)可以使用大模型，一是将大模型本地化，用于再訓(xun)練(lian)形(xing)成企业专有的模型。二(er)是利用公有雲(yun)模型，按(an)照(zhao)請(qing)求(qiu)的Token数量付(fu)費(fei)。第(di)一种方式成本极高，大模型由于有数千(qian)亿的模型參(can)数，光(guang)部署(shu)计算(suan)资源的投资就(jiu)得(de)上亿。重(zhong)新训练一次(ci)模型也(ye)需(xu)要近(jin)千萬(wan)的投入(ru)，非(fei)常燒(shao)錢(qian)。这对于一般(ban)的中小(xiao)企业是完(wan)全无法承(cheng)受(shou)的。第二种方式企业构建的AI应用可以按照Token数量付费，雖(sui)然无需一次性的大额投入，但成本依(yi)然不低(di)。以OpenAI为例，如果(guo)对通(tong)用模型进行微(wei)調(tiao)（Fine-tuning)後(hou)，每(mei)使用1000个token（約(yue)600漢(han)字(zi)）需要0.12美金(jin)。

企业級(ji)解决方案(an)

针对上述(shu)问题，目前主(zhu)要有三个解决方案：

第一是将大模型部署到企业本地，结合企业私(si)有数据进行训练，打(da)造(zao)垂(chui)直(zhi)领域专有模型。

第二是在大模型基础上进行参数微调，改(gai)變(bian)部分参数，让其能够掌(zhang)握(wo)深度的企业知(zhi)識(shi)。

第三种是围繞(rao)向量数据庫(ku)打造企业的知识库，基于大模型和企业知识库再配(pei)合Prompt打造企业专屬(shu)AI应用。

從(cong)实用性和经濟(ji)性的角(jiao)度考(kao)慮(lv)，第三种是最(zui)为有效的解决方案。該(gai)方案大致(zhi)实现方式如下所示。

企业首(shou)先(xian)基于私有数据构建一个知识库。通过数据管(guan)道将来自数据库、SaaS软件或(huo)者(zhe)云服務(wu)中的数据实时同(tong)步(bu)到向量数据库中，形成自己的知识库。

在这个过程中需要调用大模型的Embedding接口(kou)，将语料(liao)进行向量化，然后存(cun)儲(chu)到向量数据库。當(dang)用户与企业AI应用对话时，AI应用首先会将用户的问题在企业知识库中做语義(yi)檢(jian)索(suo)，然后将检索的相关答案和问题以及配合一定(ding)的prompt一并发给大模型，獲(huo)得最終(zhong)的答案之后回復(fu)给用户。

该方案有如下優(you)勢(shi)：

充(chong)分利用大模型和企业优势：既(ji)可以充分利用企业已有知识，又(you)可以利用大模型強(qiang)大的表达和推理能力，二者完美融合。

使AI应用具(ju)备长期记忆：Token的限制使大模型只能有短(duan)暫(zan)的记忆，无法将企业所有知识全部记住(zhu)。利用外(wai)置(zhi)的知识库，可以将企业擁(yong)有的海(hai)量数据资產(chan)全部整(zheng)合，幫(bang)助企业AI应用构建长期记忆。

企业数据相对安全可控：企业可以在本地构建自己的知识库，避(bi)免(mian)核(he)心数据资产外泄(xie)。

落地成本低：通过该方案落地AI应用，企业不需要投入大量资源建設(she)自己的本地大模型，帮助企业節(jie)省(sheng)动輒(zhe)千万的训练费用。

大模型中间件

企业要落地该知识库方案仍然有一些具体问题需要解决，总结下来主要涉(she)及三个方面。

第一方面是知识库的构建。企业需要将存在现有系(xi)统中的语料匯(hui)总到向量数据库，形成企业自有的知识空(kong)间，这个过程涉及数据采(cai)集(ji)、清(qing)洗(xi)、轉(zhuan)換(huan)和Embedding等工作。语料来源比较多樣(yang)，可能是一些PDF、CSV等文檔(dang)，也可能需要接入企业现有业务系统涉及比如Mongodb、ElasticSearch等数据库，或者来自抖(dou)音(yin)、Shopify、Twitter等第三方应用。在完成数据的获取(qu)后，通常需要对数据进行过濾(lv)或者转化。这个过程中，从数据源实时地获取数据非常重要，比如电商機(ji)器(qi)人需要实时了解用户下單(dan)的情况，政策解读机器人需要了解最新政策信(xin)息(xi)。另(ling)外，对于数据Embedding的过程中涉及到数据的切(qie)塊(kuai)，数据切块的大小会直接影(ying)響(xiang)到后面语义搜(sou)索的效果，这个工作也需要非常专业的NLP工程師(shi)才能做好(hao)。

其次是AI应用的集成。AI应用需要服务的用户可能存在于微信、飛(fei)書(shu)、Slack或者企业自有的业务系统。如何将AI应用与第三方SaaS软件进行无縫(feng)集成，直接决定用户的体验和效果。

第三是数据安全性的问题。这个方案沒(mei)有完全解决数据安全性的问题，虽然企业的知识库存储在本地，但是由于企业数据向量化的过程中需要调用公有云大模型Embedding接口。这个过程需要将企业数据切块之后发送给大模型，一样有数据安全的隱(yin)患(huan)。

对于上述大模型落地问题的解决，大模型中间件是其中的关鍵(jian)。

什么是大模型中间件？大模型中间件是位(wei)于AI应用与大模型之间的中间層(ceng)基础软件，它主要解决大模型落地过程中数据集成、应用集成、知识库与大模型融合等问题。

下图给出了企业AI应用的典(dian)型软件架(jia)构，一共(gong)分为大语言模型、向量数据库、大模型中间件以及AI应用四层。

大语言模型为AI应用提供基础的语义理解、推理、计算能力，向量数据库主要提供企业知识的存储和语义搜索。而大模型中间件解决大模型落地的最后一公裏(li)，提供语料的实时采集、数据清洗、过滤、embedding。同时，为上层应用提供訪(fang)问大模型与知识库的入口，提供大模型与知识库的融合、应用部署、应用執(zhi)行。

常見(jian)的大模型中间件

自去(qu)年ChatGPT发布以来，短短几个月内就湧(yong)现出了不少(shao)新的大模型中间件項(xiang)目。例如，面向AI应用的編(bian)程框(kuang)架Langchain在GitHub上短短几个月内收(shou)获了超过4万个Star。Langchain旨(zhi)在簡(jian)化开发者基于大型语言模型构建AI应用的过程。它为开发者提供了多模型访问、Prompt的封(feng)裝(zhuang)、多数据源加(jia)載(zai)等多种接口，让开发者构建AI应用更简单。Llamaindex是另一个备受关注的开源项目，它目標(biao)是为大型模型提供统一的接口来访问外部数据。比如Llamaindex的Routing为开发者语义检索、基于事(shi)实混(hun)合查(zha)找(zhao)、访问总结数据可以提供统一索引。Vanus AI 是一个无代(dai)碼(ma)构建AI应用的中间件，用户通过Vanus AI可以分钟级构建出生产可用的AI应用。它同时提供了实时知识库构建、AI应用集成、大模型插(cha)件等能力。Fixie是一家初(chu)创公司，近期剛(gang)刚融资1200万美金，该公司的目标是构建、部署和管理大型模型代理平(ping)台，以更好地响应用户的意图。

对近期项目进行了梳(shu)理，形成下图的AI Stack。企业的私有业务数据通过 Embedding組(zu)件转化成向量后可以存储到Milvus、Pinecone等向量数据库中。目前通过Llamaindex、Vanus Connect可以批(pi)量获取PDF、CSV等文件并Embedding并存储到向量数据库中。AirOps、Vanus AI等AI Ops平台可以连接大模型和企业知识库帮助用户一站(zhan)式构建AI的应用。如果AI应用需要连接第三方的应用执行操(cao)作可以通过Fixie或者Zapier等提供了插件。

总结

本文围绕大模型在企业落地所面临的挑战展(zhan)开，提出了大模型中间件的概(gai)念(nian)。大模型中间件是基于AI应用与大模型之间的中间层基础软件，它可以打通企业AI应用落地的最后一公里，是构建AI应用的必备软件。本文提出了企业AI应用软件的典型架构，并指(zhi)出了大模型中间件在AI软件中的定位以及核心作用。最后，文章介(jie)紹(shao)了目前较为流行的大模型中间件，并闡(chan)述了不同的大模型中间件在落地应用过程中具体作用。

参考文獻(xian)：

1. Augmented language models：?返(fan)回搜狐(hu)，查看(kan)更多

責(ze)任(ren)编輯(ji)：