广东体育直播：全方位覆盖体育盛事

zuogongjiao：shaohuaqianshaozoulukuaisudaoda？duozhongluxianxuanze；yixietiyanxiangyouhua，yuedu、hudonggengshuangkuaiyutaobao、tianmao、jingdonghepinduoduodengzhimingdianshanghezuo，daeyouhuiquantiantianling，lingquanxiadan，dizhi1zhe。yingshilei：guanggaopianpeiyin、yingshipianpeiyin、donghuahouqipeiyin。yujiaoshihudong：fabuxinxihetupianhejiaoshijishiliaotianChatGPT訪(fang)問(wen)驟(zhou)降(jiang)，國(guo)產(chan)大(da)模(mo)型(xing)彎(wan)道(dao)超(chao)車(che)機(ji)會(hui)來(lai)了(le)？2萬(wan)星(xing)GitHub項(xiang)目(mu)亮(liang)劍(jian)，国內(nei)产品(pin)7月(yue)上(shang)線(xian)

新(xin)智(zhi)元(yuan)報(bao)道

編(bian)輯(ji)：编辑部(bu)

【新智元導(dao)讀(du)】ChatGPT的(de)访问量(liang)忽(hu)然(ran)爆(bao)冷(leng)，也(ye)給(gei)大模型熱(re)澆(jiao)了壹(yi)盆(pen)冷水(shui)。冷靜(jing)之(zhi)余(yu)，大家(jia)開(kai)始(shi)審(shen)視(shi)大模型的商(shang)業(ye)化(hua)落(luo)地(di)效(xiao)果(guo)。而(er)向(xiang)量數(shu)據(ju)庫(ku)，给大模型應(ying)用(yong)的變(bian)革(ge)指(zhi)了一條(tiao)明(ming)路(lu)。

火(huo)了整(zheng)整大半(ban)年(nian)、大模型領(ling)域(yu)最(zui)炙(zhi)手(shou)可(ke)热的當(dang)紅(hong)炸(zha)子(zi)雞(ji)，居(ju)然也遇(yu)冷了？

最近(jin)，整個(ge)科(ke)技(ji)圈(quan)都(dou)被(bei)這(zhe)个新聞(wen)刷(shua)屏(ping)了——ChatGPT访问量「骤降」。

根(gen)据第(di)三(san)方(fang)監(jian)測(ce)机構(gou)SimilarWeb的最新数据，ChatGPT飆(biao)升(sheng)了数个月的流(liu)量增(zeng)長(chang)，從(cong)4月开始就(jiu)呈(cheng)現(xian)出(chu)了明顯(xian)放(fang)緩(huan)的趨(qu)勢(shi)。

而就在(zai)剛(gang)刚過(guo)去(qu)的6月，ChatGPT的全(quan)球(qiu)流量出现了首(shou)次(ci)下(xia)降——相(xiang)較(jiao)於(yu)5月減(jian)少(shao)了9.7%。

不(bu)僅(jin)如(ru)此(ci)，访问ChatGPT的獨(du)立(li)用戶(hu)也下降了5.7%，用户在網(wang)站(zhan)上花(hua)費(fei)的時(shi)間(jian)則(ze)下降了8.5%。

自(zi)ChatGPT發(fa)布(bu)之後(hou)，OpenAI在全世(shi)界(jie)攪(jiao)動(dong)起(qi)了一股(gu)大模型的热潮(chao)。国内大廠(chang)都紛(fen)纷ALL IN大模型，創(chuang)投(tou)圈拿(na)著(zhe)資(zi)金(jin)到(dao)處(chu)找(zhao)项目，「寧(ning)可錯(cuo)投一千(qian)也不放过一个」，受(shou)ChatGPT鼓(gu)舞(wu)的初(chu)创公(gong)司(si)更(geng)是(shi)如雨(yu)后春(chun)筍(sun)般(ban)不斷(duan)冒(mao)出来。

根据統(tong)計(ji)，现在国内已(yi)經(jing)发布了70多(duo)个大模型，正(zheng)是势如破(po)竹(zhu)、万箭(jian)齊(qi)发之際(ji)，ChatGPT卻(que)忽然「漲(zhang)不动了」？

其(qi)實(shi)，数据的背(bei)后，是一次业界焦(jiao)點(dian)的大轉(zhuan)移(yi)：人(ren)們(men)已经从對(dui)AIGC大模型技術(shu)的狂(kuang)热，转移到了对商业化落地效果的冷静审视。

大模型应用的变革，就在前(qian)方

生(sheng)产力(li)工(gong)具(ju)是目前大模型落地的重(zhong)要(yao)方向。但(dan)面(mian)向垂(chui)域应用，仅依(yi)靠(kao)大模型自身(shen)的訓(xun)練(lian)数据集(ji)做(zuo)支(zhi)撐(cheng)，難(nan)以(yi)達(da)到生产可用的效果。

圍(wei)繞(rao)这一问題(ti)，也形(xing)成(cheng)了兩(liang)大流派(pai)，傳(chuan)统流派將(jiang)垂域/私(si)域内容(rong)補(bu)充(chong)至(zhi)训练集，即(ji)單(dan)模型架(jia)构；新興(xing)流派引(yin)入(ru)向量数据库為(wei)大模型提(ti)供(gong)长短(duan)期(qi)記(ji)憶(yi)，集成领域知(zhi)識(shi)库，即ChatGPT + VectorDB + Prompt（CVP）架构。

CVP架构的兴起，也讓(rang)向量数据库这个新的数据库品類(lei)站上了風(feng)口(kou)浪(lang)尖(jian)。

如今(jin)，全球最火的开源(yuan)向量数据库项目Milvus在Github的標(biao)星已经突(tu)破2万，官(guan)方显示(shi)，目前Milvus已经擁(yong)有(you)超过1000+中(zhong)大型企(qi)业用户。

作(zuo)为Milvus的原(yuan)厂，Zilliz已经完(wan)成1.13億(yi)美(mei)元融(rong)资，並(bing)全面啟(qi)动了商业化步(bu)伐(fa)，为大模型落地提供向量数据库全棧(zhan)产品與(yu)服(fu)務(wu)。

向量数据库会帶(dai)来哪(na)些(xie)大模型应用变革呢(ne)？新智元聯(lian)系(xi)到了Zilliz合(he)夥(huo)人兼(jian)产品負(fu)責(ze)人郭(guo)人通(tong)博(bo)士(shi)，并就此展(zhan)开了探(tan)討(tao)。

郭人通博士表(biao)示，相比(bi)单模型架构，CVP架构在靈(ling)活(huo)性(xing)、可擴(kuo)展性、实时性、成本(ben)四(si)个維(wei)度(du)都有明显優(you)势。

最關(guan)鍵(jian)的原因(yin)是，在CVP架构中，领域知识可以以数据入库的形式(shi)進(jin)行(xing)更新，而非(fei)重新训练或(huo)微(wei)調(tiao)模型。

目前，国内大模型的綜(zong)合能(neng)力与GPT-4還(hai)有代(dai)差(cha)，但现在已经走(zou)到了产业落地的早(zao)期，业界真(zhen)正关心(xin)的，是业务效果。

CVP架构中，哪怕(pa)仅使(shi)用GPT3.5或一些頭(tou)部开源模型，其端(duan)到端效果也明显优于GPT-4。

在这个框(kuang)架下，除(chu)了要拼(pin)模型能力，更要拼知识库的构建(jian)能力、模型与知识库的集成水平(ping)，这也为国产化大模型提供了一次在落地階(jie)段(duan)弯道超车的机会。

在不更改(gai)原意(yi)的基(ji)礎(chu)上，我(wo)们对郭人通博士的交(jiao)流内容进行了梳(shu)理(li)，希(xi)望(wang)能为大家带来一些思(si)考(kao)或实踐(jian)上的幫(bang)助(zhu)。

ChatGPT is NOT all you need

提问：向量数据库对很(hen)多用户和(he)开发者(zhe)还是一个比较新的概(gai)念(nian)，能否(fou)講(jiang)一下向量数据库与传统数据库的关键差異(yi)？

郭人通：传统数据库应用中，需(xu)要把(ba)业务側(ce)的数据結(jie)构化成数值(zhi)、字(zi)符(fu)串(chuan)，但目前业务侧沈(chen)澱(dian)下来的数据超过八(ba)成是非结构化的，例(li)如长文(wen)本、圖(tu)片(pian)、视頻(pin)、音(yin)频、社(she)交关系等(deng)。

我们要应用这些「新」数据，主(zhu)要手段是通过深(shen)度神(shen)经网絡(luo)对这些数据进行「理解(jie)」，把語(yu)義(yi)信(xin)息(xi)编碼(ma)成向量。

向量数据库是以向量为核(he)心数据类型的新型数据库系统，支持(chi)大規(gui)模向量数据的存(cun)儲(chu)、分(fen)析(xi)、查(zha)詢(xun)任(ren)务，同(tong)时兼顧(gu)面向数值、字符串的混(hun)合查询分析能力。

围绕向量化的数据表示，向量数据库提供了一套(tao)统一的非结构化数据应用技术，使我们的数据应用不再(zai)局(ju)限(xian)于数值和字符串所(suo)能表达的语义範(fan)围。

提问：为什(shen)麽(me)CVP架构相比单模型架构有更強(qiang)的落地优势？

郭人通：目前有两个流派，传统流派希望模型具有端到端的能力，并将业务相关的数据补充至训练数据集。

这在小(xiao)模型时代成本还可以接(jie)受，但在大模型时代，想(xiang)找到一種(zhong)途(tu)徑(jing)将垂域、私域、或实时知识更新到模型參(can)数中，同时成本可控(kong)，是相当困(kun)难的。

基于这些考慮(lv)，领先(xian)的大模型厂商，如OpenAI和Google Bard等，纷纷選(xuan)擇(ze)了数据库为大模型提供长短期记忆的CVP技术路线。

在CVP架构中，我们通过向量数据库为大模型补充一个外(wai)部记忆體(ti)。

其中，C作为運(yun)算(suan)单元，提供邏(luo)辑分析和自然语言(yan)对接的能力，V作为存储单元，提供穩(wen)定(ding)準(zhun)確(que)、高(gao)容量、高可扩展的知识，P在前两者的基础上，提供面向具体业务的適(shi)配(pei)能力。

这和我们人腦(nao)工作模式比较类似(si)，我们不会去試(shi)图记忆所有知识，書(shu)本作为知识載(zai)体比记忆更可靠，同时人脑以查询书面知识的方式完成任务。

提问：目前向量数据库在大模型时代有哪些典(dian)型的应用場(chang)景(jing)？

郭人通：早期看(kan)最有潛(qian)力的是生产力工具这个方向，B端和C端都有不少实际的场景：

文本创作。

这是直(zhi)接关联的一类应用，典型场景包(bao)括(kuo)：文书生成，社交媒(mei)体UGC，SEO廣(guang)告(gao)，遊(you)戲(xi)任务劇(ju)本创作等。

所有这些场景都需要在垂类細(xi)分中追(zhui)求(qiu)差异化优势，同时业务中積(ji)累(lei)的内容也可以直接转化为知识库層(ceng)面的资产。

聊(liao)天(tian)机器(qi)人。

可以确定，ChatGPT为代表的LLM一定会徹(che)底(di)革新现有的聊天机器人系统。典型场景包括：客(ke)服，虛(xu)擬(ni)人，个人助手，游戏NPC等。

在CVP框架下构建的聊天机器人不再需要樹(shu)狀(zhuang)问题分类规则，而是最自然的问答(da)形式。

比较典型的是客服系统，人工客服的问答会持續(xu)的向知识库积累，最終(zhong)机器人的能力会向所有客服能力總(zong)和的位(wei)置(zhi)收(shou)斂(lian)。

搜(sou)索(suo)引擎(qing)。

这个方向的沖(chong)擊(ji)毋(wu)庸(yong)置疑(yi)，微軟(ruan)通过一套組(zu)合拳(quan)已经向谷(gu)歌(ge)发起挑(tiao)戰(zhan)。除了大型搜索引擎，传统的文檔(dang)搜索也会进行一次升級(ji)。

基于关键字匹(pi)配的搜索会升级至以语义匹配为基础，同时兼顾图文等多模態(tai)檢(jian)索能力。这也是Milvus与ElasticSearch的典型賦(fu)能差异。

專(zhuan)业领域。

这个方向的工具主要解決(jue)专业领域菜(cai)鳥(niao)速(su)成老(lao)鸟，以及(ji)老鸟生产力翻(fan)倍(bei)的问题。包括法(fa)律(lv)政(zheng)策(ce)、知识产權(quan)保(bao)護(hu)、保險(xian)、金融投资、醫(yi)療(liao)、教(jiao)育(yu)等。

相比上述(shu)幾(ji)类场景，这类场景更加(jia)低(di)频，且(qie)更加需要精(jing)准可靠的专业知识加持。否则就会出现前些日(ri)子美国律師(shi)使用ChatGPT，导致(zhi)引用杜(du)撰(zhuan)的案(an)件(jian)等问题。

提问：CVP框架下的实践工作目前处于什么阶段？对国内大模型落地的机会如何(he)？

郭人通：我关註(zhu)到的类似的探索活动最早在去年6月份(fen)就有了，主要是在學(xue)术界。

目前工业界的实践还在很早期的阶段，OpenAI的动作是从今年3月份才(cai)开始的，提供了一套插(cha)件机制(zhi)集成外部知识。

在应用方面，现在的CVP主要以单輪(lun)知识召(zhao)回(hui)为主，很类似传统推(tui)薦(jian)系统，差异点在于末(mo)尾(wei)加了大模型的能力做内容总结。

关于效果，我们團(tuan)隊(dui)在近期推出的OSSChat项目（一个面向开源社區(qu)的文档知识库）中进行过实践論(lun)證(zheng)。

由(you)CVP框架加成的GPT-3.5端到端应用效果可以輕(qing)松(song)击敗(bai)GPT-4单模型能力。这意味(wei)着，应用开发者可以在CVP框架中探索两个关键问题的答案：

如何解决国产大模型与GPT-4的代差问题。

如何使用小成本模型或多模型混合降低数据应用的综合成本。

业界真正关心的是业务效果。在这个框架下，除了要拼模型能力，更要拼知识库的构建能力、模型与知识库的集成水平，这也为国产化大模型提供了一次在落地阶段弯道超车的机会。

多阶段赋能应用落地

提问：Zilliz作为Milvus的原厂，同时提供了开源和商业化解决方案，可以簡(jian)单介(jie)紹(shao)一下两者定位的差异嗎(ma)？

郭人通：Zilliz向开发者与用户提供了开源与雲(yun)服务多重解决方案，全面覆(fu)蓋(gai)不同场景的需求。

从AIGC个人应用开发到大型企业向量数据平臺(tai)，从国内业务到跨(kua)境(jing)业务，从成本优先到性能优先，Zilliz都提供了最专业的解决方案。

Milvus支持三种部署(shu)规模：

MilvusLite面向本地原型快(kuai)速构建，pip install一键安(an)裝(zhuang)，算法工程(cheng)师友(you)好(hao)；

Milvus Standalone面向单物(wu)理机服务部署，维护便(bian)捷(jie)，适合小规模服务；

Milvus Cluster面向大规模集群(qun)部署，适合大型企业用户在私有環(huan)境构建向量数据搜索平台。

相比开源方案，云服务提供了多重关键能力：

云服务采(cai)用商业版(ban)引擎，性能超越(yue)开源版3倍以上。同等的高QPS场景，所需硬(ying)件成本降至开源方案的1/3到1/5。

99.9%高可用，稳定支持10亿及以上规模向量数据。

软硬件高度适配，提供性能型、容量型、经濟(ji)型三类实例类型，滿(man)足(zu)不同维度的业务需求。

AutoIndex智能索引，面向负载与数据分布自动化性能调优，进一步提升性能一倍以上，免(mian)去手工系统调优之苦(ku)。

Zilliz Cloud面向AIGC个人开发者或小型团队量身打(da)造(zao)了Starter Plan。

Zilliz关注到，AIGC开发者数量已经到达千万量级。

为了支撑AIGC应用在孵(fu)化期对于快速驗(yan)证、快速叠(die)代的需求，Zilliz为每(mei)位用户提供一个免费的Serverless实例，服务开箱(xiang)即用，可支持百(bai)万向量规模的知识库检索。上手門(men)檻(kan)与成本甚(shen)至低于MilvusLite。

Zilliz Cloud同樣(yang)提供PaaS服务，适合注重数据隱(yin)私、数据安全与合规的企业。用户可以在其虚拟私有云（VPC）上部署全托(tuo)管(guan)的Zilliz Cloud向量数据库服务。

提问：目前有大量的用户在使用开源的Milvus系统，大家可能比较关心的问题是，在Zilliz商业化阶段，Milvus的开源路线是否会有变化？

郭人通：「好的系统和产品不是設(she)计出来的，而是用出来的。」是Zilliz在开发产品过程中一以貫(guan)之的最重要的原则。我对这条原则的解釋(shi)是「与开发者接觸(chu)面积最大化」。

Milvus堅(jian)定的走开源路线，是該(gai)原则的重要实践。5年的时间，Zilliz团队与几千家企业用户，上万名(ming)开发者建立了深度的联系。

憑(ping)借(jie)来自眾(zhong)多行业社区用户的广泛(fan)反(fan)饋(kui)，Milvus已成为全球迭代速度最快、最成熟(shu)的的开源向量数据库系统。

在商业化产品中，Zilliz Cloud为每一位用户提供免费的Serverless实例，可稳定支持百万量级向量数据。根据我们对用户数据的统计，该容量可支撑超过90%的早期用户需求。

Zilliz团队在商业化路线中贯穿(chuan)「与开发者接触面积最大化」、「社区共(gong)建最快速产品迭代」这一理念。

对于一个数据库系统的演(yan)进旅(lv)程，5年尚(shang)早，Zilliz还将繼(ji)续和社区一道，进行向量数据库技术与产品领域的前沿(yan)探索，不断刷新最佳(jia)实践。

提问：在CVP框架中，向量数据库与大模型是互(hu)生的关系，在C-V两侧生态对接方面有什么动作吗？

郭人通：为了进一步降低应用构建成本，提供标准化组件，Zilliz已与全球头部大模型生态完成了C-V间对接。

2023年3月，Zilliz作为OpenAI首批(pi)向量数据库合作伙伴(ban)，完成了Milvus与Zilliz Cloud插件化集成，作为官方推荐的向量数据库插件提供给广大应用开发者。

此外，Zilliz还与LangChain、Cohere、LlamaIndex、Auto-GPT、BabyAGI等热门项目进行了深度集成。与国产大模型的对接工作正在进行中，預(yu)期会在近一个月开放。

量身定制的AIGC特(te)性支持

提问：Zilliz Cloud近期发布了2.0版本，同时Milvus发布了2.3版本，在这些最近的版本中，有哪些面向AIGC应用的新特性？

郭人通：Zilliz Cloud在近期的重要版本更新中，添(tian)加了一系列(lie)面向AIGC应用构建的关键特性。涵(han)盖数据的灵活表示、面向ToC业务用户粒(li)度知识库的支持、更高效的混合查询与过濾(lv)等。

动态schema。

此前，向量数据库采用静态schema的方式，需要开发者在建表时根据业务定义数据的schema。这对于大型企业的成熟业务是一种常(chang)見(jian)的方式。

然而，当下AIGC应用多处于早期快速迭代阶段，面向业务效果，需要频繁(fan)调整向量数据库内的字段，对于这类需求，反復(fu)重建schema结构以及频繁的数据重导入会嚴(yan)重影(ying)響(xiang)产品的迭代速度。

因此，Zilliz Cloud引入动态schema的能力，支持用户根据迭代需要，动态灵活的进行字段插入。

Partition Key。

Partition Key特性是原有Milvus partition功(gong)能的升级，逻辑partition的数量不再受到限制。在业务层面，目前大量 AIGC 应用是ToC的，因此一些业务需要为每一个用户建立一个独立的知识库（例如问答歷(li)史(shi)）。

在先前的方案中，需要为每个用户建立独立的向量数据库表以及索引，成本上基本無(wu)法满足要求。在新的方案中，用户可以将所有用户数据放置于同一張(zhang)表，并为每个用户赋予(yu)不同的Partition Key，在表内实现用户分桶(tong)隔(ge)離(li)。相比单独建表方案，综合成本可下降两到三个数量级。

除了这类场景，用户还可以通过Partition Key实现数据按(an)时间区间或类別(bie)分组，并在此基础上有效降低数据的查询范围，实现高效的查询与过滤。

JSON类型的支持。

JSON是目前最流行且最灵活的数据表示方式之一。

目前，Zilliz团队将半个Mongo的能力搬(ban)进了向量数据库，用户在Zilliz Cloud可以将JSON与embedding这两种超强能力相结合，实现基于JSON与embedding向量的混合数据表示以及复雜(za)的业务逻辑。

提问：在接下来的版本中，会有哪些相关的重磅(bang)特性发布？

郭人通：在接下来的版本更新中，Zilliz Cloud会大幅(fu)增强向量表示与混合查询能力：

稀(xi)疏(shu)向量。

目前，Milvus与Zilliz Cloud仅支持稠(chou)密(mi)向量表示，接下来会支持稀疏向量。稀疏向量可以更直接的表示离散(san)化特征(zheng)分量，并支持在具体特征集合上的向量化分析与查询。

这对于传统ML的应用，或传统ML与深度学習(xi)相结合的应用至关重要。

多向量混合查询。

对于同一对象(xiang)具有多模态，或同模态多角(jiao)度描(miao)述的数据应用来讲，需要对同一对象构建多个向量进行语义描述。多向量混合查询能力可以在同时面向多个模态或多个角度对应的向量进行分析查询，从而提升业务效果。

向量数组。

这类向量化数据表示主要面向序(xu)列数据，如音频、视频、长文本。通常需要对这些数据进行分片处理，如每一秒(miao)采集一个关键幀(zhen)獲(huo)得(de)embedding向量，或从文本的一个分片获得embedding向量。

每一条序列数据都对应的表示为一个有序的（或 bag of vectors）向量数组。数据的分析与查询同样在数组这个粒度进行，因此可以在业务中更好的引入序列数据的整体语义。

国内的服务覆盖计劃(hua)

提问：Zilliz Cloud在国内会有产品发布计划吗？

郭人通：目前国内AIGC大模型与应用发展的如火如荼(tu)，但遺(yi)憾(han)的是，目前仍(reng)然缺(que)乏(fa)专业的向数据库服务。用户要么需要基于开源方案自建，要么需要使用北(bei)美的云服务，两种方式都带来的较高的综合成本。

Zilliz Cloud云服务已覆盖AWS，GCP。从2023年7月开始，向量数据库服务会在国内公有云全面鋪(pu)开。

7月初即将发布的版本中，将支持阿(e)裏(li)云、百度云、騰(teng)訊(xun)云以及金山(shan)云。预期價(jia)格(ge)相比北美服务会有较大幅度的下调，致力于为国内用户提供具有最高专业度及最高性价比的全托管向量数据库服务。

Zilliz Cloud国内云服务目前已支持企业用户PoC申(shen)請(qing)（联系方式：business@zilliz.com）。

提问：目前国内CVP框架实践还都在早期，Zilliz团队有相应的用户支持计划吗？

郭人通：为了加速打磨(mo)业界最佳实践，我们即将启动「CVP 实践之星」 活动，Zilliz将联合国内头部大模型厂商一同甄(zhen)选应用场景， 由雙(shuang)方提供向量数据库与大模型頂(ding)级技术专家为用户赋能，一同打磨应用效果。

如果妳(ni)的应用也适合CVP框架，且正在为应用效果发愁(chou)，可直接申请参与活动。（联系方式：business@zilliz.com）。

参考资料(liao)：

https://zilliz.com/返(fan)回搜狐(hu)，查看更多

责任编辑：