【2016】广告过滤大师-优雅无广告上网

zhichikuaijiesousuo，zaizhelidequanbulongzhongkuaixunzhizhongkeyishiyongsousuogongnengxunzhao；、gezhonggeyangdeyouzhizhuantikeyisuishiliulan，zhaodaozijiganxingqudezhuantijikeguanzhu。yujia：shoushensuxing，neiguanmingxiang，yunqianbaoyang，chanhouxiufu，tishengshenghuopinzhishushimingzishengaokaozhiyuantianbaozhuanjia，duigaokaoluqufenshuxianjinxingjingqueyuce。chanpinduoyuanhuayizhanshigoumaiETF、wolun、niuxiongzheng、jieneizhengdeng；賽(sai)道(dao)Hyper | 騰(teng)訊(xun)雲(yun)的(de)AGI基(ji)建(jian)：用(yong)向(xiang)量(liang)數(shu)據(ju)庫(ku)助(zhu)推(tui)LLM

自(zi)ChatGPT爆(bao)火(huo)，國(guo)內(nei)頭(tou)部(bu)平(ping)臺(tai)型(xing)公(gong)司(si)壹(yi)擁(yong)而(er)上(shang)，先(xian)後(hou)發(fa)布(bu)AGI或(huo)垂(chui)類(lei)LLM，但(dan)鮮(xian)有(you)大(da)模(mo)型基礎(chu)設(she)施(shi)，比(bi)如(ru)向量数据库。

7月(yue)4日(ri)，腾讯云彌(mi)補(bu)了(le)這(zhe)一不(bu)足(zu)，推出(chu)能(neng)被(bei)廣(guang)泛(fan)應(ying)用於(yu)大模型訓(xun)練(lian)、推理(li)和(he)知(zhi)識(shi)库补充(chong)等(deng)場(chang)景(jing)的腾讯云向量数据库Tencent Cloud VectorDB，这是(shi)国内首(shou)個(ge)從(cong)接(jie)入(ru)層(ceng)、計(ji)算(suan)层、到(dao)存(cun)儲(chu)层提(ti)供(gong)全(quan)生(sheng)命(ming)周(zhou)期(qi)AI化(hua)的向量数据库。

什(shen)麽(me)是向量数据库？腾讯的目(mu)的是什么？對(dui)B端(duan)应用方(fang)，这有什么好(hao)處(chu)？

国内首个全生命周期VectorDB

ChatGPT讓(rang)LLM成(cheng)為(wei)AI赛道焦(jiao)點(dian)，向量数据库也(ye)由(you)此(ci)成为熱(re)門(men)話(hua)題(ti)。向量数据库就(jiu)可(ke)为LLM插(cha)上一个廉(lian)價(jia)但有效(xiao)的“外(wai)接大腦(nao)”。

这话怎(zen)么說(shuo)？

首先，向量通(tong)常(chang)用于在(zai)多(duo)維(wei)空(kong)間(jian)中(zhong)表(biao)示(shi)数据值(zhi)/点的位(wei)置(zhi)、特(te)征(zheng)或屬(shu)性(xing)；而向量数据是一種(zhong)数學(xue)表達(da)，即(ji)用一組(zu)有序(xu)的数值（通常是浮(fu)点数），表达一个对象(xiang)或数据值/点。

舉(ju)个例(li)子(zi)，在计算機(ji)視(shi)覺(jiao)中，可以(yi)通過(guo)数值（即像(xiang)素(su)值）表达圖(tu)像，这组数值構(gou)成一个向量。每(mei)个数值对应图像某(mou)个像素的顏(yan)色(se)強(qiang)度(du)。比如，一幅(fu)8x8的灰(hui)度图像，即一个包(bao)含(han)了64个数值的向量。

其(qi)次(ci)，向量並(bing)非(fei)專(zhuan)用于AGI，一開(kai)始(shi)被用于推薦(jian)类AI。由于向量能被用于在多维空间中的数据点的特性，因(yin)此被用于推荐类AI的个性化推荐。在推荐系(xi)統(tong)中，無(wu)論(lun)是用戶(hu)，還(hai)是物(wu)品(pin)，都(dou)能用向量表示。

比如，某个用户对服(fu)飾(shi)颜色、款(kuan)式(shi)、材(cai)質(zhi)、用途(tu)等有个性化偏(pian)好，这些(xie)偏好可用数值向量概(gai)括(kuo)。通过计算用户向量與(yu)物品向量之(zhi)间的相(xiang)似(si)度，實(shi)現(xian)个性化推荐。

在AI世(shi)界(jie)中，向量被用于表达物理世界的萬(wan)物，而LLM的興(xing)起(qi)，对向量数据的存储和计算需(xu)求(qiu)，得(de)以大規(gui)模釋(shi)放(fang)。

在2022年(nian)12月前(qian)，向量在各(ge)种AI推荐系统中已(yi)經(jing)得到深(shen)度应用。正(zheng)因为如此，向量数据才(cai)會(hui)散(san)落(luo)在数量龐(pang)大的推荐系统文(wen)件(jian)中，沒(mei)有形(xing)成专门的向量数据库。

向量数据結(jie)构雖(sui)然(ran)較(jiao)为簡(jian)單(dan)，但因为应用场景極(ji)多，比如机器(qi)视觉、文本(ben)和图像处理、神(shen)经網(wang)絡(luo)、自然語(yu)言(yan)处理等多模型AGI領(ling)域(yu)，故(gu)算法(fa)也相应种类繁(fan)多。

在多系统中調(tiao)取(qu)/檢(jian)索(suo)向量数据，耗(hao)費(fei)的GPU和CPU資(zi)源(yuan)量級(ji)极为庞大，因而成本高(gao)而效率(lv)低(di)下(xia)。腾讯云数据库副(fu)總(zong)经理羅(luo)云说，“當(dang)我(wo)們(men)使(shi)用向量数据库Workload（工(gong)作(zuo)量）越(yue)來(lai)越大，插件式数据库就会面(mian)臨(lin)挑(tiao)戰(zhan)。”

从2019年开始，有些通用/插件数据库，就开始增(zeng)加(jia)对向量数据库的支(zhi)持(chi)，比如ElasticSearch、Redis和PostgreSQL。

腾讯云此次发布的向量数据库，最(zui)早(zao)也是始于2019年。那(na)会兒(er)腾讯云推出一个叫(jiao)做(zuo)“OLAMA”的分(fen)布式向量数据库存储技(ji)術(shu)引(yin)擎(qing)，成为腾讯云向量数据库底(di)座(zuo)之一。OLAMA目前可支持十(shi)億(yi)级別(bie)的单行(xing)向量数据索引、查(zha)詢(xun) QPS达到百(bai)万、響(xiang)应延(yan)遲(chi)为20毫(hao)秒(miao)。

从2019年开始，腾讯云持續(xu)地(di)豐(feng)富(fu)OLAMA引擎的AI能力(li)，比如添(tian)加了好幾(ji)种向量索引算法，像Embedding算法和Segment算法，还包括NLP（自然语言）检索能力等等。

向量数据算法的作用是什么？

简单地说，怎么能更(geng)快(kuai)速(su)、更準(zhun)確(que)、更低成本和更低時(shi)延找(zhao)到向量，以及(ji)如此找到那些更相似的向量，这是向量数据算法的目的，也是此次腾讯推出的向量数据库改(gai)進(jin)算法能力的體(ti)现。

腾讯PCG大数据平台部搜(sou)索推荐Senior Tech Lead鄭(zheng)偉(wei)说，“除(chu)了快速高效低时延，腾讯云向量数据库另(ling)外一項(xiang)大的改进，就是在做到低成本的同(tong)时，OLAMA引擎的穩(wen)定(ding)性还得到了大幅提升(sheng)。”

第(di)三(san)，在应用性方面，腾讯云向量数据库做了大量改进，“怎樣(yang)能更自動(dong)化、更智(zhi)能地对外提供服務(wu)。”郑伟说，“在大模型出来后，怎么样能更好地貼(tie)合(he)大模型做更多擴(kuo)展(zhan)，比如用户只(zhi)要(yao)敲(qiao)敲鍵(jian)盤(pan)，就能通过用我们的向量数据库，得到各种賬(zhang)单、各种数据和各种報(bao)表等。”

降(jiang)本增效，提供記(ji)憶(yi)能力

腾讯云推出专業(ye)向量数据库，源自需求端的强力推动。

据罗云透(tou)露(lu)，“基本上每天(tian)不止(zhi)1-2客(ke)户前来咨(zi)询向量数据库什么时候(hou)能給(gei)他(ta)们使用。”

向量数据库有三个階(jie)段(duan)需求：第一个阶段，类型必(bi)須(xu)是向量数据库。罗云说，由于腾讯云从2019年就开始持续叠(die)代(dai)向量数据库存检引擎，到现在，这步(bu)已直(zhi)接跨(kua)越；第二(er)个阶段，要解(jie)決(jue)成本問(wen)题。比如单QPS（每秒查询推理响应速度：Query Per Second）成本，需求方一次查询需要花(hua)多少(shao)錢(qian)。

第三个阶段，就是B端用向量数据库的易(yi)用性，这需要腾讯云具(ju)有丰富的行业的AI应用经驗(yan)。向量数据库，用于向量提供存储和检索，需求方要把(ba)非结构化数据（如一段文本變(bian)成向量），要把文本分段，分段之后要找到合理模型做Embedding（向量）。

在ML（机器学習(xi)）和NLP中，Embedding是一个N维的实值向量，几乎(hu)可用于表达/描(miao)述(shu)任(ren)何(he)形式，如文本、聲(sheng)音(yin)或视頻(pin)等。实值的Embedding能描述单詞(ci)语義(yi)，主(zhu)要是因为Embedding向量能根(gen)据单词在语言上下文（Context）中出现的形式达成学习。

腾讯云向量数据库已在QQ瀏(liu)覽(lan)器、腾讯视频、腾讯遊(you)戲(xi)、QQ音樂(le)、搜狗(gou)輸(shu)入法等30+业务场景中得到应用。当前，腾讯云團(tuan)隊(dui)还处于滿(man)足需求的第三个阶段，重(zhong)点是“圍(wei)繞(rao)AI化提升產(chan)品整(zheng)体的应用性”，罗云说。

为什么LLM要用到向量搜索技术？

如果(guo)给定一个对象，在一个集(ji)合中找到与之最相似的对象的过程(cheng)，就是向量搜索。文本或图片(pian)等内容(rong)，都能通过將(jiang)其轉(zhuan)換(huan)为向量的表示方式，进而将文本或图片的相似度问题转换为向量的相似度问题。

这裏(li)有个问题，就是LLM场景模型的上下文有个長(chang)度限(xian)制(zhi)。比如，ChatGPT 3.5上下文长度限制是4k tokens。超(chao)出Context长度，ChatGPT就会“失(shi)忆”，影(ying)响交(jiao)互(hu)结果（或稱(cheng)Context Learning）的准确性。

但是，向量搜索拥有的能力之一，就是将超出上下文长度限制的文本劃(hua)分成较短(duan)的组（Chunks），再(zai)将不同的组转换为Embedding。这就相当于向量搜索拥有记忆能力。LLM用向量数据库，就类似于有了一个外部大脑。通过Embedding，能找到与提示（Prompt）最相關(guan)的信(xin)息(xi)。

从这个角(jiao)度上说，向量数据库承(cheng)擔(dan)了LLM的Context Learning的记忆任务，从而提高了GPT的交互准确性。

此外，由于基于以Transform架(jia)构为基础的LLM的AI训练耗时长，成本高，因此就很(hen)難(nan)将最新(xin)的素材（数据）加入LLM，这被称为LLM的时效限制。若(ruo)終(zhong)端用户又(you)急(ji)需LLM数据做即时更新，这时向量数据库的作用就很顯(xian)著(zhu)。

LLM的空间限制也很明(ming)显，比如B端用户的私(si)域数据，不方便(bian)提供给LLM训练平台做高频集训。这时，B端用户就能将私域数据放在向量数据库中，需要推理时，就临时取调给LLM。这样做的好处是数据安(an)全，而且(qie)训练效率高、成本低。

为什么能实现这一点？

因为向量数据库专门用于存储和查询向量数据，业界称之为大模型的“海(hai)馬(ma)体”。

腾讯云向量数据库最高支持10亿级向量检索规模，延迟控(kong)制在毫秒级，相比傳(chuan)统单机插件式数据库检索规模提升10倍(bei)，同时具備(bei)百万级每秒查询（QPS）的峰(feng)值能力。

将腾讯云向量数据库用于大模型預(yu)训练数据的分类、去(qu)重和清(qing)洗(xi)相比传统方式，能提升10倍效率。如将向量数据库作为外部知识库用于模型推理，則(ze)可降低2-4个数量级的成本。返(fan)回(hui)搜狐(hu)，查看(kan)更多

責(ze)任編(bian)輯(ji)：