當(dāng)下，大模型的火熱已成為行業(yè)共識(shí)，從時(shí)間線(xiàn)上看，2022年12月大模型實(shí)現(xiàn)破圈爆火，2023年3月，因NVIDIA CEO 黃仁勛在NVIDIA GTC Keynote 中首次提及向量數(shù)據(jù)庫(kù)，強(qiáng)調(diào)其在構(gòu)建專(zhuān)有大型語(yǔ)言模型的組織中的重要性，行業(yè)內(nèi)部人士逐漸意識(shí)到，向量數(shù)據(jù)庫(kù)可以支持大模型進(jìn)行信息召回，彌補(bǔ)大模型長(zhǎng)期沒(méi)有記憶等問(wèn)題，拓寬大模型邊界。

近日，騰訊云發(fā)布AI 原生（AI Native）向量數(shù)據(jù)庫(kù)Tencent Cloud VectorDB。該數(shù)據(jù)庫(kù)能夠被廣泛應(yīng)用于大模型的訓(xùn)練、推理和知識(shí)庫(kù)補(bǔ)充等場(chǎng)景，是國(guó)內(nèi)首個(gè)從接入層、計(jì)算層、到存儲(chǔ)層提供全生命周期AI化的向量數(shù)據(jù)庫(kù)。自2019年開(kāi)始在內(nèi)部PCG業(yè)務(wù)團(tuán)隊(duì)進(jìn)行孵化，目前已應(yīng)用在了騰訊視頻、QQ瀏覽器、QQ音樂(lè)等多款產(chǎn)品中。

(資料圖片)

何為向量？機(jī)器學(xué)習(xí)與數(shù)據(jù)科學(xué)中，向量代表一組數(shù)字，構(gòu)成多維數(shù)值空間。向量的每個(gè)維度代表該空間的一個(gè)不同的特征或?qū)傩?，如文本中每個(gè)詞的出現(xiàn)頻率等。通過(guò)對(duì)向量進(jìn)行數(shù)學(xué)運(yùn)算，可以實(shí)現(xiàn)各種機(jī)器學(xué)習(xí)算法和數(shù)據(jù)分析技術(shù)。單就數(shù)據(jù)而言，只有向量化之后的數(shù)據(jù)才能被AI模型所分析。向量數(shù)據(jù)庫(kù)是一種專(zhuān)門(mén)用于存儲(chǔ)和管理向量數(shù)據(jù)的數(shù)據(jù)庫(kù)。

行業(yè)內(nèi)將大模型稱(chēng)為“大腦”，向量數(shù)據(jù)庫(kù)則是其“海馬體”。騰訊云數(shù)據(jù)庫(kù)副總經(jīng)理羅云表示，團(tuán)隊(duì)內(nèi)部有一個(gè)共識(shí)——如果你看好AI，你就可以看好向量數(shù)據(jù)庫(kù)。因?yàn)樵贏I市場(chǎng)中，大模型有兩大限制——一個(gè)是時(shí)間上，一個(gè)是空間上。前者因客戶(hù)希望使用最新數(shù)據(jù)進(jìn)行訓(xùn)練，后者系客戶(hù)不愿將私域數(shù)據(jù)放在公開(kāi)場(chǎng)合進(jìn)行大模型訓(xùn)練。而這兩方面問(wèn)題，向量數(shù)據(jù)庫(kù)都可以解決。

相對(duì)于大模型的高調(diào)火熱，向量數(shù)據(jù)庫(kù)更多在靜悄悄地發(fā)生迭代。近一個(gè)月內(nèi)，向量數(shù)據(jù)庫(kù)迎來(lái)融資潮，Qdrant、Chroma、Weaviate先后獲得融資，Pinecone宣布1億美元B輪融資，估值達(dá)到7.5億美元。東北證券預(yù)測(cè)，到2030年，全球向量數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模有望達(dá)到500億美元，國(guó)內(nèi)向量數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模有望超600億人民幣。

羅云透露，目前每天不止一到兩位客戶(hù)會(huì)前來(lái)咨詢(xún)向量數(shù)據(jù)庫(kù)什么時(shí)候能夠給他們使用。整體來(lái)講大家對(duì)向量數(shù)據(jù)庫(kù)的關(guān)注度、對(duì)它需求的迫切度都很高。

但需注意的是，從技術(shù)與行業(yè)層面，向量數(shù)據(jù)庫(kù)仍面臨幾方面的挑戰(zhàn)。其一是向量化數(shù)據(jù)有著高昂的計(jì)算成本，尋求存儲(chǔ)成本替代是必要的。該部分成本主要來(lái)自數(shù)據(jù)預(yù)處理、特征提取和向量化表示的生成，涉及大量復(fù)雜數(shù)學(xué)運(yùn)算，消耗大量的計(jì)算資源和時(shí)間。

對(duì)此，羅云對(duì)第一財(cái)經(jīng)記者表示，數(shù)據(jù)庫(kù)主要解決低成本存儲(chǔ)數(shù)據(jù)與高效檢索數(shù)據(jù)的問(wèn)題，向量數(shù)據(jù)庫(kù)也一樣。目前主要在檢索層面成本非常高昂，業(yè)界目前有幾種解決方案，其一是在算法層面進(jìn)行優(yōu)化，其二是通過(guò)云上資源調(diào)度體系，用更合適的資源對(duì)底層算力成本做更好的補(bǔ)充。

但成本層面，短期內(nèi)，羅云判斷不會(huì)發(fā)生數(shù)量級(jí)的差異，更多會(huì)發(fā)生在應(yīng)用性方面，推動(dòng)數(shù)據(jù)庫(kù)與云資源體系結(jié)合，讓產(chǎn)品更穩(wěn)定，實(shí)現(xiàn)單價(jià)成本有20%~30%的提升。

第二方面的挑戰(zhàn)是平臺(tái)產(chǎn)品與開(kāi)源社區(qū)之間的關(guān)系。向量化技術(shù)并非新鮮事物，目前已十分成熟，并存在大量開(kāi)源解決方案，在不同的領(lǐng)域也存在不同的向量化方案，如目前存在Zilliz等做開(kāi)源向量數(shù)據(jù)庫(kù)的公司。

對(duì)于大平臺(tái)與開(kāi)源社區(qū)之間的關(guān)系，羅云對(duì)第一財(cái)經(jīng)記者表示，目前國(guó)內(nèi)外在云計(jì)算領(lǐng)域的發(fā)展階段不同，國(guó)內(nèi)場(chǎng)景更多的企業(yè)對(duì)公有云持有觀望態(tài)度，這樣的背景下，更多客戶(hù)對(duì)數(shù)據(jù)類(lèi)產(chǎn)品相對(duì)謹(jǐn)慎，因此公有云廠(chǎng)商提供的數(shù)據(jù)服務(wù)相對(duì)而言更有競(jìng)爭(zhēng)力。

廣發(fā)證券計(jì)算機(jī)團(tuán)隊(duì)表示，在過(guò)去AI模型訓(xùn)練數(shù)據(jù)量較小、數(shù)據(jù)類(lèi)型單一的情況下，向量數(shù)據(jù)庫(kù)可應(yīng)用的場(chǎng)景較小。自2017年Transformer模型推出后，各科技廠(chǎng)商開(kāi)始大語(yǔ)言模型的探索，對(duì)于向量數(shù)據(jù)庫(kù)的需求開(kāi)始形成規(guī)模。但向量數(shù)據(jù)庫(kù)適于AI大模型非結(jié)構(gòu)化場(chǎng)景，市場(chǎng)需求尚處于初期，中遠(yuǎn)期規(guī)模還不到夸張之時(shí)。