自大模型火爆以来，向量数据库这一曾经沉寂多年的领域再次受到企业和资本市场的高度关注。据公开数据显示，自2023年4月以来，以向量数据库为代表的AI投资领域呈现出增长趋势。多家向量数据库初创企业如Pinecone、Chroma和Weviate等都成功获得了上亿级美元的融资。

为了帮助企业应对数据局限问题，更好地将大模型能力释放到行业和产业中，腾讯云在国内云厂商中走在前列。今年7月，腾讯云正式上线了向量数据库Tencent Cloud VectorDB，并在11月1日全量开放公测。这体现了腾讯云在大模型时代下的视角：大模型技术的创新只是第一步，如向量数据库这类数据存储、检索、分析等基础设施的搭建也同等重要。腾讯云不仅提供直接的大模型服务，更重要的是向企业提供有效的平台工具。

市面上不乏好用的向量数据库产品，那么腾讯云相比于其他厂商的产品有什么不同之处呢？首先在架构上，腾讯云采用了AI原生的开发架构，从接入层、计算层、存储层提供全面AI化的解决方案，形成一套完整的端到端、一站式服务技术栈。这使得不同阶段、不同需求的用户都能在腾讯云向量数据库中找到对应可用的AI能力。

大模型落地后，向量数据库能做什么呢？腾讯云提供了全面AI化解决方案。在接入层上，腾讯云向量数据库支持自然语言文本的数据，采用“标量+向量”的查询方式，可支持全内存索引；在计算层，AI原生的开发范式能实现全量数据AI计算，一站解决企业搭建私域知识库时数据切分等难题。这些能力不仅可以让交互更自然，同时在计算结果、效率、成本等方面也能得到进一步优化。

对于百川智能的工程师们来说，向量数据库带来最直观的改变是数据分片、导入导出等工作效率得到了极大的提升。面对每天约2亿的数据量，以往使用的单线程序处理速度有限，但加入了向量数据库后，加上百川智能所使用的RAG框架，可以有效解决私有数据、实时数据的问题。同时，在数据齐备的情况下，还能消除部分由数据带来的幻觉问题。数据显示，将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗，相比传统方式可以实现10倍效率的提升。如果将向量数据库作为外部知识库用于模型推理，则可以将成本降低2-4个数量级。以前企业将现有数据接入一个大模型需要花费大约1个月的时间，使用腾讯云向量数据库后，最短只需3天时间即可完成，极大降低了企业的接入成本。

其次，腾讯云向量数据库集成了Embedding功能，使企业用户无需关注向量生成过程，使用起来更加简单。与腾讯云合作之前，好未来曾使用过一些小型的基于内存的向量数据库。虽然这些产品也具备语义结合的能力，但在性能和维护方面使用效果不佳。而在腾讯云向量数据库上，通过语音召回加语义Embedding功能，这种采用语义结合进行检索的方式提升了模型能力。召回内容更多、内容更精准、召回速度更快等等，从而提供更好的用户体验。例如，同样是搜索题库中的“第一单元”，文本召回必须准确地提供“第一单元”这一提示词。但借助向量数据库的相似性检索，语义检索就可以将“Unit1”等近似语义的内容也进行召回。

第三，腾讯云自研分布式向量数据库核心引擎使得服务更稳定可靠、高可用。据了解，腾讯云向量数据库所用的核心引擎是其于2019年内部上线使用的Olama。经过4年的探索和迭代，Olama实现了大规模升级，包括集成了腾讯在内的业界优秀的向量算法、降低Olama成本、提升稳定性等等。这使得Olama更好地适配大语言模型应用。截至今年7月份，Olama已覆盖腾讯30多个业务、100多个场景，日均调用量超过1200亿次，调用成功率为100%，搜索成功率为99.995%。

可以看到，面对企业在大模型落地中的普遍难题，腾讯云向量数据库力图在每个环节提供便捷、有效的解决方案。它突破了数据的局限，加速了大模型+向量数据库的使用，以解决企业实实在在的痛点和难题。

AI大模型的数据之“困”，向量数据库解困有“道”