什么是向量数据库？

在向量数据库中，Embedding 是指将非结构化数据（如文本、图像、音频等）通过大模型转换为稠密向量，并映射到低维空间的过程。生成的向量表示了数据的特征或语义信息，而这些向量在高维空间中的分布展示了它们所代表的数据之间的相似性和内在关系。Embedding 使得我们能够通过计算向量之间的相似度，进行数据检索、聚类和相似性搜索等操作。

向量检索算法主要用于在大规模向量数据集中高效地寻找与查询相似的向量。在实际应用中，需要根据具体场景进行算法的选择和参数的调优。选择哪种算法取决于向量数据集的特征、数据量和查询需求，以及对搜索准确性和速度的要求。几大常用的向量检索算法如下：

• KD-Tree：KD-Tree 是一种多维空间划分的数据结构，通过递归地选择轴（例如 X 轴、Y 轴等）来分割空间，将数据点划分到不同的区域，实现高效的最近邻搜索。它适用于低维数据的快速查询，但随着维度的增加，性能会急剧下降，导致“维度灾难”问题。
• VP-Tree：VP-Tree 是一种基于距离度量的空间索引结构，通过选择一个数据点作为“视点”，然后根据该点与其他点的距离将数据点分组，递归地构建子树，以支持高效的最近邻和范围查询。VP-Tree 在处理高维空间时通常比 KD-Tree 更有效，特别是在数据分布不均匀的情况下。
• LSH：LSH（局部敏感哈希）是一种基于哈希的概率性数据结构，通过设计特殊的哈希函数，使得相似度高的数据点有较高的概率映射到相同的哈希值，而相似度低的数据点则几乎不可能映射到相同的哈希值。LSH 适用于高维数据的近似最近邻查找，特别适合大规模数据集，但它是近似搜索，可能无法保证 100% 准确性。

相似度测量是通过特定的数学公式来量化两个向量之间的相似性或差异性，常用的测量方式有欧氏距离、余弦相似度和点积相似度等。这些测量方式能够捕捉向量在多维空间中的相对位置和方向，从而为相似性搜索提供依据。

向量数据库可辅助大模型在训练阶段快速处理海量数据，包括数据分类、去重和清洗等。这就像为大模型整理好所有的信息，让它能更快速地学习，从而降低训练成本、提高效率。

向量数据库通过不断引入新的数据，帮助大模型实时更新知识，避免停留在过时的预训练信息中。这不仅让大模型能更好地处理新问题，还能有效减少“幻觉”现象的出现，使其输出内容更加准确和可信。

向量数据库为私有数据与大模型之间提供安全连接，让企业能够在确保数据隐私的前提下，将私有数据注入大模型中，从而打造更加适合企业自身业务需求的定制化大模型能力。

riskCanvas 通过与 Amazon OpenSearch Serverless 的向量引擎直接集成，加速金融犯罪调查分析。

Academia 应用 Amazon OpenSearch Service 提升学术论文推荐精准度，达成用户点击率提高 20%。

Intuit 基于 Amazon OpenSearch Service 构建了高效的向量数据存储与管理系统，提升财务管理、合规性等金融服务质量。