向量检索怎么选索引faiss 三大家族速度-召回实测曲线RAG 应用搭到一半发现检索又慢又不准问题大概率出在索引选型。本文用 faiss 把三种核心索引精确/IVF 倒排/HNSW 图的速度-召回权衡一次测清五组实验全部真实运行。一、基线暴力检索有多强10 万向量×64 维numpy 矩阵乘直接算 Top-100.5 秒处理 200 个查询2000 万对比/秒。结论一10 万以下规模直接暴力检索毫秒级精确结果不需要任何近似索引——很多项目 premature optimization 就是从一上来就建 HNSW 开始的。二、精确索引对齐验证IndexFlatIP内积索引与暴力法 Top-10 重合率100%。这里有个必做前置向量归一化后内积就等于余弦相似度——RAG 场景的正确姿势。三、IVF 倒排召回是花钱买的IVF 先把向量聚成 nlist 个簇查询时只扫 nprobe 个最近的簇。实测曲线10 万向量nprobe1 召回只有 5.3%快但不可用nprobe32 召回 58.3%查询时间也只从 2ms 涨到 5ms。召回是拿查询时间买的而且这条买卖曲线的斜率由你的数据分布决定。四、HNSW 图同延迟下的高召回之王M32、efSearch64召回 74.5%、查询 6ms。同样 5ms 级延迟IVF 只有 58%——但 HNSW 内存占用与建库时间都更高。内存够、要高召回选 HNSW内存紧、可接受 60~75% 召回选 IVF。五、百万向量压测IVF 1024/nprobe16 配置下100 万×64 维建库含训练6.1 秒、200 查询32ms、向量内存 244MB。百万级以内单机 faiss 毫无压力。一个诚实标注随机数据没有簇结构召回偏低是预期行为真实 embedding 有语义聚类IVF/HNSW 召回会显著高于本基准——但选型结论不变。五组实验完整代码与 results.txt 见下方资源包。 向量检索怎么选索引：faiss 三大家族速度-召回实测曲线
向量检索怎么选索引faiss 三大家族速度-召回实测曲线RAG 应用搭到一半发现检索又慢又不准问题大概率出在索引选型。本文用 faiss 把三种核心索引精确/IVF 倒排/HNSW 图的速度-召回权衡一次测清五组实验全部真实运行。一、基线暴力检索有多强10 万向量×64 维numpy 矩阵乘直接算 Top-100.5 秒处理 200 个查询2000 万对比/秒。结论一10 万以下规模直接暴力检索毫秒级精确结果不需要任何近似索引——很多项目 premature optimization 就是从一上来就建 HNSW 开始的。二、精确索引对齐验证IndexFlatIP内积索引与暴力法 Top-10 重合率100%。这里有个必做前置向量归一化后内积就等于余弦相似度——RAG 场景的正确姿势。三、IVF 倒排召回是花钱买的IVF 先把向量聚成 nlist 个簇查询时只扫 nprobe 个最近的簇。实测曲线10 万向量nprobe1 召回只有 5.3%快但不可用nprobe32 召回 58.3%查询时间也只从 2ms 涨到 5ms。召回是拿查询时间买的而且这条买卖曲线的斜率由你的数据分布决定。四、HNSW 图同延迟下的高召回之王M32、efSearch64召回 74.5%、查询 6ms。同样 5ms 级延迟IVF 只有 58%——但 HNSW 内存占用与建库时间都更高。内存够、要高召回选 HNSW内存紧、可接受 60~75% 召回选 IVF。五、百万向量压测IVF 1024/nprobe16 配置下100 万×64 维建库含训练6.1 秒、200 查询32ms、向量内存 244MB。百万级以内单机 faiss 毫无压力。一个诚实标注随机数据没有簇结构召回偏低是预期行为真实 embedding 有语义聚类IVF/HNSW 召回会显著高于本基准——但选型结论不变。五组实验完整代码与 results.txt 见下方资源包。