使用OpenAI嵌入的向量搜索：Lucene就是你需要的
摘要：使用Lucene在流行的MS MARCO段落排名测试集上，我们提供了一种可重现的端到端的向量搜索演示，使用OpenAI嵌入。我们的工作的主要目标是挑战传统观点，即为了利用近期在深度神经网络中应用于搜索方面的最新进展，需要一个专门的向量存储库。相反，我们展示了Lucene中的分层可导航小世界网络（HNSW）索引足以在标准的双编码器架构中提供向量搜索功能。这表明，从简单的成本效益分析来看，似乎没有充分的理由将专门的向量存储引入到现代“AI堆栈”中进行搜索，因为这些应用已经在现有的广泛部署基础设施中得到了大量的投资。
作者：Jimmy Lin, Ronak Pradeep, Tommaso Teofili, Jasper Xian
论文ID：2308.14963
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-08-30