摘要

本文介绍了一项关于连续近似最近邻搜索（AKNN）算法在动态数据摄取环境下的性能评估研究。传统的AKNN算法和基准测试主要关注静态数据集上的检索效果，而忽视了数据更新效率，这在处理持续数据流入时至关重要。为了解决这一问题，研究者引入了CANDY基准框架，该框架综合评估了多种AKNN算法，并集成了机器学习驱动的推理和改进的距离计算方法等高级优化技术。实验结果表明，简单的AKNN基线算法在召回率和延迟方面往往优于更复杂的算法，挑战了算法复杂度对于高性能的必要性的传统观念。此外，研究还强调了现有挑战并揭示了未来的研究机会。CANDY基准框架的代码和数据集已在GitHub上公开，以便于学术和工业界的进一步研究和应用。

原理

CANDY基准框架通过引入两种主要类型的AKNN算法分类（基于范围和基于导航），以及特定的适应性调整和优化技术，来评估算法在动态数据摄取环境下的性能。基于范围的AKNN算法通过预计算的数据分割来确定范围，而基于导航的AKNN算法则通过在数据集中建立导航链接来动态组装查询的子集。CANDY还集成了先进的数据处理策略，如数据丢弃和微批处理，以模拟真实世界的动态数据摄取。此外，CANDY利用机器学习优化和距离计算优化来提高AKNN算法的效率和准确性。

流程

CANDY的工作流程包括初始数据加载、连续数据摄取和查询处理。首先，在离线阶段加载初始数据集。然后，进入动态数据摄取阶段，数据以设定的速率持续流入，并进行微批处理。在查询处理阶段，CANDY评估不同AKNN算法在处理这些数据时的召回率和查询延迟。例如，在处理DPR数据集时，CANDY通过调整微批大小从200到50000，观察到不同AKNN算法在查询召回和延迟方面的性能变化。

应用

CANDY基准框架的应用前景广泛，特别是在需要实时数据处理和决策支持的领域，如信息检索、计算机视觉和自然语言处理。通过提供一个全面评估AKNN算法在动态数据环境下的性能的平台，CANDY有助于推动相关算法的发展和优化，从而提高各种AI应用的效率和准确性。