摘要

本文介绍了一种名为UQE的新型查询引擎，专门设计用于处理非结构化数据库。UQE通过利用大型语言模型（LLMs）的能力，直接从非结构化数据集合中提取洞察。该引擎接受一种名为通用查询语言（UQL）的查询，这是一种SQL方言，允许在指定条件和操作符时具有完全的自然语言灵活性。UQE不仅利用LLMs进行非结构化数据分析，还结合了采样和优化技术的进步，以实现高效和准确的查询执行。此外，UQE借鉴了经典编译器理论的技术，以更好地协调采样方法和基础模型调用之间的流程。实验证明，UQE在不同模态的数据分析中，包括图像、对话和评论，以及一系列有用的查询类型，如条件聚合、语义检索和抽象聚合，都表现出了效率和准确性。

原理

UQE的核心原理是利用LLMs的自然语言处理能力来理解和分析非结构化数据。通过设计一种新的查询语言UQL，UQE能够以自然语言的方式灵活地指定查询条件和操作符。在执行查询时，UQE采用统计上合理的采样技术来避免扫描整个数据库，同时开发了一个编译系统来确定操作的最佳执行顺序和组合，以最小化LLM调用次数并保持查询语义。这种结合了LLMs的灵活性和编译优化技术的方法，使得UQE能够在处理大规模非结构化数据时保持高效和准确。

流程

UQE的工作流程包括以下几个关键步骤：

1. 查询解析：接受用户输入的UQL查询，解析并转换为内部表示。
2. 优化计划生成：根据查询的类型（聚合或非聚合），生成最优的执行计划。
3. 数据采样：使用统计采样技术从数据库中选择代表性数据子集。
4. LLM调用：将采样数据传递给LLM进行处理，提取所需信息或执行分类。
5. 结果聚合：根据查询需求，对LLM处理后的结果进行聚合和整理。
6. 输出结果：将最终的查询结果返回给用户。

例如，在处理一个关于电影评论的情感分析查询时，UQE会首先解析查询，然后从大量评论中采样一部分，将这些样本传递给LLM进行情感分类，最后统计并返回正面评论的数量。

应用

UQE的应用前景广泛，特别适用于需要处理大量非结构化数据的场景，如社交媒体分析、客户服务对话挖掘、图像和视频内容理解等。随着LLMs技术的不断进步和非结构化数据量的持续增长，UQE有望成为数据分析领域的重要工具，帮助企业和研究机构从海量非结构化数据中提取有价值的信息和洞察。