摘要

本文由Pranshav Gajjar和Vijay K. Shah撰写，来自乔治梅森大学的NextG无线实验室，提出了一种名为ORAN-Bench-13K的新型开源基准，旨在评估大型语言模型（LLMs）在开放无线接入网络（O-RAN）中的性能。该基准包含13,952个精心设计的多项选择题，源自116份O-RAN规范文档。论文还介绍了ORANSight，一种基于检索增强生成（RAG）的管道，其在ORAN-Bench-13K上的表现优于其他封闭源模型。研究结果表明，当前流行的LLM模型在O-RAN领域并不擅长，强调了开发专用模型的必要性。

原理

ORAN-Bench-13K的工作原理基于一个创新的三阶段LLM框架。首先，通过将O-RAN规范文档分割成小块，利用LLM生成相关的多项选择题。接着，另一个LLM作为验证器，评估生成的题目是否符合规范内容。最后，通过分类器LLM将题目按难度分类为简单、中等和困难。ORANSight则采用RAG框架，通过生成文档块的嵌入向量，利用FAISS数据库进行快速相似性搜索，从而在用户查询时提供相关文档块，增强Mistral-7B模型的预测能力。

流程

论文详细描述了ORAN-Bench-13K的生成流程。首先，将O-RAN规范文档分割成1536字符大小的小块，每个块之间有256字符的重叠，以保持语义连续性。然后，生成器LLM根据这些小块生成多项选择题，验证器LLM确保题目与原文一致性。分类器LLM进一步将题目按难度分类，最终形成包含1139个简单题、9570个中等题和3243个困难题的基准。ORANSight的工作流程则涉及嵌入生成、FAISS数据库构建和Mistral-7B模型的推理阶段，确保在用户查询时能够快速检索并提供相关信息。

应用

ORAN-Bench-13K和ORANSight的应用前景广阔。ORAN-Bench-13K可用于评估和改进LLMs在O-RAN领域的性能，而ORANSight则有望成为O-RAN规范的辅助工具，帮助工程师和研究人员快速理解和应用复杂的规范文档。此外，这些工具还有助于推动O-RAN技术的普及和标准化，促进无线通信领域的创新和发展。