摘要

本文介绍了一项名为“ElecBench”的创新评估基准，旨在为电力系统操作中的大型语言模型（LLM）提供全面、深入的性能评估。随着可再生能源集成和电力市场动态的复杂性增加，电力部门对技术创新的需求日益迫切。ElecBench通过提供覆盖特定行业场景的全面测试、深化专业知识测试以及提高决策精确度，解决了现有评估基准的不足。该框架将场景分为通用知识和专业业务，进一步细分为六个核心性能指标：事实性、逻辑性、稳定性、安全性、公平性和表达性，并细分为24个子指标，深入洞察LLM在电力部门应用的能力和局限性。ElecBench旨在成为电力部门LLM应用的标准基准，支持场景、指标和模型的持续更新，推动技术进步和应用。

原理

ElecBench的工作原理基于对LLM在电力系统操作中的应用进行全面评估。该基准通过六个主要指标（事实性、逻辑性、稳定性、安全性、公平性和表达性）及其24个子指标，对LLM的性能进行细致分析。这些指标涵盖了从基础的语言理解到复杂的专业问题解决能力，确保评估的全面性和深度。ElecBench通过公开测试集，对八种不同的LLM在各种场景和指标下的表现进行评估，从而提供了一个透明且可重复的评估平台。此外，ElecBench还通过模拟详细的运营场景及其子场景，准确评估LLM处理电力系统操作问题的能力，确保评估的全面性和深度。

流程

ElecBench的工作流程包括测试集的构建、模型评估和结果分析。首先，通过收集和分类现有考试和实际问题，构建涵盖多个学科和难度级别的测试集。然后，使用GPT-4等模型对这些数据进行初步分类，并通过人工审查确保分类的准确性。接下来，通过模拟软件生成电力系统场景，如经济调度、运行监控和黑启动程序，以测试LLM在实际操作场景中的能力。最后，通过算法分析、人工评估和LLM的集成，对LLM在不同场景下的表现进行评估，确保评估结果的科学性和实用性。

应用

ElecBench的应用前景广泛，不仅可用于评估和优化现有LLM在电力系统操作中的性能，还可作为未来LLM开发的基准。通过ElecBench的评估，可以更好地理解LLM在电力系统中的应用潜力和局限，推动LLM技术在电力工程领域的深入研究和实际应用。此外，ElecBench的公开测试集和评估方法也为学术界和工业界提供了一个共享的研究平台，促进智能电力系统的进一步发展。