摘要

本文探讨了在图形用户界面（GUI）环境中，如何利用多模态人工智能系统优化视觉指令定位的图形用户界面代理。文章提出了一种名为Search Instruction Coordinates（SIC）的多模态解决方案，用于在GUI中进行对象识别。具体而言，SIC通过自然语言指令和GUI截图来定位屏幕上执行指令的组件坐标。为了实现这一目标，文章开发了两种方法：SICocr和SICdirect。SICocr是一种三步架构，结合了大型语言模型（LLM）和对象检测模型；而SICdirect则使用多模态基础模型，通过精细调整模型以适应GUI指令定位任务。这些方法旨在通过视觉数据使AI代理能够与GUI环境进行交互，从而自动化重复性任务，提高效率。

原理

SICocr方法通过三个步骤实现GUI指令定位：首先，使用YoloV8模型进行对象检测，并通过光学字符识别（OCR）模块读取屏幕上的文本，以识别每个组件的类型和角色；其次，利用OpenAI的GPT-4大型语言模型（LLM）从用户输入的自然语言指令中提取目标组件的信息；最后，通过LLM的提示工程，将前两步的结果进行匹配，确定目标组件的坐标。SICdirect方法则直接使用UNINEXT模型，这是一种通用实例感知模型，通过调整输入提示来发现和检索对象，从而实现GUI指令定位。这两种方法都利用了多模态数据处理技术，结合了视觉和语言信息，以提高定位的准确性和效率。

流程

SICocr的工作流程包括：1) 使用YoloV8模型列出GUI中的所有组件，并通过OCR模块识别每个组件的文本信息；2) 利用GPT-4 LLM从用户指令中提取目标组件的类型和角色；3) 通过LLM的提示工程，将目标组件的信息与GUI组件列表进行匹配，确定目标组件的坐标。SICdirect的工作流程则是：1) 生成统一的输入提示格式；2) 通过视觉编码器处理当前图像，并与提示嵌入进行特征融合；3) 利用Transformer架构生成实例提案，并根据提示实例匹配分数检索最终对象实例。这两种方法都展示了如何通过多模态数据处理技术，有效地实现GUI指令定位。

应用

这些方法的应用前景广泛，特别是在需要自动化复杂任务的数字设备上。例如，在企业或公共管理中，这些技术可以用于自动化重复性的GUI操作，提高工作效率。此外，这些方法还可以应用于智能家居控制、辅助技术设备等领域，通过理解和执行用户的视觉指令，提供更加智能和便捷的用户体验。随着技术的进一步发展和优化，预计这些多模态人工智能系统将在更多领域展现其潜力。