摘要

本文介绍了一种名为FabGPT的高效大型多模态模型，专门用于集成电路（IC）制造中的复杂晶圆缺陷知识查询。FabGPT利用大型多模态模型（LMMs）的能力，通过扫描电子显微镜（SEM）图像进行缺陷检测、根本原因分析以及提供专家级的问题解答。该模型通过增强的多模态特征自动检测复杂背景下的微小缺陷，并通过调制模块和交互式语料库训练策略，有效地平衡了缺陷知识查询与原始知识，缓解了模态偏差问题。实验结果显示，FabGPT在晶圆缺陷检测和知识查询方面取得了显著的性能提升。

原理

FabGPT的工作原理基于三个主要阶段：模态增强、检测和问答阶段。在模态增强阶段，模型通过预测模块（PM）和两个增强分支来突出相关的缺陷特征并最小化无关特征的影响。检测阶段通过自主学习每个像素的特定阈值来生成像素级掩码，从而实现精确的缺陷检测。问答阶段通过调制模块来提高视觉指令的质量，并通过交互式语料库训练策略来平衡新旧知识的更新，从而有效缓解模态偏差问题。

流程

FabGPT的工作流程包括以下步骤：首先，通过光学字符识别（OCR）技术从查询图像中提取文本标记。然后，将图像、文本标记和标签集编码为初始向量。接着，通过预测模块（PM）预测缺陷类别，并将其用于生成增强的向量。在检测阶段，这些向量被送入检测头以生成监督检测掩码。在问答阶段，调制模块将增强的多模态特征对齐，并通过交互式语料库训练策略来更新指令系数，确保模型能够准确响应用户查询。

应用

FabGPT的应用前景广阔，特别适用于半导体行业的缺陷检测和分析。它可以提高生产效率，减少人工检测的主观性和错误率，从而提升产品质量和可靠性。此外，FabGPT的技术还可以扩展到其他需要复杂图像分析和知识查询的领域，如医疗影像分析、工业自动化等。