摘要

本文探讨了TrOCR架构在西班牙语中的迁移学习能力。TrOCR是一种基于transformer的光学字符识别（OCR）模型，以其卓越的英语基准性能而闻名。研究受Li等人的启发，他们认为TrOCR可以轻松适应多语言文本识别。本文研究了两种适应新语言的方法：将英语TrOCR编码器与特定语言解码器结合，并在特定语言上训练模型；以及在新的语言数据上微调英语基础TrOCR模型。由于公开可用数据集的稀缺性，本文提出了一种资源高效的管道，用于在任何语言中创建OCR数据集，并全面评估了所采用的不同图像生成方法，重点关注视觉丰富文档（VRDs）。此外，本文对西班牙语的两种方法进行了比较分析，证明在固定数据集大小下，微调英语TrOCR在西班牙语上产生了更优的识别效果。模型评估采用字符和单词错误率指标，并与公开可用的印刷数据集上的其他开源和云OCR西班牙模型进行性能比较。西班牙TrOCR模型已在HuggingFace上公开，生成数据集的代码在Github上可用。

原理

TrOCR模型采用transformer架构，结合了图像解释和文本生成的能力，从而实现更高效和准确的文本识别。其工作原理基于两个主要组件：图像transformer编码器和文本transformer解码器。编码器负责将图像中的视觉信息转换为序列数据，而解码器则根据这些序列数据生成文本。这种设计使得模型能够灵活地处理不同大小和初始化的架构，从而在理解和识别文本内容时表现出卓越的性能。此外，TrOCR的transformer设计允许模型在多语言环境中进行扩展，只需在解码器侧利用多语言预训练模型即可。

流程

本文的工作流程包括两个主要步骤：数据集生成和模型训练。首先，通过资源高效的管道生成特定语言的OCR数据集，该管道考虑了VRDs的特定特性，如字符间的框、水平和垂直线以及来自文本解码器传播错误的伪影。其次，采用两种方法训练模型：一种是基于英语预训练的TrOCR模型在西班牙语数据上进行微调；另一种是使用西班牙语文本解码器初始化TrOCR模型并在西班牙语数据上训练。模型训练过程中，使用了单个A100 80GB GPU，并采用了不同的批量大小和学习率。训练后的模型通过字符错误率（CER）和单词错误率（WER）进行评估，并与现有OCR解决方案进行比较。

应用

本文提出的西班牙语TrOCR模型具有广泛的应用前景，特别是在需要多语言支持的OCR系统中。由于其卓越的性能和灵活性，该模型可以应用于各种视觉丰富文档的处理，如扫描的收据、表格和其他多语言文档。此外，该模型的开源性质和高效的数据集生成管道为其他语言的OCR模型开发提供了可复制的框架，有望推动全球范围内OCR技术的进步和应用。