摘要

本文介绍了一种名为Igea的解码器专用语言模型，该模型专门设计用于意大利语的生物医学文本生成。Igea是基于Minerva模型开发的，通过在多样化的意大利医学文本语料库上进行持续预训练，提供了三种不同大小的模型（350 million、1 billion和3 billion参数），以平衡计算效率和性能。论文详细讨论了模型的开发、训练和评估过程，并强调了其在意大利生物医学自然语言处理（NLP）领域的先进性和应用前景。

原理

Igea模型的工作原理基于Transformer架构，特别是解码器部分，这种架构在自然语言处理任务中表现出色。通过持续预训练，Igea能够理解和生成复杂的意大利语生物医学文本。模型的训练数据包括从意大利网络资源、医学教科书和翻译的PubMed摘要中提取的医学文本，总计超过50亿词。这种多样化的数据集使模型能够掌握正式的科学词汇和非专业人士的医学信息表达方式。

流程

Igea的工作流程包括数据准备、模型训练和评估三个主要阶段。首先，从多种来源收集和整合训练数据，确保数据的多样性和代表性。接着，使用分布式多GPU设置进行模型训练，优化超参数以提高训练效率和模型性能。最后，通过内部和外部基准测试评估模型性能，确保模型在生物医学文本生成任务中的有效性。

应用

Igea模型的应用前景广阔，特别是在意大利语的生物医学文本处理和生成领域。它可以用于改善医疗文档的自动化处理，支持医学研究和临床决策，以及促进多语言生物医学NLP的发展。随着未来数据集和评估基准的进一步完善，Igea有望在更广泛的医疗和研究场景中发挥作用。