摘要

本文介绍了一种名为Poetry2Image的迭代校正框架，用于从中国古典诗歌生成图像。该框架解决了文本到图像生成模型在处理中国古典诗歌时经常出现的元素缺失或语义混淆问题。通过利用外部诗歌数据集和大型语言模型（LLM），Poetry2Image建立了一个自动反馈和校正循环，显著提高了诗歌与图像之间的对齐度。实验结果显示，该方法在元素完整性和语义正确性方面均有显著提升，不仅促进了古代诗歌文化的传播，也为类似非微调方法增强LLM生成提供了参考。

原理

Poetry2Image框架的核心在于其迭代校正机制。首先，通过外部诗歌数据集检索输入诗歌的翻译和赏析，然后生成初始图像。接着，LLM提取器从诗歌中提取关键元素，这些元素与初始图像一起输入到开放词汇检测器（Open Vocabulary Detector, OVD）中，以获取图像中元素的信息。基于这些信息，LLM建议器提供修改建议，这些建议以图像中的框选形式呈现。图像编辑模型根据这些建议对初始图像进行编辑。整个过程会迭代多次，直到诗歌与图像的语义对齐度达到满意为止。这种方法的先进性在于其闭环生成过程，能够不断精炼初始图像，且无需额外的训练成本。

流程

Poetry2Image的工作流程如下：

1. 数据检索：从诗歌数据库中检索输入诗歌的翻译和赏析。
2. 初始图像生成：使用翻译生成初始图像。
3. 关键元素提取：LLM提取器从诗歌中提取关键元素。
4. 元素检测：OVD对初始图像中的元素进行检测。
5. 修改建议：LLM建议器根据检测结果提供修改建议。
6. 图像编辑：图像编辑模型根据建议对图像进行修改。
7. 迭代校正：重复步骤4至6，直到图像与诗歌的语义对齐度达到满意。

例如，对于诗歌“黄沙百战穿金甲，不破楼兰终不还”，初始图像可能缺少“金甲”和“楼兰”等关键元素。通过迭代校正，最终图像将包含这些元素，更准确地反映诗歌的意境。

应用

Poetry2Image框架不仅适用于中国古典诗歌的图像生成，还具有广泛的应用前景。它可以扩展到其他语言的诗歌生成，甚至可以应用于需要复杂语义对齐的文本到图像生成任务。此外，该方法为非微调方法增强LLM生成提供了新的思路，有助于推动文本到图像生成技术的发展。