摘要

本文探讨了大型语言模型（LLMs）在创意文本写作方面与世界级小说家相比的挑战。研究通过一场由著名小说家Patricio Pron和顶级LLM GPT-4参与的创意写作比赛，评估了LLMs在创意写作任务中的表现。结果显示，尽管LLMs在某些语言任务中表现出色，但在创意写作方面仍远未达到顶尖人类作家的水平。研究还探讨了提示（prompt）对生成文本创造性的影响，并发现由小说家提供的标题能显著提升GPT-4的写作质量。此外，研究还分析了LLMs在不同语言（英语和西班牙语）中的表现差异，并探讨了使用Boden的创造性框架评估AI生成文本的有效性。

原理

大型语言模型（LLMs）如GPT-4通过分析大量文本数据学习语言模式，从而生成连贯且符合语境的文本。这些模型使用深度学习技术，特别是变换器（Transformer）架构，来捕捉和生成文本中的复杂模式。尽管LLMs在模仿人类写作风格方面取得了显著进步，但它们在生成具有深度、原创性和情感深度的创意文本方面仍显不足。这是因为LLMs主要依赖于统计模式和预训练数据，而缺乏人类作家所具有的直觉、情感和创新思维。

流程

研究首先由Patricio Pron和GPT-4各自提供30个电影标题，随后双方根据这些标题创作短篇故事。评估过程包括设计一个基于Boden创造性定义的评估标准，并由文学批评家和学者进行5400次手动评估。评估标准涵盖了文本的吸引力、原创性和整体创造性等多个维度。通过这种双盲评估方法，研究团队能够客观地比较人类作家和AI在创意写作任务中的表现。

应用

尽管当前LLMs在创意写作方面尚未达到顶尖人类作家的水平，但它们在辅助写作、内容生成和创意启发等方面具有广泛的应用潜力。随着技术的进步和模型的优化，LLMs有望在未来的创意产业中扮演更加重要的角色，特别是在需要大量文本生成的领域，如广告、媒体和娱乐产业。此外，LLMs还可以作为创意写作教学和研究的工具，帮助学生和研究人员探索和理解创意写作的复杂性。