摘要

本文探讨了大型语言模型（LLMs）在集体创新中的应用，特别是在解决创新任务中的表现。研究通过让LLMs参与“Little Alchemy 2”游戏，分析了LLMs在孤立状态和群体中的表现，以及社会连接性对集体创新的影响。研究发现，动态连接的LLM群体在创新任务中表现优于完全连接的群体，这与先前的人类和计算研究一致。此外，LLMs在利用任务知识方面表现出潜力，但在多步骤推理和开放式探索方面仍面临挑战。

原理

本文通过模拟实验研究了LLMs在集体创新任务中的表现。LLMs被赋予“Little Alchemy 2”游戏的任务，这是一个需要通过组合现有物品来创造新物品的创意游戏。研究首先分析了单个LLM的表现，发现它们能够利用语义知识进行有效探索，但在多步骤推理和开放式探索方面存在局限。随后，研究转向LLM群体，探讨了不同社会连接性（完全连接和动态连接）对集体创新的影响。实验结果显示，动态连接的LLM群体在创新任务中表现更优，这可能是因为动态连接允许子群体探索不同的路径，并通过信息交换增加探索的多样性和广度。

流程

研究首先定义了创新任务的测试平台，包括知识图谱、任务生成过程和任务的文本表示。LLMs通过接收包含游戏规则和任务状态的提示来进行游戏。在实验中，LLMs被分为完全连接和动态连接的群体，通过共享彼此的行动信息来互动。实验流程包括单个LLM的探索能力测试，以及多LLM群体在不同连接性下的集体创新表现。通过这些实验，研究揭示了LLMs在创新任务中的行为模式和性能特点。

应用

本文的研究为理解LLMs在集体创新中的作用提供了新的视角。LLMs在动态连接的群体中表现出的优越性能，预示着它们在需要创新和探索的领域，如科学研究、技术开发和文化创造等方面的潜在应用。此外，研究还指出了LLMs在多步骤推理和开放式探索方面的局限，这为未来的研究和开发提供了改进的方向。随着生成式人工智能算法与人类创新活动的日益融合，LLMs在集体创新中的应用前景值得进一步探索。