摘要

本文探讨了在现实世界中部署的人工智能代理与人类及其他异构AI代理可靠合作的能力。为了提供成功合作的正式保证，必须对合作伙伴代理的行为做出一些假设。文章考虑了在有限重复的双人一般和矩阵游戏中与一群代理合作的问题，这些代理可能与我们的代理一样具有适应性。研究结果表明，仅凭个体理性学习者和帕累托效率均衡策略的假设不足以确保与目标群体成员的零次合作。因此，文章考虑了利用先前观察到的成员间互动来学习与这样的群体合作策略的问题，并提供了学习有效合作策略所需的样本数量的上下界。最重要的是，文章展示了这些界限可以比从模仿学习的“天真”减少中产生的界限强得多。

原理

文章的核心在于解决人工智能代理如何在与一群具有社会智能的代理合作时，通过学习先前的互动来优化合作策略。工作原理基于以下关键点：

1. 个体理性学习者：假设所有代理都是个体理性学习者，这意味着每个代理都试图达到对其合作伙伴平均策略的最佳响应，即Hannan一致性。
2. 合作兼容性：当任何两个群体成员配对时，他们将以高概率达到至少与某些帕累托效率均衡策略相同的效用。
3. 模仿然后承诺策略（IC策略）：利用先前的观察数据D来学习一个模仿策略，该策略在前˜T步中模仿目标群体的行为，然后切换到一个强制策略，使得任何Hannan一致性的合作伙伴要么继续遵守当前联合策略，要么切换到一个更优的策略。
4. 样本复杂度：文章提供了学习有效合作策略所需的样本数量的上下界，表明这些界限可以比从模仿学习的“天真”减少中产生的界限强得多。

流程

1. 数据收集：从目标群体中收集代理之间互动的历史数据D。
2. 模仿学习：使用数据D来学习一个在前˜T步中模仿目标群体行为的策略。
3. 策略切换：在˜T步之后，切换到一个强制策略，该策略利用了群体的社会智能特性，以达到合作而不需要完美模仿。
4. 评估与优化：通过不断评估合作策略的效用，并根据反馈进行优化，以确保与目标群体的有效合作。

应用

文章的研究成果对于多代理系统中的合作问题具有重要意义，特别是在需要与未知合作伙伴进行有效合作的场景中。应用前景包括但不限于：

1. 多代理系统：在多代理系统中，代理需要与未知的其他代理合作，以完成共同任务。
2. 人机协作：在人机协作环境中，机器需要与人类用户有效合作，以提供更好的服务或完成任务。
3. AI伦理与安全：确保AI代理在与人类或其他AI代理合作时的行为是安全和伦理的，避免潜在的负面影响。