摘要

本文介绍了一种基于静电学和牛顿力学原理的新型粒子采样和近似推理方法。该方法模拟了一个相互作用粒子系统（IPS），其中粒子通过由泊松方程描述的电场引起的吸引和排斥相互作用。IPS 朝着稳态演化，其中负电荷的分布符合目标分布。这种受物理启发的方法提供了确定性、无梯度的采样和推理，在推断复杂密度、贝叶斯逻辑回归和动力系统识别等基准任务中，与其他基于粒子和 MCMC 的方法相比，性能相当。本文还提供了一种离散时间、离散空间的算法设计，可扩展到连续时间和空间，可用于概率机器学习场景中更一般的推理问题，如贝叶斯推理、生成建模等。

原理

本文提出的基于静电学的粒子采样和推理算法的核心概念是电荷（粒子）之间的相互作用，其由相互作用力控制。具体来说，该方法首先定义了一组电荷（可与粒子互换使用）{qi|i=1,2,…,Mneg}，其中 Mneg 是该组的基数，在 d 维空间中，每个电荷都与位置 xi 相关联。然后，考虑单个点电荷 qi，令 Eqi 为 qi 诱导的电场。在静电学中，电场 E 与电位移场成正比，等于电势 φ 的负梯度；E 的散度，即无穷小电通量，通过泊松方程与源的分布相关联。在这个电荷粒子系统中，我们假设没有外部源或汇，这简化了泊松方程为拉普拉斯方程；求解拉普拉斯方程得到电势场 φ，进而得到电场 E 和由点电荷诱导的力 F。在 d 维空间中，距离点电荷 qi 距离为 r 的电场 Eqi(r)可推导为： Ei(r)=qiΓ(d/2)/(2πd/2ε0rd-1)e 其中 r 是距离点电荷 qi 的距离，ε0 是真空介电常数，Γ(·)是伽马函数，e 是指示场方向的单位向量。想象我们有另一个负点电荷 qj 位于距离 qi 为 ri,j 的位置。为了区分，我们称 qi 为源点，qj 为场点。根据库仑定律，qi 对 qj 施加的电力为： Frep i→j(ri,j)=qjEi(ri,j)=qiqjΓ(d/2)/(2πd/2ε0rd-1)ei→j 其中单位向量 ei→j=(xj-xi)/ri,j 给出了外指向方向。箭头符号上方意味着“对……施加影响”，从左对象到右对象读取。根据牛顿第三定律，如果我们将 qj 视为源点，qi 视为场点，qi 将经历相同大小的力，但方向相反 ej→i=-ei→j。现在我们看粒子集{qi|i=1,2,…,Mneg}，并考虑粒子 j 从所有其他粒子接收的组合排斥力，可计算为： Frep j(xj)=∑{i=1,i≠j}^{Mneg}qiqjΓ(d/2)/(2πd/2ε0rd-1)ei→j=∑{i=1,i≠j}^{Mneg}qiqjΓ(d/2)/(2πd/2ε0 xj-xi/||xj-xi||d/2)2 其中||·||2表示向量的 L2 范数。当电荷（粒子）达到稳态且均匀分布时，对于每个粒子 j∈{1,2,…,Mneg}，组合排斥力 Frep j(xj)变为零，因为作用在粒子上的所有诱导电场相互抵消。可以方便地将 Eq.57b 的前半部分重写为矩阵形式，通过表示行向量 qj=[qj,qj,…,qj]T，列向量 q1:Mneg=[q1,q2,…,qMneg]，对角矩阵 Λ=diag[1/rd-1 1,j,1/rd-1 2,j,…,1/rd-1 i,j]，如下所示： Frep j(xj)=Γ(d/2)/(2πd/2ε0qjΛq1:Mneg 其中 Λ可以看作是由核（类似于 RBF 核但不完全相同）产生的某种各向同性协方差矩阵，每个对角元素测量两个点电荷 qj 和 qi 之间的成对相关性或反距离。

流程

本文提出的 EParVI 算法的工作流程如下：

1. 初始化粒子：
   • 将空间网格化为 Mpos=Mm 个等距网格。在所有网格点 xi，i∈{1,2,…,Mpos}查询（并可选地归一化）密度值 p(xi)。
   • 为每个网格点 xi 分配一个具有大小 qp(xi)的正电荷。
   • 从初始提议分布 p0(x)中抽取 Mneg 个 m 维负电荷 x0={x0j}Mnegj=1。
2. 更新负电荷位置：对于每个迭代 t=0,1,2,…,T-1，重复直到收敛：
   • 计算作用在每个负电荷 j 上的总力（见 Eq.57b 和 Eq.57d）：Ft j=Frep,t j+Fattr,t j。
   • 更新负电荷位置（以 Eq.1 为例）：xt+1 j=xt j+τFt j。
3. 返回负电荷的最终配置{xTj}Mnegj=1 及其直方图和/或每个维度的 KDE 估计。

应用

本文提出的基于静电学的粒子采样和推理算法具有以下应用前景：

1. 概率机器学习：该算法可用于概率机器学习中的贝叶斯推理、生成建模等任务，为这些任务提供了一种新的、高效的采样和推理方法。
2. 图像处理：该算法可用于图像处理中的数字半色调、图像采样等任务，为这些任务提供了一种基于物理原理的、简单直观的方法。
3. 科学计算：该算法可用于科学计算中的静电学模拟、粒子系统模拟等任务，为这些任务提供了一种新的、高效的模拟方法。