摘要

本文《Towards Deep Active Learning in Avian Bioacoustics》由Lukas Rauch等人撰写，探讨了在鸟类生物声学中应用深度主动学习（Deep Active Learning, AL）的问题。论文背景在于被动声学监测（Passive Acoustic Monitoring, PAM）在鸟类生物声学中的应用，虽然这种方法成本效益高且对自然环境干扰小，但分析这些录音需要大量的人工专家标注，导致成本高昂。论文提出的解决方案是利用深度主动学习技术，通过查询最具信息量的实例进行标注，从而降低标注成本并加速模型适应多样化的环境。论文还进行了一项小规模的试点研究，展示了深度主动学习在鸟类生物声学中的应用潜力。

原理

深度主动学习的核心在于通过模型主动选择最具信息量的数据实例进行标注，从而提高模型的性能和适应性。在鸟类生物声学中，传统的深度学习模型通常依赖于大量的标注数据，而这些数据在实际的PAM场景中往往稀缺且获取成本高。论文提出的深度主动学习框架通过以下步骤实现：

1. 预训练模型：使用预训练的特征提取器（如Google’s Perch）将输入数据映射为特征嵌入。
2. 分类头：在每个迭代周期中，使用分类头将特征嵌入映射为类别概率。
3. 查询策略：在每个迭代周期中，查询策略选择最具信息量的实例进行标注。
4. 更新模型：使用标注后的数据更新模型参数，并继续迭代直到达到预设的标注预算。 这一过程通过不断迭代，使模型能够逐步适应新的环境和数据分布，从而提高其在实际PAM场景中的性能。

流程

论文提出的深度主动学习工作流程如下：

1. 数据准备：使用BirdSet数据集，包括来自不同地区的鸟类声学数据。
2. 预训练模型：使用Google’s Perch作为预训练的特征提取器。
3. 主动学习循环：在每个迭代周期中，模型从无标注池中选择最具信息量的实例进行标注，并更新模型参数。
4. 评估：使用多种评估指标（如AUROC、cmAP和T1-Acc）评估不同查询策略的效果。 具体示例包括使用HSN数据集进行实验，初始选择10个随机实例，然后进行50次迭代，每次选择10个实例进行标注，总共标注510个实例。实验结果显示，使用Typiclust和Entropy等查询策略能够显著提高模型性能。

应用

论文提出的深度主动学习方法在鸟类生物声学领域具有广泛的应用前景。通过降低标注成本和提高模型适应性，该方法可以应用于各种PAM项目，包括环境监测、生物多样性评估和生态保护等。此外，该方法还可以扩展到其他生物声学领域，如海洋生物监测和野生动物保护，具有重要的实际应用价值。