本文研究了基于知识的视觉问答（KB-VQA）问题，其中模型需要将问题与视觉模态相结合以找到答案。尽管近期许多工作使用问题依赖的图像描述生成器和大型语言模型（LLM）来解决VQA问题，但研究结果显示它们在处理多跳问题时表现不佳。本文提出通过将复杂问题分解为多个简单问题来提取更多相关信息，并增强对图像的理解。此外，通过分析分解后的问题，确定所需信息的模态，并使用图像描述生成器处理视觉问题，同时使用LLM作为非视觉KB-VQA问题的通用知识源。实验结果表明，在OKVQA、A-OKVQA和KRVQA三个知名VQA数据集上，使用简单问题进行信息检索前的方法提高了准确率，最高可达2%。
Read more...
本文介绍了一种名为“轻量级预测性3D高斯喷洒”的新型表示方法，由Snap Inc.的研究团队开发。该方法通过显著减少存储需求，同时保持或提升渲染质量，解决了大规模场景表示中高斯喷洒存储成本高昂的问题。传统的3D高斯喷洒方法在渲染速度上表现出色，但在存储和传输方面成本极高，限制了其在资源受限设备上的应用。新方法通过识别场景中相邻点共享相似表示的特性，仅存储一小部分关键点（称为父点），并利用小型多层感知机（MLPs）预测其余点（子点）及其属性，从而大幅减少硬盘占用，同时保持高质量的渲染效果。该技术不仅适用于移动设备上的实时渲染，还展示了在资源受限设备上广泛应用的潜力。
Read more...
本文由Luke Sernau、Silvano Bonacina和Rif A. Saurous共同撰写，探讨了随机特征表示在机器学习中的应用。文章的核心观点是，通过优化采样策略，所有随机特征表示的近似误差可以达到相同水平。这一发现为随机特征表示的选择提供了灵活性，同时也为机器学习中的核方法提供了新的优化方向。
Read more...
本文介绍了一种名为“通过隐式演示增强提升上下文学习”的新方法，旨在通过利用演示示例的深度特征分布来丰富大型预训练语言模型（PLMs）的上下文知识。该方法的核心在于通过理论证明，当增强副本的数量趋近无穷大时，增强过程近似于一种新颖的logit校准机制。实验结果表明，该方法在多种PLMs和任务中显著提高了预测准确性和稳定性，特别是在处理不平衡类别分布时表现出色。
Read more...
本文探讨了图像生成模型中的刻板印象偏见问题，特别是性别偏见，提出了一种利用强化学习从人工智能反馈（RLAIF）和去噪扩散策略优化（DDPO）的方法来减少性别偏见。研究使用预训练的稳定扩散模型和性别分类Transformer模型来评估和调整生成图像的性别平衡。实验结果显示，该方法能在不改变图像质量的情况下，有效减少性别偏见，为公平和负责任的AI系统开发提供了新的方向。
Read more...
本文探讨了在对话机器人中通过对齐方法提高性能的问题，特别是在遵循预定义规则或“护栏”方面。传统的训练方法如指令微调已被对齐方法如身份偏好优化（IPO）和卡尼曼-特沃斯基优化（KTO）所取代，这些方法在不需要训练奖励模型的情况下，能够更有效地优化对话机器人的表现，特别是在需要严格遵守特定规则的领域，如客户服务。
Read more...
本文介绍了一种基于梯度的框架，用于在文本到图像扩散模型中进行提示优化。文章将提示工程问题形式化为语言空间上的离散优化问题，并面临两大挑战：（1）巨大的领域空间：将领域设置为整个语言空间给优化过程带来了显著的困难。（2）文本梯度：有效计算文本梯度具有挑战性，因为它需要通过扩散模型的推理步骤和不可微的嵌入查找表进行反向传播。文章的主要技术贡献在于解决这些挑战，设计了一组动态生成的紧凑子空间，仅包含与用户输入最相关的单词，显著限制了领域空间。此外，引入了“快捷文本梯度”——一种有效的文本梯度替代方案，可以在恒定的内存和运行时间内获得。实证评估表明，该方法能够发现显著改善（提示增强）或破坏（对抗性攻击）文本到图像扩散模型生成图像忠实度的提示。
Read more...
本文探讨了在自动说话人验证（ASV）系统中应用语音转换（VC）和文本到语音（TTS）模型改进的语音识别技术。论文的核心在于提出一种新的ASV系统，该系统能够从经过语音转换的目标说话者的音频中提取嵌入，以获取关于其声音的重要特征信息，如音高、能量和音素持续时间。这些信息被用于多说话者TTS流水线中，该流水线目前正在开发中。论文还参与了SSTC挑战，验证了经过语音转换的用户声音，并展示了20.669的等错误率（EER）。
Read more...
本文介绍了一种基于BERT模型的创新方法，用于改进基于EEG的癫痫监测，特别是在癫痫发作检测方面。该研究的核心在于利用BERT-inspired Neural Data Representations (BENDR)模型，通过两阶段训练过程，首先在大规模未标记的Temple University Hospital EEG Corpus (TUEG)数据集上进行预训练，然后在较小的CHB-MIT Scalp EEG Database上进行微调。这种方法通过优化模型架构、预处理和后处理技术，显著提高了癫痫发作检测的敏感性和降低了每小时的误报率（FP/h）。此外，研究还探索了定制的训练策略，以确定最有效的模型设置，并通过第二阶段的预训练进一步增强了模型的泛化能力。最终，优化后的模型在CHB-MIT数据集上实现了0.23 FP/h的低误报率，比基线模型降低了2.5倍，同时在保持可接受的敏感性水平，展示了BERT模型在EEG癫痫检测中的有效应用。
Read more...
本文介绍了一种名为∆-IRIS的新型强化学习（RL）代理，它采用了一种高效的世界模型架构，通过上下文感知令牌化来模拟环境并学习新行为。该代理的核心是一个由离散自编码器和自回归变换器组成的世界模型，能够编码时间步之间的随机增量，并使用连续令牌总结当前世界状态。在Crafter基准测试中，∆-IRIS在多个帧预算下达到了新的技术水平，并且训练速度比之前的基于注意力的方法快一个数量级。
Read more...