本文介绍了一种名为AIDRIN（AI Data Readiness Inspector）的框架，用于量化评估数据对AI应用的准备程度。在AI领域，数据质量直接影响到模型的有效性，而目前缺乏标准化的方法来评估数据的“准备度”。AIDRIN通过定义一系列AI数据准备度的参数，涵盖了从传统数据质量到AI特定需求的多个维度，如完整性、异常值、重复性、特征重要性、类别不平衡、公平性和隐私等。该框架通过提供可视化和报告，帮助数据科学家更有效地评估和准备数据，从而提高机器学习管道的效率。
Read more...
本文介绍了一种名为AutoRAG-HP的框架，旨在解决Retrieval-Augmented Generation (RAG)系统中超参数优化和在线适应的挑战。该框架将超参数调整问题形式化为一个在线多臂老虎机（MAB）问题，并引入了一种新颖的两级层次MAB（Hier-MAB）方法，以高效探索大型搜索空间。通过在ALCE-ASQA和Natural Questions数据集上进行广泛实验，证明了基于MAB的在线学习方法在搜索空间具有显著梯度的场景中可以达到Recall@5 ≈ 0.8，仅使用Grid Search方法所需LLM API调用的约20%。此外，提出的Hier-MAB方法在更具挑战性的优化场景中表现优于其他基线。
Read more...
本文由Kit M. Bransby等人撰写，针对心电图（echocardiography）视图分类中神经网络学习到的不良快捷方式（shortcut learning）问题，提出了一种名为BackMix的简单而有效的随机背景增强方法。该方法通过在训练集中随机交换背景，强制模型关注超声扇区（ultrasound sector）内的数据，从而提高分类准确性和泛化能力。此外，论文还提出了wBackMix方法，通过重新加权分类损失，增强增强样本的贡献。实验结果表明，即使在仅有5%的分割标签的半监督设置下，BackMix也能显著提升分类性能和关注度指标。
Read more...
本文介绍了一种名为CAPM（Convex Adversarial Polytope for Maxpool-based CNN）的新方法，用于提高基于Maxpool的卷积神经网络（CNN）在面对有界范数对抗扰动时的验证边界。通过将Maxpool函数分解为一系列ReLU函数，CAPM扩展了凸松弛技术，从而能够通过双网络高效计算验证边界。实验结果表明，CAPM不仅提供了与最先进方法相媲美的验证精度，而且计算成本远低于现有的验证方法，如DeepZ、DeepPoly和PRIMA。此外，CAPM适用于大规模CNN，这在以往的研究中通常被认为是计算上不可行的。在某些情况下，CAPM的速度比PRIMA、DeepPoly和DeepZ快40倍、20倍或2倍，并且提供了显著更高的验证边界。
Read more...
本文介绍了一种名为Chat AI的创新解决方案，旨在为基于高性能计算（HPC）的服务提供一个高效、安全和私密的原生Slurm集成平台。随着大型语言模型（LLMs）的广泛采用，研究人员需要一个能够运行开源或自定义微调LLMs的基础设施，同时确保用户数据隐私和安全。Chat AI通过利用本地大学和研究中心的可信环境，提供了一个替代商业LLM服务的私有和安全选项。该解决方案与Slurm无缝集成，能够在HPC集群上与常规Slurm工作负载并行运行，同时利用Slurm创建的时间间隙。为了确保HPC系统的安全性，使用了SSH ForceCommand指令构建了一个强大的断路器，防止面向Web的服务器受到攻击。Chat AI已成功部署为生产服务，并提供了源代码。
Read more...
本文提出了一种名为 CPL（Conformal Prediction with Length-Optimization）的新型框架，旨在解决共形预测中的条件有效性和长度效率问题。该框架在保证条件有效性的前提下，通过最小化预测集的平均长度来优化长度效率。在无限样本情况下，CPL 框架通过强对偶性结果实现了条件有效性和长度最优性。在有限样本情况下，CPL 框架通过使用给定的一致性分数和假设类来松弛最小最大问题，从而保证了算法的条件有效性和长度效率。实验结果表明，CPL 框架在各种真实世界和合成数据集上的表现优于现有的共形预测方法，特别是在边际有效性、组条件有效性和更复杂的条件有效性情况下。
Read more...
本文介绍了一种名为Deriva-ML的连续FAIR（Findable, Accessible, Interoperable, Reusable）数据管理方法，旨在提高机器学习（ML）模型在eScience应用中的正确性和可重复性。文章强调了高质量数据对于ML结果的重要性，并提出了一种数据中心化的方法，通过构建一个云托管平台和实施最佳实践，以支持多学科团队在eScience领域的协作和数据管理。通过两个实际案例研究，展示了如何利用Deriva-ML架构和最佳实践来改善ML在eScience中的应用。
Read more...
本文提出了一种名为EFV++的新型双流框架，用于基于事件流的模式识别。该框架通过区分融合的方式，同时处理事件图像和事件体素两种常见的事件表示形式。利用Transformer和图神经网络（GNN）分别学习空间和三维立体信息。为了解决直接融合可能导致的次优解问题，本文提出了一种质量感知的三级特征处理方法，即保留高质量特征、融合中等质量特征、交换低质量特征。此外，引入了一种新颖的混合交互读出机制，以增强特征的多样性作为最终表示。实验证明，该框架在多个广泛使用的基于事件流的分类数据集上达到了最先进的性能。
Read more...
本文介绍了一种名为FedMap的新型迭代幅度剪枝方法，旨在提高联邦学习（FL）部署的通信效率。联邦学习是一种分布式机器学习方法，允许在分散的数据上进行训练，同时保护隐私。然而，FL系统中的客户端设备通常资源受限，包括计算能力、内存、存储和带宽。FedMap通过协作学习逐渐稀疏的全局模型，确保所有客户端对全局模型参数的相同子集进行剪枝和细化，从而逐步减少全局模型的大小和通信开销。FedMap的关键优势在于能够从零开始训练全局模型，适用于医疗和金融等隐私敏感领域，这些领域通常缺乏合适的预训练数据。通过广泛的评估，FedMap在IID和非IID环境中均显示出稳定的客户端模型性能，为缓解FL系统中的通信瓶颈提供了有前景的解决方案。
Read more...
本文介绍了一种名为FedMLP的新型联邦学习方法，旨在解决医疗图像分类中的多标签任务异质性问题。在临床实践中，由于医疗知识和疾病流行程度的不同，每个机构可能只诊断部分类别，导致任务异质性。FedMLP通过伪标签标记和全局知识学习两个阶段，有效地补充了缺失的标签，并利用全局模型作为教师进行一致性正则化，防止遗忘缺失类别的知识。实验结果表明，FedMLP在两个公开的医疗数据集上优于现有的联邦半监督和噪声标签学习方法。
Read more...