本文介绍了一种名为MCDDD（Maximum Concept Discrepancy-based Drift Detector）的新型概念漂移检测方法，该方法基于最大概念差异（MCD），灵感来源于最大均值差异（MMD）。MCDDD能够在无监督和在线环境下，通过对比学习概念嵌入，自适应地识别数据流中的各种概念漂移，无需依赖标签或统计属性。通过在合成和真实世界场景中的全面实验，证明了该方法在识别概念漂移方面优于现有基线，并提供了高可解释性的定性分析。
Read more...
本文针对二值神经网络（BNNs）中的“沉默权重”问题进行了深入研究。在传统的BNNs中，超过50%的权重在训练过程中其符号保持不变，这些权重不仅分布在权重分布的尾部，而且在零附近普遍存在。这种现象显著减慢了模型的收敛速度并导致精度下降。为了解决这一问题，本文提出了Overcome Silent Weights（OvSW）方法，通过引入自适应梯度缩放（AGS）和沉默感知衰减（SAD）策略，有效地提高了权重符号更新的效率。实验结果表明，OvSW在多个数据集和架构上实现了更快的收敛速度和最先进的性能，例如在ImageNet1K数据集上，使用二值化的ResNet18和ResNet34架构分别达到了61.6%和65.5%的top-1准确率。
Read more...
本文介绍了一种名为SBoRA的新型参数高效微调方法，专为大型语言模型（LLMs）设计。SBoRA在低秩适应（LoRA）和正交适应的基础上进一步发展，旨在减少计算和内存需求，同时提高学习性能。通过利用正交标准基向量初始化低秩矩阵之一，SBoRA实现了区域权重更新和内存高效的微调。这种方法在多种微调任务中显示出优越性，特别是在常识推理和算术推理任务中。此外，SBoRA在量化LLaMA模型上的有效性评估，强调了其适应新任务的潜力。
Read more...
本文介绍了一种名为Standard Basis LoRA (SBoRA)的新型参数高效微调方法，专为大型语言模型（LLMs）设计。SBoRA在Low-Rank Adaptation (LoRA)和Orthogonal Adaptation的基础上进一步减少了计算和内存需求，同时提高了学习性能。通过利用正交标准基向量初始化低秩矩阵之一，SBoRA实现了区域权重更新和内存高效微调。该方法的两个变体SBoRA-FA和SBoRA-FB，通过稀疏更新矩阵∆W，使得大部分微调模型的权重（W0 + ∆W）保持不变，从而提高了知识保留和适应新任务的效率。实验结果显示，SBoRA在多种微调任务中优于LoRA，特别是在常识推理和算术推理任务中表现突出。此外，SBoRA在量化LLaMA模型上的有效性评估，进一步强调了其适应新任务的潜力。
Read more...
本文由SmurfCat团队在PAN 2024文本净化任务中提出，旨在解决多语言文本净化问题。通过数据增强和机器翻译技术，团队构建了一个多语言平行数据集，并使用mT0和Aya等模型进行微调。特别地，团队采用了ORPO对齐技术，使得最终模型在乌克兰语上达到最先进水平，在其他语言上也接近最先进水平。该模型在自动评估中获得第一名，在人工评估中获得第二名。
Read more...
本文探讨了企业在实施人工智能（AI）治理时面临的挑战和最佳实践，特别关注了生物制药行业的案例。随着AI技术的广泛应用，企业不仅看到了其带来的经济和社会效益，也面临着伦理、法律和技术上的多重挑战。论文通过分析AstraZeneca公司在AI治理方面的实践，提出了一系列可操作的建议，旨在帮助企业有效地将伦理原则转化为实际操作，并管理与AI应用相关的风险。
Read more...
本文介绍了一种基于空间随机性和生成对抗网络（GAN）的多尺度模型，用于生成具有径向晶粒结构的NMC（镍锰钴）颗粒。该研究由乌尔姆大学和可再生能源国家实验室合作进行，旨在通过2D数据生成代表性的3D信息，从而实现对材料的三维特性进行成本效益高的表征。该模型能够快速生成与实验数据统计相似的虚拟阴极颗粒，适用于通过数值模拟进行材料测试和特性分析。此外，研究团队还公开了包含内部晶粒结构的模拟颗粒的大型数据集。
Read more...
本文介绍了一种用于因果效应识别的快速代理实验设计方法。该方法通过在成本较低的变量上进行实验，来估计主要目标变量的因果效应，解决了直接实验成本高或不可行的问题。论文提出了一种新的算法，通过重新定义问题，设计了更高效的算法来解决这一NP完全问题，并通过广泛的模拟实验验证了其性能。此外，论文还探讨了设计实验以通过有效调整集识别给定效应的相关问题。
Read more...
本文介绍了一种基于掩码的贝叶斯神经网络（BayesNN）的算法-硬件协同优化流程，旨在加速磁共振成像（MRI）的不确定性估计，特别是在适应性放疗中的应用。文章提出的解决方案通过将现有的深度神经网络（DNN）转换为硬件高效的掩码型BayesNN，结合FPGA加速器的设计，实现了在MRI分析中不确定性信息的可靠和高效估计。实验结果表明，该方法在Xilinx VU13P FPGA上相比GPU和CPU实现，分别实现了7.5倍和32.5倍的加速，同时降低了功耗。这一技术的前景在于提高癌症诊断和治疗的准确性和可靠性，特别是在实时成像引导的放疗中。
Read more...
本文介绍了一种名为AiGAS-dEVL的新型自适应增量神经气体模型，用于处理极端验证延迟下的漂移数据流。在当前数据生成速度日益加快的背景下，机器学习模型常常面临数据部分标记或延迟标记的问题，特别是在极端验证延迟情况下，监督信号可能无限期不可用。AiGAS-dEVL模型利用增长型神经气体（GNG）来刻画数据流中随时间变化的概念，通过在线分析这些原型点的行为，定义特征空间中概念的演变，检测其行为的变化，并设计适应策略以减轻这些变化对模型的影响。该模型在多个合成数据集上进行了评估，并与现有技术进行了比较，显示出在多个数据集上的优越适应性，同时保持了简单和可解释的实例基础适应策略。
Read more...