本文由斯坦福大学的Hong Jun Jeon和Benjamin Van Roy共同撰写，旨在为神经网络的规模法则提供严格的信息论基础。神经规模法则旨在描述模型和训练数据集大小对样本外误差的影响，从而指导计算资源在模型和数据处理之间的分配以最小化误差。然而，现有的理论支持缺乏严谨性和清晰度，混淆了信息和优化的角色。本文通过开发严格的信息论基础，能够描述由无限宽度的两层神经网络生成的数据的规模法则。研究发现，数据和模型大小的最优关系是线性的，这与大规模实证研究相吻合。这些简洁而普遍的结果可能为这一主题带来清晰度，并指导未来的研究。
Read more...
本文由华东师范大学的Feng Liu、北京邮电大学的Qing Xu和华东师范大学的Qijian Zheng共同撰写，探讨了基于多维特征的骨骼动作对抗性攻击问题。论文提出了一种新的对抗性攻击方法，该方法通过引入动态距离函数和情感特征来测量骨骼动作的差异，并使用交替方向乘子法（ADMM）来解决约束优化问题，生成具有更好不可感知性的对抗样本。实验结果表明，该方法在多个动作分类器和数据集上有效，且在相同的扰动幅度下，其生成的动态扰动远低于其他方法。此外，本文首次证明了情感特征的有效性，并为测量骨骼动作之间的距离提供了新的思路。
Read more...
本文介绍了一种基于深度融合模型和细粒度梯度保留的脑肿瘤分类方法。该研究针对脑肿瘤早期诊断的重要性，提出了一种结合预训练的ResNet152V2和修改后的VGG16模型的创新架构。通过精心设计的细调过程，确保了深层神经网络中细粒度的梯度得以保留，这对于有效的脑肿瘤分类至关重要。该解决方案采用了多种图像处理技术来提高图像质量，并在Figshare和Kaggle数据集上分别达到了98.36%和98.04%的惊人准确率。此外，该架构具有流线型的配置，仅有2.8百万可训练参数，并通过8位量化将模型大小从289.45 MB显著减少到73.881 MB，确保了在资源受限区域的边缘设备上的顺畅部署。Grad-CAM的使用提高了模型的可解释性，为决策过程提供了有价值的见解。
Read more...
本文介绍了一种基于静电学和牛顿力学原理的新型粒子采样和近似推理方法。该方法模拟了一个相互作用粒子系统（IPS），其中粒子通过由泊松方程描述的电场引起的吸引和排斥相互作用。IPS 朝着稳态演化，其中负电荷的分布符合目标分布。这种受物理启发的方法提供了确定性、无梯度的采样和推理，在推断复杂密度、贝叶斯逻辑回归和动力系统识别等基准任务中，与其他基于粒子和 MCMC 的方法相比，性能相当。本文还提供了一种离散时间、离散空间的算法设计，可扩展到连续时间和空间，可用于概率机器学习场景中更一般的推理问题，如贝叶斯推理、生成建模等。
Read more...
本文探讨了多模态数据融合在精准肿瘤学中的应用，包括其面临的挑战和未来的发展方向。文章对约300篇相关论文进行了综述，重点关注了数据模态、融合方法以及临床应用。研究发现，多模态数据融合在癌症的早期评估、诊断、预后和生物标志物发现等方面具有重要作用。然而，该领域仍面临数据不完整、模态异质性和模型可解释性等挑战。未来的研究方向包括开发更有效的融合策略、解决数据缺失问题、提高模型的可解释性和信任度，以及促进跨中心的适应和评估。
Read more...
本文针对动态Active Directory（AD）系统中的网络安全漏洞，提出了一种基于强化学习（RL）的攻击和防御策略。传统的边缘阻断防御方法通常将AD系统视为静态实体，而本文通过识别其动态特性，采用Stackelberg博弈模型，开发了先进的边缘阻断防御机制。研究通过设计基于RL的攻击策略和RL辅助的进化多样性优化（RL-EDO）防御策略，实现了攻击者和防御者通过并行游戏相互提升策略。此外，为了解决在大量动态AD图上训练攻击者-防御者策略的计算挑战，本文提出了一个RL训练促进器，通过修剪环境和神经网络来消除无关元素，从而实现对大型图的高效和可扩展训练。实验结果表明，所提出的方法能够增强防御者在动态AD图上的能力，同时确保对大规模AD的可扩展性。
Read more...
本文由Haojun Jiang等人提出，针对心脏结构复杂性在超声心动图获取中的挑战，创新性地提出了一种大规模自监督预训练方法，以获取一个心脏结构感知的世界模型。该方法的核心创新在于构建了一个自监督任务，要求模型通过预测二维平面上的掩蔽结构和基于三维空间姿态变换想象另一个平面来推断结构。为了支持大规模预训练，研究团队收集了超过136万张来自十个标准视图的超声心动图及其三维空间姿态数据。在下游探头引导任务中，预训练模型在测试集上显著减少了引导误差，表明结构感知预训练对扫描任务有益。
Read more...
本文介绍了一种名为“Deceptive Diffusion”的新型生成式AI模型，该模型能够生成大量的对抗性图像。与传统的对抗性攻击算法不同，Deceptive Diffusion模型能够创建与任何现有图像无关的新图像，这些图像会被错误分类。这种技术不仅揭示了生成扩散模型的新型安全威胁，还为防御算法提供了大规模的对抗性训练数据，尤其是在难以找到特定类型错误分类的情况下。此外，论文还探讨了在部分受攻击数据集上训练的影响，强调了如果攻击者能够秘密地污染一部分训练数据，那么生成的扩散模型将产生相应比例的误导性输出。
Read more...
本文探讨了使用OpenAI的最新大型语言模型GPT-4来检测Reddit用户戒烟意图的可行性。随着电子烟在美国青少年中的流行，了解用户的戒烟意图对于公共卫生至关重要。研究通过从Reddit的r/QuitVaping子社区提取数据，利用GPT-4进行句子级别的戒烟意图检测，并与普通人和临床专家的标注结果进行比较。研究采用不同的提示策略，如零样本、单样本、少样本和思维链提示，以评估GPT-4在社交媒体数据分析中的潜力，特别是在识别用户微妙意图方面的能力。
Read more...