SCMIL:革命性的癌症生存预测框架,利用稀疏自注意力机制提升临床决策

SCMIL: Sparse Context-aware Multiple Instance Learning for Predicting Cancer Survival Probability Distribution in Whole Slide Images

摘要

本文介绍了一种名为SCMIL(Sparse Context-aware Multiple Instance Learning)的新框架,用于预测癌症患者的生存概率分布。该框架通过分析全切片图像(WSI)中的肿瘤微环境,创新性地利用稀疏自注意力机制来识别和学习局部区域内实例间的复杂交互特征。SCMIL不仅能够过滤掉与任务无关的补丁,还能通过注册混合密度网络(RegisterMDN)预测个体患者的生存概率分布,从而提供更具临床意义的预测。实验结果表明,SCMIL在两个公开的WSI数据集上优于现有的最先进方法,提供了更准确和可解释的癌症生存预测。

Read more...

XEUS:突破性的多语言通用语音编码器,引领语音识别技术的新纪元

Towards Robust Speech Representation Learning for Thousands of Languages

摘要

本文介绍了一种名为XEUS的新型跨语言通用语音编码器,该编码器通过自监督学习(SSL)在超过100万小时的4057种语言数据上进行预训练。XEUS通过结合现有的公开可用语料库和新创建的7400+小时语料库,显著扩展了SSL模型的语言覆盖范围。为了增强模型对多语言语音数据的多样性和噪声条件的鲁棒性,XEUS引入了一种新的去混响目标,通过预测从模拟混响音频中提取的干净离散音素伪标签来提高模型的鲁棒性。实验结果显示,XEUS在多个基准测试中持续优于或达到与最先进(SOTA)SSL模型相当的结果,尤其在多语言语音识别和语言识别任务中表现突出。此外,XEUS的代码、模型检查点和数据将公开发布,以促进进一步的研究和可重复性。

Read more...

创新解决方案:确保高级人工智能代理的可关闭性与有用性

Towards shutdownable agents via stochastic choice

摘要

本文探讨了高级人工智能代理可能抵抗关闭的问题,并提出了一种解决方案——不完整偏好提案(IPP)。该提案的核心是使用一种新颖的“相同长度轨迹的折扣奖励(DREST)”奖励函数来训练代理,使其在每个轨迹长度下有效追求目标(称为“有用性”),并在不同轨迹长度之间随机选择(称为“中性”)。文章提出并评估了有用性和中性的评估指标,通过在简单的网格世界环境中训练代理,发现这些代理能够学习到有用和中性的行为。研究结果表明,DREST奖励函数可以训练高级代理成为有用和中性的,从而使其变得有用且可关闭。

Read more...

利用大型语言模型和知识图谱自动化提取网络威胁情报:方法与挑战

Actionable Cyber Threat Intelligence using Knowledge Graphs and Large Language Models

摘要

本文探讨了如何利用知识图谱(KGs)和大型语言模型(LLMs)自动从非结构化网络威胁情报(CTI)数据中提取可操作的情报。随着网络安全威胁的不断演变,从非结构化CTI数据中提取有价值的见解对于指导网络安全决策至关重要。文章提出了一种方法,通过评估不同的LLMs(如Llama 2系列、Mistral 7B Instruct和Zephyr)在提取CTI文本中的三元组(triples)的有效性,并使用这些三元组构建知识图谱,以提供结构化和可查询的威胁情报表示。实验结果表明,通过指导框架和微调,该方法在提取相关信息方面表现优异,但在大规模数据集上的应用仍面临挑战。

Read more...

加速矩阵对角化:图同构网络与AlphaZero框架的创新结合

Towards Faster Matrix Diagonalization with Graph Isomorphism Networks and the AlphaZero Framework

摘要

本文介绍了一种创新的方法,通过将大型矩阵对角化问题构建成半马尔可夫决策过程(Semi-Markov Decision Process)和小型矩阵对角化问题构建成马尔可夫决策过程(Markov Decision Process),来加速Jacobi方法进行矩阵对角化。此外,本文还探讨了在不同大小矩阵之间利用可扩展架构的潜力。在短暂的训练期间,该方法显著减少了对角化所需的步骤数,并展示了高效的推理能力。重要的是,这种方法显示出对大型矩阵的可扩展性,表明其广泛应用的潜力。训练完成后,我们获得了动作-状态概率和状态转移图,这些输出不仅提供了对角化过程的洞察,还为大规模矩阵对角化节省了成本。这项研究在矩阵对角化的效率和可扩展性方面取得了进展,为科学和工程领域的实际应用开辟了新的可能性。

Read more...

探索Chest-Diffusion:轻量级文本到CXR图像生成模型的突破与应用

Chest-Diffusion: A Light-Weight Text-to-Image Model for Report-to-CXR Generation

摘要

本文介绍了一种名为Chest-Diffusion的新型轻量级文本到图像模型,专门用于从医疗报告生成胸部X光(CXR)图像。该模型解决了医疗报告与自然文本之间分布差异大以及现有稳定扩散模型计算复杂度高的问题。Chest-Diffusion通过引入领域特定的文本编码器和轻量级变换器架构,显著提高了生成图像的真实性并降低了计算复杂度。实验结果显示,Chest-Diffusion在计算预算仅为118.918 GFLOPs的情况下,实现了最低的FID分数24.456,其计算复杂度仅为Stable Diffusion(SD)的三分之一。

Read more...

探索INPO:通过无悔学习优化LLM与人类偏好的对齐

Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning

摘要

本文探讨了在强化学习与人类反馈(RLHF)框架下,如何通过迭代纳什策略优化(INPO)算法,使大型语言模型(LLM)与人类普遍偏好对齐。传统的RLHF方法基于Bradley-Terry(BT)模型假设,可能无法完全捕捉人类偏好的复杂性。INPO算法通过无悔学习,让策略自我对抗,从而逼近纳什策略,避免了估计单个响应预期胜率的高计算或标注成本。实验结果显示,INPO在多个基准测试中显著优于现有迭代算法,特别是在AlpacaEval 2.0和Arena-Hard v0.1上取得了显著的改进。此外,消融研究表明,结合KL正则化有助于控制响应长度。

Read more...

探索StyleGAN2在人脸生成中的框架稳定性:防止错误记忆与司法鉴定的关键

Controlling Face"s Frame generation in StyleGAN"s latent space operations: Modifying faces to deceive our memory

摘要

本文由Agustín Roca和Nicolás Britos撰写,作为他们在Instituto Tecnológico de Buenos Aires (ITBA)的计算机工程学位最终项目,由Rodrigo Ramele指导。该项目与非盈利组织Innocence Project合作,旨在研究人脸识别在司法鉴定中的可靠性。论文的核心在于探讨StyleGAN2在生成和修改人脸图像时,如何保持“人脸框架”(face-frame)的一致性。人脸框架定义为面部轮廓、头发和耳朵等特征,这些特征在人脸识别中对记忆的影响至关重要。论文通过实验验证了在修改眼睛或嘴巴的开合时,人脸框架的稳定性,以及在改变面部垂直方向、性别、年龄和微笑时,人脸框架的变化程度。这些发现对于理解记忆在司法鉴定中的作用具有重要意义,特别是在防止错误定罪方面。

Read more...

探索与利用的平衡:NegUCB算法在复杂谈判中的应用

A Contextual Combinatorial Bandit Approach to Negotiation

摘要

本文介绍了一种基于上下文组合多臂老虎机(Contextual Combinatorial Multi-Armed Bandits)的谈判策略学习方法,旨在解决谈判中的两大关键挑战:探索-利用困境(exploration-exploitation dilemma)和大动作空间问题。该方法通过组合多臂老虎机解决了探索-利用困境,并通过其组合性质处理大动作空间。此外,本文还引入了NegUCB算法,该算法能够处理谈判中的部分观测和复杂奖励函数问题。NegUCB算法在温和假设下保证了次线性的后悔上界,并通过在三个谈判任务上的实验证明了其优越性。

Read more...

探索因果认知的奥秘:从动物到人工智能的统一框架

Disentangled Representations for Causal Cognition

摘要

本文探讨了因果认知和因果强化学习之间的联系,提出了一个统一的因果认知理论和计算框架。该框架基于因果表示学习,通过解耦表示来实现因果理解,并将其应用于动物认知和人工智能领域。

<工作原理>

  1. 因果表示学习:通过对数据的分析和建模,学习数据中的因果关系。
  2. 解耦表示:将数据表示为多个独立的因素,以便更好地理解和处理数据。
  3. 因果理解:通过对解耦表示的分析,实现对因果关系的理解和推断。

<工作流程>

  1. 数据收集:收集相关的数据,包括观察数据、干预数据等。
  2. 因果表示学习:使用因果表示学习算法,学习数据中的因果关系。
  3. 解耦表示:将学习到的因果关系表示为解耦的形式,以便更好地理解和处理。
  4. 因果理解:通过对解耦表示的分析,实现对因果关系的理解和推断。

<应用前景>

  1. 动物认知研究:帮助我们更好地理解动物的认知能力和行为模式。
  2. 人工智能系统:设计更智能、更高效的人工智能系统。
  3. 因果推理:在医学、社会学等领域中进行因果推理和预测。

<标题> 探索因果认知的奥秘:从动物到人工智能的统一框架

Read more...
Previous Page 113 of 156 Next Page