ScaleDreamer 是一项关于可扩展文本到3D合成的新研究，通过异步分数蒸馏（ASD）技术，解决了现有分数蒸馏方法在处理大量文本提示时难以扩展的问题。该研究利用文本到图像扩散先验，通过最小化噪声预测误差，实现了在不需要配对文本-3D训练数据的情况下，快速合成高质量的3D内容。ASD方法通过将扩散时间步长移至较早阶段，稳定了训练过程，并保持了预训练扩散模型对大量文本提示的强大理解能力，从而能够在多达10万个提示的情况下有效工作。
Read more...
SeqMate是一项创新的大语言模型（LLM）流水线，旨在自动化RNA测序过程。该技术报告详细介绍了SeqMate如何利用LLM的力量，为生物学家提供一个用户友好的工具，实现一键式数据准备和分析。SeqMate不仅简化了从原始FASTQ数据到差异表达分析的复杂流程，还通过生成式AI技术，自动生成包含相关数据库引用的基因分析报告。这一工具的开发旨在解决传统生物信息学工具界面复杂、操作繁琐的问题，使得非专业生物学家也能轻松进行RNA测序数据分析。
Read more...
本文介绍了一种名为SiamTST的新型表示学习框架，用于增强多变量时间序列（MTS）预测，特别是在电信网络中的应用。SiamTST通过集成孪生网络（Siamese network）与注意力机制、通道独立补丁（channel-independent patching）和归一化技术，实现了卓越的预测性能。该框架在实际工业电信数据集上的评估显示，其在预测准确性方面显著优于现有方法。此外，一个简单的线性网络也展示了竞争性的性能，仅次于SiamTST。该研究不仅扩展了MTS分析的当前知识，还提供了可以直接应用于电信行业以改善运营和决策制定的实用见解。
Read more...
本文介绍了一种名为StoIC的新型概率神经多元时间序列模型，该模型通过利用时间序列之间的随机相关性来学习时间序列之间的潜在结构，并提供准确且校准良好的预测。StoIC模型在多个基准数据集上展示了其优越性，提供了约16%更准确的预测和14%更好的校准性能。此外，StoIC模型在处理数据中的噪声时表现出更好的适应性，并能捕捉到各种基准测试中的重要和有用关系信息。
Read more...
本文介绍了SwiftDiffusion系统，这是一个高效的扩散模型服务系统，专门用于处理商业文本到图像应用中的稳定扩散模型。文章首先分析了商业文本到图像应用中的推理请求轨迹，发现附加模块（如ControlNets和LoRAs）在生成图像时普遍存在，尽管它们有效，但会导致高加载开销、延长服务延迟并消耗昂贵的GPU资源。为了解决这些问题，SwiftDiffusion系统通过识别并行计算的机会和在多个GPU上分配ControlNet计算，重建了现有的文本到图像服务工作流程。此外，SwiftDiffusion还开发了技术来消除与LoRA加载和修补相关的开销，同时保持图像质量。最后，SwiftDiffusion在稳定扩散模型的骨干架构中提出了专门的优化，这些优化也兼容附加模块的高效服务。与最先进的文本到图像服务系统相比，SwiftDiffusion将服务延迟降低了多达5倍，并将服务吞吐量提高了多达2倍，而不会影响图像质量。
Read more...
本文探讨了在资源受限的情况下，如何通过参数高效微调（PEFT）方法定制大型语言模型（LLMs），特别是在稀疏架构的LLMs中。尽管已有多种针对密集架构LLMs的PEFT方法，但稀疏架构LLMs的PEFT研究仍不足。本文主要研究了具有混合专家（MoE）架构的LLMs的PEFT方法，并提出了专家专业化微调（ESFT），该方法在保持或超越全参数微调性能的同时，显著提高了微调效率并节省了计算资源。
Read more...
本文主要论述了作者对人工智能对话系统的研究，包括任务型对话系统、对话式问答和图嵌入等方面。本文通过对现有对话系统的不足进行分析，提出了一系列解决方案，并通过实验验证了其有效性。本文的研究工作具有重要的理论意义和实际应用价值。
Read more...
本文介绍了一种基于潜在扩散模型（Latent Diffusion Model）的新型生成深度学习方法，用于生成大量高分辨率的气候模拟集合。该模型通过训练大量气候模拟数据，利用变分自编码器（VAE）进行维度降低，并通过去噪扩散概率模型生成多个集合成员。研究验证了该模型在Max Planck Institute Grand Ensemble（MPI-GE）上的有效性，显示出与原始集合在变异性方面的高度一致性。该模型通过利用潜在空间表示，能够快速生成大量集合，显著提高气候模拟中不确定性量化的效率。
Read more...
本文介绍了一种利用预训练语言模型和数据增强技术进行阿拉伯语推特仇恨言论检测的新方法。该研究针对阿拉伯语推特中的仇恨言论分类问题，提出了基于集成学习和半监督学习的解决方案，有效解决了性能限制和数据不平衡两大挑战。实验结果表明，该方法在仇恨言论检测任务中表现优异，显著提升了检测准确率。
Read more...
本文介绍了一种新颖的两阶段框架，旨在从自由文本的放射学报告中提取高质量的事实陈述，以改进文本编码器的表示，并提高其在各种下游任务中的性能。第一阶段使用大型语言模型（LLMs）从精心策划的领域特定数据集中识别事实陈述。第二阶段引入了一个基于BERT模型的Fact Encoder（CXRFE），该模型通过使用提取的事实数据改进其表示。此外，该框架还包括一个新的基于嵌入的度量标准（CXRFEScore），用于评估胸部X射线文本生成系统。广泛的评估显示，我们的事实提取器和编码器在句子排序、自然语言推理和从放射学报告中提取标签等任务中优于当前最先进的方法。此外，我们的度量标准被证明比放射学报告生成文献中常用的现有度量标准更健壮和有效。
Read more...