FLAIR是一项针对机器人辅助喂食系统的创新研究，旨在解决现有系统在处理真实世界多样化餐盘时的局限性。该系统结合了基础模型的常识推理能力和少量样本学习能力，以及一个参数化的技能库，以规划和执行符合用户偏好的高效喂食序列。通过在6种真实餐盘上的实际评估，FLAIR能够有效地利用多样化的技能库进行食物拾取，同时遵守42名参与者的多样化偏好。此外，FLAIR还展示了与现有喂食转移方法的无缝集成，并在两个机构和三台机器人上进行了部署，证明了其适应性。
Read more...
本文介绍了一种名为IDA-VLM的新型大型视觉-语言模型，旨在通过识别和关联不同场景中的实例身份来理解复杂的视觉内容，如电影。该模型通过视觉指令调优与ID参考相结合的方法，增强了模型在多身份视觉内容理解方面的能力。此外，研究团队还开发了一个名为MM-ID的新基准，用于评估模型在实例身份记忆和识别方面的性能。该研究为未来的人工智能系统在处理多身份视觉输入方面铺平了道路，特别是在电影等复杂视觉叙事理解方面。
Read more...
本文介绍了一种名为MemWarp的新型学习框架，用于解决心脏图像注册中的不连续性问题。传统的基于学习的方法通常假设变形场是全局平滑和连续的，但在心脏图像注册中，由于呼吸和胸腔内器官滑动的影响，不同解剖区域表现出不对称运动，导致全局约束无法适应器官边界处的局部不连续性。MemWarp通过利用记忆网络存储针对不同解剖区域的典型信息，有效地解决了这一问题，并在公开的心脏数据集上实现了显著的注册准确性提升。
Read more...
本文介绍了一种名为Mobility VLA的新型导航系统，该系统利用长上下文视觉语言模型（VLMs）和拓扑图来实现多模态指令导航。Mobility VLA通过结合高层次的VLM和低层次的基于拓扑图的导航策略，能够理解包括自然语言和图像在内的多模态输入，并执行有效的导航任务。该系统在836平方米的真实环境中进行了评估，显示出在处理先前未解决的多模态指令（如“我应该把这个还到哪里？”同时手持塑料箱）时具有高成功率。
Read more...
本文介绍了一种名为Radformer的视觉语言模型，用于增强放射治疗中治疗目标体积的自动描绘。放射治疗的成功在很大程度上依赖于目标的准确描绘，但目前这一过程主要依赖于人工，存在时间消耗大、劳动强度高和观察者间变异等问题。Radformer模型结合了分层视觉变换器和大型语言模型，通过视觉语言注意力模块（VLAM）整合视觉和语言特征，实现了语言感知的视觉编码（LAVE）。该模型在2985名头颈癌患者的放射治疗数据集上进行了评估，显示出优于现有模型的分割性能，验证了其在放射治疗实践中的潜在应用价值。
Read more...
本文探讨了在软件工程中代码翻译的重要问题，特别是在使用大型语言模型（LLMs）进行代码翻译时产生的错误。早期研究主要依赖手工翻译规则，这种方法容易出错且耗时。近年来，研究人员开始探索使用预训练的LLMs进行代码翻译，但这些模型在翻译过程中会产生多种类型的错误，包括编译错误、运行时错误、功能错误和非终止执行。本文提出了一种通用的纠正器——Rectifier，它是一个微型且通用的模型，用于修复由任何LLM生成的翻译错误。实验结果显示，Rectifier在C++、Java和Python之间的翻译任务中具有有效的修复能力，并且跨实验也证明了其方法的鲁棒性。
Read more...
本文介绍了一种名为RoLoRA的新型低秩适应（LoRA）方法，旨在有效实现大型语言模型（LLMs）的权重-激活量化。RoLoRA通过旋转技术消除激活异常值，并提出旋转感知微调以保持旋转后LLMs的无异常值特性。实验结果表明，RoLoRA在低比特LoRA收敛和后训练量化鲁棒性方面持续改进，尤其在4比特权重-激活量化设置下，相比LoRA基线在常识推理任务上实现了高达29.5%的绝对准确度提升。此外，RoLoRA还展示了其在大规模多模态模型（如LLaVA-1.5-7B）上的有效性。
Read more...
本文介绍了一种名为“随机子空间适应”（ROSA）的新型参数高效微调（PEFT）方法，旨在解决大型模型训练过程中内存需求高的问题。ROSA通过在训练过程中不断采样不同的低秩可训练子空间并迭代合并学习信息，实现了在保持零延迟的同时，显著提高了下游任务的性能。该方法在自然语言生成（NLG）和自然语言理解（NLU）任务中，特别是在GPT-2和RoBERTa模型上，表现出了优于现有PEFT方法（如LoRA）的性能。
Read more...
本文介绍了一种名为Swiss DINO的高效且多功能的视觉框架，专门用于设备上的个人物品搜索。该框架解决了家庭机器人设备中视觉系统个性化的问题，特别是在个人物品的定位和识别方面。Swiss DINO基于DINOv2变换器模型，具有强大的零样本泛化能力，能够在不进行任何适应性训练的情况下处理设备上的个性化场景理解需求。与现有的轻量级解决方案相比，Swiss DINO在分割和识别准确性上提高了55%，同时在骨干推理时间和GPU消耗上分别减少了100倍和10倍。
Read more...
本文介绍了一种名为TinyGraph的新型框架，旨在解决大规模图神经网络（GNNs）训练中的计算成本问题。传统的图凝聚研究仅通过减少图中的节点数量来解决问题，但这种方法在节点特征维度较高时仍然效率低下。TinyGraph通过同时凝聚节点和特征，有效地减少了图的大小，同时保留了关键信息。该框架采用梯度匹配技术，确保在训练过程中浓缩图与原始图的梯度一致，从而保持图的结构信息。实验结果表明，TinyGraph在多个数据集上显著减少了节点和特征的数量，同时保持了高测试准确率，显示出其在图神经网络训练中的高效性和应用潜力。
Read more...