摘要

FLAIR是一项针对机器人辅助喂食系统的创新研究，旨在解决现有系统在处理真实世界多样化餐盘时的局限性。该系统结合了基础模型的常识推理能力和少量样本学习能力，以及一个参数化的技能库，以规划和执行符合用户偏好的高效喂食序列。通过在6种真实餐盘上的实际评估，FLAIR能够有效地利用多样化的技能库进行食物拾取，同时遵守42名参与者的多样化偏好。此外，FLAIR还展示了与现有喂食转移方法的无缝集成，并在两个机构和三台机器人上进行了部署，证明了其适应性。

原理

FLAIR系统的工作原理基于以下几个关键技术：

1. 视觉语言模型（VLMs）：用于识别餐盘上的食物项及其语义标签。
2. 分层任务规划器：根据视觉状态估计和语义标签输出每个食物项的拾取效率。
3. 大型语言模型（LLM）：作为少量样本规划器，根据用户偏好和效率进行咬合序列规划。
4. 参数化食物操作技能库：实现具体的操作技能，如穿刺、旋转、舀取和蘸取。

FLAIR通过这些技术的结合，能够有效地规划和执行符合用户偏好的喂食序列，同时确保操作的高效性。

流程

FLAIR的工作流程如下：

1. 食物识别：使用VLMs识别餐盘上的食物项及其语义标签。
2. 任务规划：将视觉状态估计和语义标签传递给分层任务规划器，输出每个食物项的拾取效率。
3. 咬合序列规划：将食物项标签、用户偏好和每个食物项的效率传递给LLM，输出下一个喂食的咬合。
4. 技能执行：根据规划的咬合序列，使用参数化食物操作技能库执行具体的操作。

例如，FLAIR可以识别餐盘上的意大利面和肉丸，根据用户偏好（如“请不要喂我任何肉丸”）规划一个动作序列，将肉丸推开并旋转意大利面。

应用

FLAIR系统的应用前景广泛，特别是在需要机器人辅助喂食的场景，如老年人护理、残疾人辅助等。该系统能够提高喂食的个性化和效率，改善用户的生活质量。此外，FLAIR的模块化设计使其能够轻松集成到现有的喂食系统中，具有很高的适应性和扩展性。