Reachy＆Us

让机器人看到你所看到的——基于 Reachy 的多模态交互伙伴 我们以 Reachy 机器人为载体，连接智能眼镜与 AI Agent，打造一个能够感知用户视角、理解现场信息，并通过语音和实体动作作出回应的交互伙伴。我们希望让人与机器人的交流走出屏幕，让用户看到的世界，成为机器人可以参与的话题与体验。 目前，项目已打通完整的 “眼镜采集 → Agent 理解与决策 → Reachy 动作执行”** 感知通路。用户通过智能眼镜采集眼前画面，将信息传递给 Agent；Agent 对视觉内容进行理解，并将决策转化为 Reachy 的动作表达，让来自用户视角的信息在机器人身上获得可感知的回应。 在此基础上，我们还完成了基于 Reachy 的语音识别与响应、手势感知功能。用户可以通过说话与机器人交流，也可以使用手势传递交互信号。这些能力共同构成了覆盖视觉、语音与手势的多模态交互基础，使机器人能够接收更自然、更丰富的输入。 项目的核心特色，是将可穿戴设备的第一视角感知、Agent 的理解与决策能力，以及实体机器人的表达能力连接起来。眼镜拓展了机器人的感知范围，Agent 负责把感知信息转化为回应策略，Reachy 则通过声音与动作，让回应具有实体存在感。 我们希望以这一完整通路为基础，探索日常陪伴、远程体验分享与互动学习等场景，让机器人逐步成为能够理解你的所见、回应你的表达、参与日常生活的伙伴。