Find The Ghost

《寻找 Ghost》是一套融合机械臂控制、机器视觉、生成式人工智能与沉浸式叙事的具身交互装置。项目受到《攻壳机动队》中“Ghost”与“Shell”概念的启发：机械结构是容纳意识的外壳，而人与机器之间的触碰、观察和回应，则逐步唤醒隐藏其中的 Ghost。 体验开始时，机械臂处于“沉睡”状态。屏幕和赛博女声提示观众：一个未知 Ghost 已潜入机械躯壳，并分裂成六块隐藏在关节中的意识碎片。观众需要亲手掰动机械臂，寻找六个关节内部不可见的秘密位置。 机械臂不会直接告诉观众答案，而是通过力的变化给予反馈。当某个关节接近秘密角度，并在目标区间内稳定停留后，该关节会逐渐变硬并锁定，代表一块 Ghost 碎片被找到。随着碎片依次点亮，原本可以自由拖动的机械臂逐渐形成完整姿态。六块碎片全部集齐后，夹爪张开，Ghost 正式苏醒。 苏醒后的机械臂仿佛第一次获得视觉。它转向观众，通过末端深度相机寻找人脸；发现目标后，机械臂主动调整相机方向，将人脸保持在视野中心，并进行环绕扫描、歪头观察和快速点头等拟人化动作。这一过程不是普通的工业拍照，而是一段“机器正在认识你”的表演：它观察面前的人，并尝试为其建立一份存在于赛博空间中的身份档案。 系统会截取包含完整头部的人像，通过生成式图像模型转换为赛博风格特工肖像，同时尽量保留观众原有的五官、发型和身份特征。随后，图像被送入三维生成管线，生成带材质的 GLB 三维模型；另一条人工智能管线则根据图像生成虚构的特工编号、身份等级、能力描述和 Ghost 状态。重建过程、赛博肖像、三维形象与人物档案会实时显示在网页终端上，配合人工智能女声播报，形成完整的“扫描—建档—重构”仪式。 在三维重建等待期间，体验不会中断。Ghost 会邀请观众伸出手掌，进入更直接的肢体互动。系统结合手势识别和深度数据，获得手掌的位置与距离。当观众向前推动手掌时，机械臂向后退让；当手掌向后移动时，机械臂主动向前靠近；手掌横向移动时，机械臂也会调整朝向持续跟随。观众不再通过按钮或手柄发出命令，而是通过身体动作与机器建立近似生物之间的交流。 技术原理 系统以 ROS 2 作为通信与集成框架，将机械臂控制、视觉感知、语音、生成式人工智能和网页展示拆分为相互独立的节点。流程编排模块维护游戏状态，根据关节命中、人脸捕获、图像生成、三维重建和手势互动等事件切换阶段。耗时的云端推理采用异步任务执行，避免阻塞机械臂控制与现场交互。 “寻找 Ghost”阶段使用 MIT 控制接口统一表达阻尼控制与阻抗控制。每个关节的输出可表示为： \[ \tau=K_p(q_d-q)+K_d(\dot q_d-\dot q)+\tau_{ff} \]其中，\(K_p\) 决定关节回到目标位置的力度，\(K_d\) 提供运动阻尼，\(\tau_{ff}\) 用于重力补偿。在自由状态下，系统将 \(K_p\) 设为接近零，仅保留阻尼和重力补偿，因此观众可以轻松掰动机械臂；关节命中后，系统平滑提高 \(K_p\) 和 \(K_d\)，使其逐渐进入阻抗保持状态。 为了避免编码器噪声或快速经过目标位置造成误判，命中条件同时考虑角度误差、关节速度和持续时间。只有关节进入目标区间、速度足够低，并稳定保持一定时间后，才会由 FREE 进入 LOCKING，最终进入 LOCKED。刚度采用渐变方式爬升，避免瞬间锁定带来的冲击，也让观众可以清晰感受到关节从柔软到坚定的触觉变化。 视觉系统统一处理深度相机的 RGB 图像和对齐深度图。人脸阶段使用轻量化人脸检测模型获得边界框，并结合深度与时间滤波排除过远或不稳定的目标。机械臂根据人脸中心在画面中的偏差调整末端姿态，实现类似云台的持续跟踪。完成稳定观察后，系统保存扩展至完整头部的人像，为后续风格化和三维生成提供输入。 手势阶段使用 MediaPipe 手部关键点和手势分类结果，并结合深度图获得手掌距离。系统优先选择画面中面积最大的手掌，通过连续帧过滤、短时目标保持、距离限幅和运动平滑降低偶发空帧带来的抖动。机械臂根据手掌相对于初始位置的三维位移生成跟随目标，再通过阻抗控制执行，使动作既快速，又保留一定柔顺性。 生成式人工智能为系统增加了个性化内容。FLUX 图像模型将观众人像转化为赛博特工肖像；图像理解模型生成结构化人物档案；Tripo AI 将风格化图像转换为带纹理的三维模型。网页界面通过 ROS 2 数据桥接实时展示游戏进度、Ghost 碎片、人脸画面、生成进度、三维模型和人物档案。可打断的 TTS Action 则负责阶段播报，使视觉、声音、动作和触觉共同服务于同一条故事线。 项目特色 项目最大的特色，是将一组独立技术组织成一段有起点、有转折、有反馈的互动叙事。阻尼控制不再只是控制算法，而成为“寻找意识碎片”的游戏规则；阻抗刚度变化不再只是参数调整，而成为观众可以亲手感受到的通关反馈；人脸检测、图像生成和三维重建也不再只是模型演示，而被解释为 Ghost 对人类的观察、理解和记忆。 整个体验从“人主动触碰机器”，逐步发展为“机器观察人”，最后进入“人与机器共同运动”。观众既是游戏玩家，也是生成内容的主角。每个人都会得到不同的赛博肖像、三维形象和身份档案，因此每次体验都是一次独特的人机相遇。 项目主旨 项目首先希望讨论人机共生中的安全性。真正适合与人共处的机器人，不应只追求更大的力量和更快的速度，还应具备柔顺、退让、限速、状态确认和随时中止的能力。阻抗控制让机器人在保持动作能力的同时，对人的触碰作出柔和响应；多重判定、工作空间限制和渐变刚度则让安全成为交互过程的一部分。 项目也希望探索人工智能进入机器人之后，人类能够获得怎样的交互体验。当视觉模型、语言模型、生成模型和实时控制系统进入同一个机械身体，机器人便不再只是执行预设轨迹的工具。它可以感知人的动作，理解互动阶段，生成个性化内容，并通过声音、姿态、力量和空间运动进行回应。 《寻找 Ghost》试图呈现一种可能的人机关系：未来的机器人既拥有精确的机械外壳，也拥有理解情境、表达状态并尊重人类边界的智能。人与机器之间的信任，并非来自机器看起来多像人，而是来自它能否安全、及时且有意义地回应人的存在。