NEST

NEST 用真实果蝇的脑连接组，驱动一台真实机械臂去看见并抓取桌上的物体。果蝇负责学习和决策，相机负责看见，机械臂负责动手，语言负责把这个过程讲给人听。 黑客松的时间只够走通第一条闭环。这条闭环已经在真机上跑起来了。后面要做的是把同一条路线练稳、练多，而不是换一套做法。 **我们实现了什么** 一套从看见到动手的完整链路，已经接在同一台机械臂上。 人用日常的话说「往左一点」「往前走」「往上」，系统听得懂，并让机械臂按这句话调整姿态。两个相机同时看着目标和夹爪，系统能把水瓶从背景里认出来，并估计夹爪离它还有多远、偏在哪一侧。 决策来自果蝇脑的真实连接结构，而不是一条写死的抓取动作。策略输出的是「往哪边、还要不要伸、夹爪开还是合」。每一次尝试都看结果：只有物体跟着夹爪一起离开桌面，才算真正抓住。没抓住就再试，并根据这次的成败更新策略。座舱里可以同时看到相机、机械臂状态，以及果蝇此刻在想什么。想什么是对真实信号的翻译，和动作并排出现。 仿真里的训练环境也已经就绪。同一套「看见、决策、以抬起为成功」的定义，可以在数字孪生里大量试错，再回到真机验证。真机这一侧，机械臂已经能在人的监督下完成朝向目标的抓取尝试，并在尝试之间学习。 **这个方案为什么成立** 抓取很难，是因为它要同时处理看见、够到、合上和抬起。传统做法要么把动作写死，换一个瓶子就失效；要么用一个和大脑无关的网络，从零开始试很久。 NEST 把公开的果蝇全脑连接当成策略的结构。连接关系保持真实，学习只发生在「感觉怎么进去、动作怎么读出来」。已有研究说明，这种真实脑结构比随机网络更省试错。机械臂的关节状态会作为本体感觉送回去，果蝇不是闭着眼睛在指挥。成功标准也和人的直觉一致：东西被拿起来，而不是画面上看着很近。 同一份决策可以驱动两个身体。一个是虚拟果蝇，用来让人看见它在转向、前探还是犹豫。一个是机械臂，用来完成拿取。语言层只负责翻译，不代替决策。因此演示是可解释的：观众看到的每一句话，都能对回一次真实的感知或动作。 **远景** 短期，把现在这条「看见、试抓、按抬起结果学习」的闭环练到稳定，能在不同摆放的瓶子上重复成功，并把仿真里学到的策略迁到真机。 中期，同一个果蝇脑可以服务更多桌面操作：换物体、换左右手习惯、在人的口头纠正下改动作。上帝视角变成一套可观看的训练台，研究人员能看见脑结构、身体动作和语言解释是不是同一件事。 长期，这是一条把公开脑连接组变成可部署操作技能的路线。家庭里帮人把桌上的杯子递过来，实验室里按口令取放器皿，都不需要为每个动作重写程序。脑提供结构先验，奖励提供对错，语言提供人能监督的界面。算力用来训练，不用来假装神经元代替了计算机。 黑客松证明的是这件事能在真实机械臂上闭合一圈。NEST 接下来继续沿着这一圈做深，而不是停在一次演示。