从总体上来看，机器人的控制技术大体分为三个方向：最早的示教再现控制模式，通过精确的编程对机器人进行控制来完成重复作业；随后引入了传感器，用感知-反馈的控制方式让机器人去适应变化的环境；如今正迈向智能化的新模式，引入人工智能的自学习能力，通过与传感器的深度融合，使机器人在保证安全、高精度的同时具备自主决策和任务泛化的能力。

而机器人本身也在不断演变，传统机器人设计多为刚性，可以安装丰富的传感器，这在选择控制方式时相对比较容易，仅需要考虑刚性的移动和控制。但并不是所有的机器人都如此简单，伴随着材料科学的进步，越来越多的柔性材料被应用在机器人身上，不论是可以随意变形的柔性机器人，还是仿生机器人柔软的机械手，柔性材料的特性使得精确地控制变得困难。

一般来说，针对于柔性机器人，设计者多会选择增加更多的传感器，或者加固部分结构来实现更高精度的控制，但这会使柔性机器人丧失一定的灵活性，而现在已经有技术可以不需要传感器也能实现精确控制。这是麻省理工学院CSAIL团队的一项成果名为“神经雅可比场”（NJF），仅需要使用一个摄像头就能对机器人进行控制。

基于NJF的机械臂

NJF的核心是一个神经网络，该神经网络主要捕捉机器人身体形态中两个相互交织的方面：三维几何形状和对控制输入的敏感性，基于神经辐射场(NeRF)技术，通过将空间坐标映射到颜色和密度值，进而从图像重建3D场景。NJF则在此基础上进行了扩展，不仅学习机器人的形状，还学习雅可比场（一个可以预测机器人身体上任意一点如何响应运动指令的函数）。

训练模型时，会让机器人进行随机运动，同时用多个摄像头记录结果，训练过程无需人工监督，也无需事先了解机器人的结构，系统通过观察即可推断出控制信号和运动之间的关系。简单的理解一下，就是通过视觉数据，让机器人看到它自己的身体对不同的指令会做出什么样的反应，进而让机器人学会通过什么样的指令可以对自己的身体进行控制。训练完成后，机器人只需一个单目摄像头来观察自身、进行规划并做出响应，即可进行实时闭环控制，运行频率约为12赫兹。

NJF自学习过程

这个系统真正有趣的地方是，系统能够自学习，自行判断哪些电机控制机器人的哪些组件，而不需要人为去编程，这可以让设计人员去探索更多非比寻常的机器人，让创造力不再因为机器人的控制方式而受到限制。目前，该系统已被用在多种类型的机器人上以验证其实用性，例如气动软体机器人手、刚性Allegro手、3D打印机械臂，甚至没有嵌入式传感器的旋转平台，均取得了良好的效果。

当然，所有技术诞生之初都不是尽善尽美的，NJF还不能实现跨机器人的泛化，针对每个新的机器人都需要重新训练，并且缺乏力觉和触觉的感知能力，在一些场景中的应用会受到限制。但这个系统的优势也很明显，就是降低了机器人的控制门槛，不需要很多昂贵的传感器，也不需要很复杂的编程，只需要“拍拍视频”就能让机器人学会自我控制，这可以极大的降低机器人系统的软硬件成本，加快它们的市场化进程，未来还是十分值得期待的。