国内第一个通用人形机器人'开源训练道场'原型OpenMiniGym

国内第一个通用人形机器人'开源训练道场'原型OpenMiniGym

作者：邢伯阳

2024年5月5日特斯拉发布重磅视频，公布了擎天柱完成电池分装的视频，视频中机器人可以完成对生产线上不确定作业对象的分装，并且采用2D视觉+端到端神经网络技术路线实现了重规划，技能模仿等重要突破：

值得关注的是在视频后半段出现了一个重要的镜头，特斯拉公布了擎天柱训练道场的详细情况，从视频中可以看到擎天柱通过人类示教的方式在厂房中完成多样化技能的训练，操作这穿戴Xsens运动捕捉系统，业内消息了解到特斯拉整个数据训练团队人员在100+人，同时配套了40套+的Xsens高精度运动惯性全身捕捉系统，通过海量数据收集结合视觉+触觉的端到端神经网络训练方案，让擎天柱可以实现快速作业技能学习满足未来特斯拉超级工厂柔性作业的需求。

1、国内首个通用人形机器人“开源道场“MiniGym

由上海人形机器人制造业创新中心孵化的“开源道场“MiniGym是目前国内首个对标特斯拉训练的原型，由于特斯拉整体技术路线尚不清晰，上海人形机器人创新中心团队基于开源开放的模式开源了MiniDojo项目，希望能推动国内人形机器人团队与联盟共同研究其技术路线，构建专用数据底座与具身训练体系。

人形机器人具身智能抓取算法是当下最重要的研究热点，其不但决定了人形机器人是否能够具备实际应用，也代表了人形机器人最高智能水平。

具身作业技术是具身智能抓取技术栈中的关键技术，其采集机器人或人的示教数据进行训练，目前仍没有一个便捷、轻量化具身实体能完成对上述系统快速开发。虽然可以在仿真中产生合成的数据进行验证，但从数据集构建和应用角度来看如果能采集真实的作业数据更加合适。

通过调研，国内外资料，目前还没有一个完全可以成熟部署应用的具身智能作业技术栈，因此国外主要还是开展大规模数据收集与训练，探索如何构建一个可以泛化应用的具身智能神经网络，比较典型的代表是Google RT1机器人道场：

美国HelloRobotic构建了一个结合云端和真实机器人的训练道场，机器人即在云端开展LLM的训练策略，同时也采用实体机器人在真实搭建的家居场景开展数据收集与验证测试。

上述两个项目，采用了以低成本具身抓取平台为核心的大规模数据收集，并结合大模型LLM与模仿学习等技术栈开展作业任务应用测试。

2、MiniGym道场训练机器人RoboButler

RoboButler道场机器人构建的核心是：

（1）简单易于复现的结构；

（2）低成本、易于规模化（成本1.5W以内）；

（3）具身赋能+模仿学习；

与可组合模块化拆卸的上肢SimpleArm，上肢模组可支持双臂、三臂与四臂直线导轨安装布置，满足不同的抓取场景需求：

灵活的上下肢组装形式与场景应用：

整个道场开源项目包括了：

开源数字道场；

开源道场机器人；

（3）开源具身模仿软件包；

项目可以结合RoboButler机器人构建一个具身智能训练道场，开展对LLM+具身模仿操控技术框架的搭建，并为全尺寸人形机器人提供数据集与技术能力底座，下图为RoboHome数字训练场：

3、MiniGym道场开源倡议

针对特斯拉训练道场技术路线探索，上海人形机器人制造业创新中心孵化的MiniGym项目目前已经开展原型系统的搭建，开展数据收集、工具研制、平台搭建等系列工作。

团队开源RoboButler道场机器人项目，并提出全方位开源倡议，旨在解决通用人形机器人道场训练、体系框架问题，框架包括训练数据、道场机器人、道场管控平台、云网联算力平台，后续将持续发布开源具身抓取、模仿学习、数据采集工具等项目内容，倡议有望促进更多研究者、人形机器人整机与关键技术厂商参与，推动通用人形机器人与具身智能领域的不断创新。