Abstract not available.
机器人学习领域的一个普遍观点是，仅靠仿真是不够的；人们广泛认为，有效的仿真到现实迁移至少需要一些真实世界的数据收集或任务特定的微调，以弥合仿真环境与物理环境之间的差距。我们挑战了这一假设。通过使用足够大规模且多样化的仿真合成训练数据，我们证明了对真实世界的零样本迁移不仅是可能的，而且对于静态和移动操作都是有效的。我们介绍了MolmoBot-Engine，这是一个完全开源的流程，用于在MolmoSpaces中跨机器人、任务和多样化仿真环境生成程序化数据。随之，我们发布了MolmoBot-Data，一个包含180万条专家轨迹的数据集，用于关节物体操作和拾取放置任务。我们训练了三种策略类别：MolmoBot，一个基于Molmo2的多帧视觉语言模型，带有流匹配动作头；MolmoBot-Pi0，它复制了$π_0$架构以实现直接比较；以及MolmoBot-SPOC，一个适合边缘部署且易于强化学习微调的轻量级策略。我们在两个机器人平台上进行评估：用于桌面操作任务的Franka FR3，以及用于开门、抽屉操作、柜体交互和移动拾取放置的Rainbow Robotics RB-Y1移动操作器。在没有任何真实世界微调的情况下，我们的策略实现了对未见过的物体和环境的零样本迁移。在桌面拾取放置任务中，MolmoBot在真实世界评估中，在4种设置下取得了79.2%的成功率，优于$π_{0.5}$的39.2%。我们的结果表明，程序化环境生成结合多样化的关节资产，可以产生稳健的操作策略，这些策略能够广泛泛化到真实世界。技术博客：https://allenai.org/blog/molmobot-robot-manipulation