机器人在产线中拿起iPad，放进功能测试站。测试平台随即合拢，几秒钟后，检测完成。机器人再次伸臂，将iPad稳稳取出，转身送往下一道工序。

这一幕发生在龙旗科技（603341.SH）的产线中。11月3日，智元机器人宣布团队研发的真机强化学习技术已在与龙旗科技合作的验证产线中落地。强化学习是一种让机器人通过不断尝试和反馈自主优化动作策略的AI训练方式。“传统的强化学习通常在仿真环境中完成。”一位和英伟达存在合作关系的仿真引擎供应商告诉第一财经记者，通常来说，研发人员会在虚拟环境中搭建与真实工厂相似的生产线、机械臂与操作物体，让机器人完成学习后再上产线部署。

“但Sim to real（仿真到真实）之间的沟壑一直存在。”他告诉记者，在虚拟环境中学到的策略往往需要大量调试才能在真机上稳定复现，这其中需要耗费大量的人力和物力。

这也是当前人形机器人企业在进入实际场景时，需要耗时数月部署、调试的核心原因之一。今年上半年，记者在一家华东地区的工厂看到，人形机器人已开始进入实际产线。虽然现场仅有两三台机器人在作业，但负责调试与维护的工作人员却有数十人。彼时，一位在现场的人形机器人企业的解决方案工程师告诉第一财经记者，给一台人形机器人配10位工作人员“都算少的”，他说，这些工作人员大多负责机器人的调试、标定与安全监控，包括调整运动参数、处理异常状态，以及在训练过程中实时校验数据，确保机器人动作稳定、物料完好。

“我们都是机器人的‘保姆’，需要在现场确保他们不会‘乱来’。”他说。

智元机器人合伙人兼首席科学家罗剑岚告诉第一财经记者，让强化学习直接嵌入真实产线，有利于优化机器人强化学习的训练目标，减少现场的人力和物力投入。“在产线中部署强化学习，产线作业的通过率、作业节拍、良率直接成为机器人的目标，机器人可以通过产线的原生信号完成训练，部署可以缩减至分钟级。”

不过，罗剑岚也提到，在真机强化学习的部署过程中也可能存在物料损耗或安全的风险。“这需要通过预训练和机器人的底层控制，将机器人在现场学习中的风险控制在可控范围内。”

解决了机器人部署效率的问题，如何批量复制是智元需要面临的下一个难题。罗剑岚透露，团队正通过本地私有云与OTA（Over-the-Air，即空中升级）机制，让不同工序的真机强化学习经验得以共享，实现模型的批量更新和复现。尽管用真机强化学习在产线中部署提升了部署效率，罗剑岚也表示，真机强化学习不仅依赖算法本身，更依赖于与工厂系统的深度对接。从通信技术到数据接口，都需要在实际环境中逐步打通。“只有当这些底层环节顺畅运转，工序间的数据流和反馈闭环才能真正形成。”