meta 公司与芝加哥大学及加州大学伯克利分校的研究人员共同开发了一种新框架 ——DreamGym，旨在解决使用强化学习（RL）训练大型语言模型(LLM)代理所面临的高成本、复杂基础设施和不可靠反馈等问题。DreamGym 通过模拟 RL 环境来训练代理，使其能够高效地处理复杂应用程序。

DreamGym 在训练过程中能够动态调整任务难度，确保代理逐步学习并解决更具挑战性的问题。研究团队的实验表明，DreamGym 在完全模拟的环境下，以及需要将模拟学习应用于现实世界的场景中，都显著提升了 RL 训练的效果。在一些 RL 可以应用但成本高昂的环境中，DreamGym 能够仅依靠合成交互就达到与流行算法相媲美的性能，极大降低了数据收集和环境交互的成本。

使用强化学习训练 LLM 代理面临多种挑战，现实应用通常涉及长时间的操作序列和稀疏反馈，代理只有在经历一系列正确操作后才能获得正面信号。此外，收集足够多样和经过验证的数据也很昂贵，往往需要人类专家进行验证和标注。为了解决这些问题，DreamGym 提供了一种有效且安全的训练路径。

DreamGym 框架的核心由三个部分组成:第一是 “基于推理的经验模型”，它将目标环境的动态转换为文本空间，模拟应用环境。第二是 “经验重放缓冲区”，作为动态记忆库，帮助指导经验模型的预测，确保合成经验的多样性。第三是 “课程任务生成器”，根据代理的表现自动生成新的、更具挑战性的任务。这三者协同作用，形成了一个封闭的系统，实现了高效的代理训练。

研究者对 DreamGym 进行了多项基准测试，包括电子商务、体感控制和真实网页交互等领域，结果显示 DreamGym 在各类任务中均表现优越，尤其在 WebArena 环境下，训练出的代理成功率超过基线方法30% 以上。通过这种方式，DreamGym 为以往难以实现的领域提供了可行的 RL 训练解决方案。

划重点: