新方法帮助机器人在环境变化时利用历史经验，避免被过时数据误导

机器人等具身智能体通过与物理世界交互来学习，但物理世界并非一成不变。随着训练推进，控制策略会持续更新；硬件可能磨损，负载可能变化，摩擦、重力、风、传感噪声和接触条件也会发生漂移。与此同时，真实世界交互成本高昂，智能体无法在每次条件变化后都丢弃历史经验，重新采集一套完全来自当前策略的数据。

这给标准离策略强化学习带来了根本性难题。回放缓冲区中的历史转移数据，可能由旧策略在旧动力学条件下产生。如果算法仍把这些已经“过时”的数据视为当前环境的真实描述，价值估计就可能产生偏差，策略甚至会学习到在新物理条件下不可能实现的动作结果。

清华大学牵头的研究团队提出“转移占用匹配”，用统一的数学视角刻画这两类变化。策略偏移会改变智能体在某一状态下选择什么动作，动力学偏移则会改变该动作产生的下一状态。因此，两者最终都会改变“状态、动作、下一状态”的联合分布，即转移占用分布。

研究团队进一步提出占用匹配策略优化算法 OMPO。与对所有历史数据一视同仁不同，OMPO 同时维护一个存储长期经验的大规模全局缓冲区，以及一个保存最新交互的小型先进先出局部缓冲区。判别器比较两个缓冲区中的转移数据，估计哪些历史经验仍与当前物理工况相符。仍然有效的数据被保留，不匹配或过时的数据则被降低权重。

OMPO 还引入无符号限制的对数链接，将难以直接求解的匹配问题转化为稳定的极小极大优化。这一设计使算法能够直接处理同时包含奖励和惩罚的回报信号，而无需为不同任务额外平移奖励。分布式价值网络不再只预测平均回报，而是建模完整的回报分布，以应对动作噪声、传感误差和接触过程带来的随机性。对于视觉任务，策略、价值网络和判别器共享一个联合训练的视觉编码器，并使用基于常微分方程的流式策略表达可能存在的多模态动作。

研究团队在三类分布偏移下评估了 OMPO：动力学固定但策略持续变化，任务或领域迁移，以及策略变化与非平稳动力学同时存在。测试覆盖 8 个 DeepMind Control 运动控制任务、机器狗从行走到奔跑的任务迁移、4 个身体结构或重力与风持续变化的 MuJoCo 环境、Panda-Gym 与 Meta-World 机械臂操作任务，以及一项真机概念验证。

在 DeepMind Control 中，OMPO 在状态输入和视觉输入任务上均比 SAC 和 TD7 学得更快、更稳定。在机器狗迁移实验中，任务目标从行走突然切换为奔跑，但回放缓冲区仍以行走数据为主。上下文感知基线难以完成适应，而 OMPO 能够重新评估历史数据的作用，在减少负迁移的同时更快获得高速步态。

在非平稳 MuJoCo 环境中，躯干长度和足部长度随训练轮次变化，重力和风还包含随机扰动。OMPO 在全部任务上持续优于 CaDM 和 CEMRL。结果支持了该方法的核心判断：智能体不一定需要显式识别每一个发生变化的物理参数，只要能够判断哪些历史转移已经不再符合当前占用分布，就可以快速调整学习。

机械臂操作实验也显示出类似的鲁棒性。在加入动作噪声的 Panda-Gym 中，OMPO 在 Panda-Reach-Dense 和 Panda-Reach-Sparse 上分别达到 98.4% 和 94.3% 的成功率。在论文报告的 5 个高接触 Meta-World 任务中，OMPO 均取得最高成功率。其中，coffee_push 的成功率达到 76.8%，而最强基线为 26.4%；hammer 的成功率达到 78.3%，而最强基线为 32.8%。

研究团队还在天玑机器人上进行了抓取放置实验。在扰动条件下，目标物体在抓取前被外力移动，使原有接近动作对应的转移结果发生变化。OMPO 以最新交互作为局部锚点，使机器人能够重新接近被移动的物体，完成抓取、运输和放置。研究人员强调，这是一项针对“仍可完成任务”的物理扰动开展的概念验证，并不等同于全面的真机硬件评测。

OMPO 通过同一种校正机制同时处理策略偏移和动力学偏移，使具身智能体能够在不假设物理世界始终稳定的前提下，继续利用采集成本高昂的历史经验。该框架还可作为在线后训练机制，与视觉-语言-动作模型或世界模型结合，支持开放物理环境中的持续适应。

研究团队同时指出，OMPO 仍要求历史经验与当前经验之间具有足够的支持重叠，而且局部缓冲区需要以足够快的速度更新，才能跟踪当前物理工况。完全破坏数据支持范围的故障、变化速度极快的环境、执行器失效和严重硬件损坏尚未纳入当前验证。更大规模的真机实验，以及更强的收敛性和稳定性理论保证，是后续研究的重要方向。

该研究由清华大学的罗宇、吕磊、孙富春、刘华平等，与华为 2012 实验室及同济大学上海自主智能无人系统科学中心相关团队共同完成，获得国家重点研发计划项目（2024YFB4711102）支持。OMPO 代码已在 GitHub 公开。论文作者终稿于 2026 年 8 月 19 日在线发表于《国家科学评论》（National Science Review）。

---

---