【第483期】Seer：面向同步大型语言模型强化学习的在线上下文学习系统

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

今天的主题是：

Seer: Online Context Learning for Fast Synchronous LLM Reinforcement Learning

Summary

强化学习（Reinforcement Learning，RL）已成为推动现代大语言模型（Large Language Models，LLMs）发展的关键技术。然而，现有的同步式 RL 系统面临严重的性能瓶颈。占据端到端迭代时间主要部分的 rollout 阶段，由于固有的工作负载不均衡，存在显著的长尾时延以及资源利用率低下的问题。

我们提出了 Seer，一种新颖的在线上下文学习系统，通过挖掘此前被忽视的特性来应对上述挑战：对于共享相同提示（prompt）的请求，其输出长度和生成模式之间往往具有高度相似性。基于这一观察，Seer 引入了三项关键技术：用于动态负载均衡的分割式 rollout、上下文感知调度，以及自适应的分组推测解码（speculative decoding）。

这些机制协同作用，在 rollout 过程中显著降低了长尾时延并提升了资源效率。在生产级 RL 工作负载上的评测结果表明，与当前最先进的同步 RL 系统相比，Seer 将端到端 rollout 吞吐量提升了 74% 至 97%，同时将长尾时延降低了 75% 至 93%，从而显著加速了 RL 训练迭代。

原文链接：https://arxiv.org/abs/2511.14617