【第260期】Vision-R1: Reasoning in Multimodal LLM

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。

今天的主题是：

Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models

Summary

这篇研究探讨了如何通过强化学习（RL）增强多模态大型语言模型（MLLM）的推理能力，并提出了 Vision-R1 模型。研究首先构建了一个 高质量、无需人工标注 的多模态思维链数据集，用于对基础 MLLM 进行 冷启动初始化，从而初步学习类人推理模式。为了克服初始化后出现的“过度思考”优化难题，研究引入了 渐进式思维抑制训练（PTST） 策略，结合 GRPO 算法和硬格式化结果奖励函数，引导模型逐步完善推理过程并延长思考链，最终显著提升了 Vision-R1 在数学推理任务上的表现。尽管 Vision-R1-7B 参数量较小，但在多项基准测试中取得了与大型模型相当的性能。

原文链接：https://arxiv.org/abs/2503.06749