type
date
slug
summary
tags
category
icon
password
Publication Date
Link
Shot Title
Author/Team
Fields
Publication
Notes
Status
status
💡
Notion Tip: Use this page to keep track of all your notes and highlights. You can also reference other Notion pages by typing the [[ command. Learn more here.
 
notion image
notion image
Fast ReviewTLDRNotes TakenKey takeawaysSummaryMy NoteAI-assistant Summary1. Task：这篇文章所做的任务是什么？ (包括输入、输出，一般用于哪些场景中)2. Aspect: 这篇文章中，主要面对这个任务，发现之前工作有哪些不足？ (一般在 Abstract 、Introduction中的转折语气后)3. Motivation: 在发现已有工作后，该文章作者又是如何考虑的，他们进行改进的出发点，或者说motivation是什么？（主要是一句话说清楚，他们是从哪个角度去思考问题去解决问题的）4. Methods: 该文章提出的方法有哪些？主要是哪些方面上的改进，比如 是模型结构上的改进，还是训练方法上的改进，或者是使用数据的改进 ， 这些具体改进的策略或者动机是啥？5. Experiment: 该文章中是如何进行实验进行测试实验的？他们训练的模型是基于什么模型改进的(重要)，用了哪些数据，用了多少训练资源(用的啥GPU，训练了多久)，测试了哪些数据？ 他们的实验如何证明了他们方法的有效性？ 有多有效？ 还存在哪些缺陷？6. Summary : 帮我根据我的总结，提炼一下这篇论文，提取成合适的总结格式，这个也需要请你帮我想一个好的格式。
 

Fast Review

TLDR

帮我用简单的话去描述一下这篇文章的摘要，说清楚这篇论文的主要内容。short for Too Long, Don’t Read
 
多模态大语言模型（MLLM）在复杂推理任务中仍难以有效进行自我反思和纠正。针对这一问题，文中提出了SRPO，一种基于反思的两阶段强化学习框架（由GRPO增强而来）。第一阶段通过先进模型生成高质量反思数据，训练模型学习推理和反思；第二阶段设计了鼓励简洁有效反思的新奖励机制，避免冗余。实验表明，SRPO在多个多模态推理基准上显著优于现有最先进模型，提升了推理准确率和反思质量。
 

Notes Taken

 
SRPO强化学习策略，在GROP的基础上，增加反思机制，使用MLLM得到反思数据集，设计反思奖励机制，训练模型得到正确的反思和结果。
 
重点1：得到用于学习反思的数据集，使用更先进的MLLM合成数据，添加反思过程
 
重点2：设计反思的特殊奖励机制，添加任务奖励和反思奖励，没有循环反思
 
notion image
notion image
主要在数学基准和通用基准上进行实验证明，相比GRPO有一定提升。
 
Math Benchmark: MathVista、MathVerse、MathVision、OlympiadBench、WeMath
General-Benchmark: MMMU-Pro、MMMU、EMMA
 

Key takeaways

 

Summary

 
 

My Note

 
 
  1. 反思数据集构建
 
notion image
notion image
 
 
  • 论文首先从多个大规模多模态推理数据集LLaVA-CoT、Mulberry、MathV360K中筛选高质量样本（约1万条），包括正确与错误的推理链（CoT）。
  • 利用一个更强的多模态大语言模型（如GPT-4-mini）针对策略模型给出的初步回答，结合标准答案生成详细的自我反思文本。
  • 反思内容：对错误推理的纠正和对正确推理的优化。
  • 该数据集包含初始推理<think>、反思内容<reflection>和最终正确答案<answer>，作为监督微调（SFT）的训练数据，使模型具备基本的反思和自我修正能力。
 
 
  1. 反思奖惩机制设计
 
first solution → reflection → second refined solution
 
notion image
 
  • 在强化学习阶段，基于GRPO算法引入反思感知奖励函数，将总奖励分为任务奖励和反思奖励两部分。
notion image
任务奖励包括格式正确性 Format correct 和 答案准确性 Label correct。
 
 
  • 反思奖励由三个指标组成：反思格式正确性、反思的有效性（如纠正错误或保持正确答案）和反思内容长度的合理性。
notion image
 
 
 

AI-assistant Summary

 
AI agent :
 
帮我总结一下这几个问题：

1. Task：这篇文章所做的任务是什么？ (包括输入、输出，一般用于哪些场景中)

 
  • 任务是提升多模态大型语言模型（MLLMs）在复杂推理任务中的能力，特别是那些需要显式自我反思（self-reflection）和自我纠正的推理问题。
  • 输入：多模态信息（图像+文本问题），例如科学图表、几何图形、综合图文理解任务。
  • 输出：模型生成的多步推理链（Chain-of-Thought, CoT），包括初步推理、反思反馈和改进后的最终答案。
  • 应用场景：科学图表解读、数学几何推理、多学科视觉文本推理等实际复杂推理场景。
 
“Multimodal reasoning is central to numerous real-world scenarios, such as interpreting scientific figures, geometric reasoning, and integrated complex image-text comprehension tasks.”
“We propose a two-stage reflection-aware reinforcement learning (RL) framework explicitly designed to enhance multimodal LLM reasoning.”
 

2. Aspect: 这篇文章中，主要面对这个任务，发现之前工作有哪些不足？ (一般在 Abstract 、Introduction中的转折语气后)

 
  • 多模态LLM推理仍存在错误、冗余和重复的推理步骤，推理质量低，影响最终准确率。
  • 现有反思方法较为简单，难以生成有意义且具指导性的反馈。
  • 预训练模型的推理能力和知识在初始训练时基本固定，单纯依赖强化学习无法突破这一瓶颈。
  • 现有RL方法多依赖于token级别的局部依赖，缺乏对整体推理路径的有效反思和修正。
 
“Existing reflection methods are simplistic and struggle to generate meaningful, instructive feedback, as the reasoning ability and knowledge limits of pre-trained models are largely fixed during initial training.”
“Existing MLLMs typically follow a token-level Markov process during generation, which relies on local dependencies. This often leads to redundant, repetitive, or erroneous reasoning steps.”
“Reinforcement learning improves reasoning by activating decision-making within fixed structures, rather than enabling the acquisition of new knowledge or behaviors.”
“Previous approaches... their effectiveness remains limited by the constraints imposed during pre-training, making them insufficient for substantially improving reflective reasoning and overall reasoning performance.”
 

3. Motivation: 在发现已有工作后，该文章作者又是如何考虑的，他们进行改进的出发点，或者说motivation是什么？（主要是一句话说清楚，他们是从哪个角度去思考问题去解决问题的）

 
人类的推理能力依赖于主动的自我反思和迭代自我纠正
模型推理不仅要生成链式推理，还要显式地学习反思和修正推理错误，突破预训练阶段的固有限制
 
“Inspired by cognitive science emphasizes that robust human reasoning involves active self-reflection and iterative self-correction steps.”
“Our goals are not only strengthens the model’s reasoning performance but also fosters its capacity for self-reflection.”
“To effectively surpass these inherent limitations, external interventions such as advanced reflective experiences or cognitively guided techniques are required.”
 

4. Methods: 该文章提出的方法有哪些？主要是哪些方面上的改进，比如 是模型结构上的改进，还是训练方法上的改进，或者是使用数据的改进 ， 这些具体改进的策略或者动机是啥？

 
提出SRPO（multimodal Self-Reflection enhanced reasoning with Group Relative Policy Optimization），一个基于两阶段训练的反思感知强化学习框架。
 
具体改进点：
  1. 反思训练数据集
      • 利用一个更大的多模态LLM（如GPT-4o-mini）生成高质量的反思数据，用于指导策略模型学习推理和自我反思能力。
      • 数据包含对正确推理的精简和对错误推理的修正反思。
      • 目的是冷启动初始化模型的反思能力。
  1. 反思感知的强化学习阶段（Reflection-aware RL）
      • 基于GRPO算法，设计新的奖励函数，鼓励简洁且认知有效的反思，避免冗长和无效的反思。
      • 奖励函数包括任务准确率奖励、格式规范奖励、反思有效性奖励（纠正错误或保留正确答案）及反思长度奖励。
      • 通过这种设计，强化模型主动反思和修正推理路径。
 

5. Experiment: 该文章中是如何进行实验进行测试实验的？他们训练的模型是基于什么模型改进的(重要)，用了哪些数据，用了多少训练资源(用的啥GPU，训练了多久)，测试了哪些数据？ 他们的实验如何证明了他们方法的有效性？ 有多有效？ 还存在哪些缺陷？

 
实验设置：
  • 基础模型：基于Qwen-2.5-VL系列模型（7B和32B参数量版本）。
  • 训练资源：
    • SFT阶段：8个（7B）和32个（32B）NVIDIA H100 GPU，训练1个epoch以避免过拟合。
    • RL阶段：OpenRLHF框架，3个epoch，约30K训练样本，batch size 128，Adam优化器，学习率1e-6。
  • 训练数据：
    • SFT数据：从Mulberry（260K）、MathV360K、LLaVA-CoT（100K）中采样10K高质量样本，包含约30%正确推理和70%错误推理，并由大模型生成反思。
    • RL数据：整合ScienceQA、GeoQA、ChartQA、DVQA、AI2D、MATH、Virgo、R1-OneVision、MMK12、PhyX等多模态推理数据，共约37K样本。
  • 测试基准：多模态推理多个公开基准，涵盖数学（MathVista, MathVerse, OlympiadBench等）、通用推理（MMMU-Pro, EMMA等）及跨学科任务（物理、化学、生物等）。
 
实验结果：
  • SRPO显著优于现有开源和部分闭源多模态LLM，在数学和通用推理任务上均取得领先成绩。
  • 在跨学科推理任务上表现出更好的泛化能力。
  • 反思训练加速了反思能力的学习，提升了推理准确率和反思质量。
  • 消融实验表明，反思导向的SFT和RL均对性能提升至关重要，缺一不可。
 
 
请你帮我根据这篇论文的内容，帮我回答出这些问题，这些问题是文章中都会提到的，你最好的回答方式是，引用他文章的原话，再加上自己的补充来回答这些问题。
 
 

6. Summary : 帮我根据我的总结，提炼一下这篇论文，提取成合适的总结格式，这个也需要请你帮我想一个好的格式。

 
任务：
提升多模态大型语言模型（MLLM）在复杂推理任务中的表现，尤其是需要显式自我反思与自我纠正的多模态推理场景。输入为图像与文本问题，输出为含反思的多步推理过程及最终答案。
挑战：
  1. 现有多模态模型推理存在冗余、重复及错误推理步骤，影响准确性。
  1. 反思机制简单，难以产生有效且指导性的反馈。
  1. 预训练模型的推理能力和知识局限固定，强化学习难以突破这一瓶颈。
  1. 缺乏有效的奖励设计，导致模型反思行为不稳定或无效。
思路：
受认知科学启发，认为人类推理依赖于主动的自我反思和迭代纠正。由此出发，设计反思感知的训练机制，使模型不仅生成推理链，还能主动反思并修正错误，突破预训练限制，提升推理质量。
核心方法：
  1. 反思训练监督数据集：利用更大模型生成高质量反思数据，训练策略模型学习推理与反思能力。
  1. 反思感知强化学习SRPO：基于GRPO算法，设计包含任务准确率、格式规范、反思有效性与长度奖励的综合奖励函数。
实验情况：
  • 采用Qwen-2.5-VL-7B和32B作为基础模型，在多个公开多模态推理数据集（数学、科学、图表等）上训练。
  • 训练资源包括8至32个NVIDIA H100 GPU，SFT阶段1个epoch，RL阶段3个epoch。
  • 在MathVista、MathVerse、MMMU-Pro等多项基准测试中，SRPO显著超越现有开源和部分闭源模型，尤其在跨学科推理任务中表现突出。
  • 消融实验验证反思机制在SFT和RL阶段均不可或缺。
  • 训练过程中，反思增强促进更长、更准确的推理链生成，训练更稳定。
主要贡献：
  1. 提出首个针对多模态LLM的两阶段反思感知训练框架SRPO。
  1. 设计创新的反思导向监督微调数据生成流程，显著提升模型自我反思能力。
  1. 引入反思感知奖励机制，鼓励有效、简洁的反思，避免冗余和无效反思。
  1. 通过多基准大规模实验，证明反思训练大幅提升多模态推理性能和泛化能力。