type
date
slug
summary
tags
category
icon
password
Publication Date
Link
Shot Title
Author/Team
Fields
Publication
Notes
Status
status
💡
欢迎您在底部评论区留言，一起交流~
 

多模态任务推理

 
多模态任务推理是指利用多种感知模态的信息，通过智能算法进行综合分析和判断，以完成特定任务的过程。
 
这一过程不仅要求机器能够准确识别并解析来自不同模态的信息，还需要它能够将这些信息有效地融合，形成对任务的全面理解，并据此作出正确的决策或执行相应的动作。
 
多模态任务推理的核心在于“多模态”和“任务推理”。
 
多模态意味着信息的来源是多样的，可以是图像、视频、音频、文本等；
而任务推理则是指机器能够根据这些信息，执行特定的任务，如回答问题、逻辑推理、视觉导航等。
 
这种推理方式不仅提高了机器的智能水平，还极大地增强了其适应复杂环境的能力。
 
notion image
 
 

推理方式

 
 

视觉问答 Visual Chat

 
视觉问答是多模态任务推理中的一种重要方式。它要求机器接收一张图片和一个与图片相关的自然语言问题，然后通过分析图片内容和理解问题语义，生成自然语言回答。
 
这种任务不仅考验了机器的图像识别能力，还对其自然语言处理和逻辑推理能力提出了高要求。例如
 
在一张包含多个物体的图片中，机器需要准确识别出每个物体，并理解它们之间的关系。
 
当问题涉及“哪个物体是红色的？”或“哪个物体在另一个物体的左边？”等空间关系时，机器还需要进行复杂的空间推理。
 
 

视觉常识推理 Visual Reasoning

 
视觉常识推理是多模态任务推理中的另一个重要分支。
 
  • 它侧重于利用常识性知识来解析视觉场景，推断出场景中隐含的信息或事件。
  • 这类任务通常要求机器不仅具备基本的图像理解能力，还需掌握一定的常识性规则，如物理规律、社会习俗等。
 
在一张包含人和动物的图片中，机器需要判断人是否正在给动物喂食。
 
这要求机器能够理解人的动作、动物的姿态以及它们之间的交互关系，并结合常识性知识（如人通常会给宠物喂食）来作出判断。
 
 

视觉语言导航

 
视觉语言导航是多模态任务推理中的一个新兴领域。
 
  • 它要求机器根据自然语言指令在虚拟或真实环境中进行导航。
  • 这要求机器能够理解指令的含义，识别环境中的物体和地标，以及规划并执行行动路径。
 
在一个虚拟家居环境中，机器需要根据指令“走到厨房的冰箱前，打开冰箱门，取出里面的牛奶”进行导航。这要求机器能够准确识别出厨房、冰箱、牛奶等物体，并理解它们之间的空间关系以及指令中的动作顺序。
 
 
 

MLLMs Reasoning

 
主要参考论文：字节团队多模态推理综述：Exploring the Reasoning Capabilities of Multimodal Large Language Models (MLLMs): A Comprehensive Survey of Emerging Trends in Multimodal Reasoning https://arxiv.org/pdf/2401.06805
 
“MLLMs 能否真正拥有推理能力？”
 
主要议题：
  1. 推理能力的定义，以及测试工具
  1. 当前 MLLMs 的能力如何
  1. 对 MLLMs 训练方法的分析
  1. 讨论 MLLMs 在密集推理上的应用
  1. 分析多模态推理的基准结果
  1. 讨论现状和未来的前景
 
 

推理的基本概念

 
推理是人类的基础智能行为之一，需要理解和分析给定条件和背景知识，以逻辑和理性的方式得出新的结论。推理主要包含三个核心概念：
  • 前提(Premises)：关于某个案例的真或假的陈述
  • 结论(Conclusions)：通过推理得出的结果
  • 推断(Inferences)：中间推理步骤，包括选择和解释信息、建立联系等

推理的关键要素

 
  1. 逻辑规则：推理高度依赖数学构建的基本逻辑规则
  1. 领域知识：特定领域的推理需要相应的专业知识作为额外前提
 
  • 例如：算术推理需要数学知识、日常生活推理需要常识性知识
 
 

推理的分类

按形式分类

  1. 形式推理：只要前提为真，结论必定为真
  1. 非形式推理：使用自然语言，在信息不完整或模糊时不保证结论的真实性
 
 

按推理方向分类

  1. 演绎推理(Deductive reasoning)
      • 最经典的推理形式
      • 从已知知识逐步推导出新知识
      • 注重推理步骤的逻辑性
      • 例子：猫是哺乳动物，所有哺乳动物有四条腿，因此猫有四条腿
  1. 归纳推理(Inductive reasoning)
      • 从具体观察推导出一般规律
      • 常用于科学领域发现新原理
      • 可能因观察不完整导致结论不准确
      • 例子：观察到的所有哺乳动物都有四条腿，推断所有哺乳动物都有四条腿
  1. 溯因推理(Abductive reasoning)
      • 推断观察结果的最佳解释
      • 是演绎推理的反向过程
      • 需要大量常识和领域知识
      • 例子：看到车停在高速公路上打着双闪，推断最可能是车坏了
  1. 类比推理(Analogical reasoning)
      • 基于相似性将知识从一个实例转移到另一个实例
      • 两种形式：
        • 从多个相似案例推导隐含命题并应用
        • 基于两个实体的相似性推断属性
      • 成本低但结论只具有可能性
 
 

多模态大语言模型中的推理

 
  • 属于非形式推理类别
  • 使用自然语言表达推理步骤和结论
  • 主要关注三种推理类型：
    • 演绎推理
    • 溯因推理
    • 类比推理
 
这些推理类型在当前多模态大语言模型的实际应用任务中最为普遍。
 

Language-only Reasoning Tasks

 
  1. 数学问题求解
  • 需要单步或多步算术推理
  • 按难度分级：小学水平（GSM8K、SVAMP等）：基础运算；标准化考试（MathQA、AQuA）：GMAT、GRE等级；高级数学（MATH）：排列组合、几何级数等
 
  1. 常识推理
  • 涉及基础教育水平应知的知识：社会常识、物理常识、生物常识
  • 相关数据集 HellaSwag、Winogrande 等
 
  1. 符号推理
  • 基于精确定义规则的抽象对象推理：逻辑推理、虚拟对象理解
  • 数据集：PrOntoQA、SimpleLogic等
 
  1. 环境交互
  • 理解当前情况 → 规划未来行动 → 处理反馈调整
  • 应用：文本环境（Textworld、Alfworld）、游戏环境（BabyAI、MineDojo）、真实环境（如厨房机器人任务）
 
 

Multimodal Reasoning Benchmarks

 
理想情况下的多模态推理：真正需要多模态信息的融合理解、遵循推理分类、包含详细的推理过程步骤注释
 
 
  1. 按能力评估：
  • 基础视觉理解：COCO caption、Flickr30K等，测试图像内容理解和描述能力
  • 视觉问答：VQAv2、OK-VQA、GQA 等，需要结合图像和问题进行回答
  • 综合能力评测：Infi-MM-Eval、MM-Vet、MMMU等，更全面的推理能力评估，包含多种推理类型，而且部分包含推理步骤注释。
 
  1. 按评估问题类型：封闭集评估：预定义答案集；开放集评估：允许自由生成答案
 
  1. 评估指标：
  • 视觉能力：图像分类（ImageNet）、目标检测（COCO）、物体分割（LVIS）
  • 语言能力：BLEU、CIDEr、ROUGE等，关注语言生成的连贯性和语义准确性
  • 推理能力：QA准确率、Elo评分、GPT-4评估、人工评估
 
 

如何让 MLLM 学习推理

 
LLM 上的推理可以通过 few-shot 提示的方式 或者 上下文学习 ICL 的方式来进行复杂推理，模型在 指令微调 I-T 时从数据上学习到一些推理知识。
 
但是，在 MLLM 上，除了有文本，还有其他模态，当 prompt 的模态 不止语言时，存在几个主要挑战。 multimodal prompting 遇到问题。
 

MLLMs 做指令微调的数据和方法

 
notion image
 
做指令微调，主要的训练方式为
  • 输入：⟨ X-modality, instruction, response ⟩
  • 目标：
 
数据主要还是包括图像文本对齐数据，包括 image-caption、VQA、VR 等类型数据：
  • CC3M、OCR、VG、REC 等等方面数据集做自回归训练
 
 

MLLMs ICL 训练数据

 
ICL 能力一般可以不用专门训练而来的，可以通过数据上的指令微调来让模型涌现这个能力，下面是一些指令较高专用的数据：
 
  1. MIMIC-IT
      • 由 Otter 团队开发
      • 特点：图文交错的指令微调数据集
      • 应用：用于 OpenFlamingo 的微调
  1. MIC
      • 包含上下文示例（in-context examples）
      • 组成：整合了16个公开数据集
      • 构建方法：通过预定义模板随机采样 → 同时构建样本和上下文示例
 
主要的一些观察：
 
  • 大多数 MLLM 在指令微调阶段主要关注图文对，这可能导致 ICL 能力的减弱
  • 构建专注于 ICL 的指令微调数据集较为困难，但是数据对 ICL 影响较大
  • 从单一模态向多模态 ICL 发展，需要更好的多模态提示方法
 
 

MLLMs 的多模态表征能力

 
多模态提示虽然开辟了利用非语言模态丰富信息的途径，但由于信息密度差异和缺乏高质量配对数据，往往会导致灾难性遗忘。该领域的一个关键挑战是在不改变基础 LLM 的情况下从非语言输入中得出与 LLM 兼容的表征。
 
解决思路： (LlaVa) 冻结 LLM ，学习视觉嵌入 ；(FROMAGe) 学习线性投影，用于视觉和语言嵌入之间的转换
 

基于示例生成多模态提示

 
In-context examples 提示是一种重要范式，可以激活预训练 LLM 的类比推理能力，在单模态领域应用广泛。 这方面在单模态上研究比较多，但是在多模态上研究较少，面对挑战更多
 
  • 多模态 LLM 需要上下文信息来处理新任务，而为每个新任务获取 in-context examples 并不现实，示例获取的成本高
 
已有的一些方案：
 
  • Img2LLM： 自动生成与 LLM 无关的示例提示，用于视觉问答任务的训练。 该工作从生成的图像描述中提取答案候选，基于这些答案构建对应的问题，最后形成适用于新任务的问题-答案对
 
 

通过模型交互实现多模态提示

 
多模态提升通过语言提示促进了不同模态之间的信息交换，主要工作是，精心设计针对特定多模态任务的交互过程和提示模板，这些基础模型可以以零样本方式执行新任务，从而无需额外训练。
 
 

多模态模型在密集推理上的应用

 

MLLM in Embodied AI

 
MLLM 与 Embodied AI 的结合本质上是让语言模型成为智能体的"大脑"，通过视觉感知获取环境信息，利用语言理解能力将人类指令转化为具体行动计划，再通过推理能力生成实际的控制指令。
主要挑战在于：
  1. 实时性与延迟 - MLLM 的推理速度可能无法满足实时交互需求
  1. 抽象到具体的转化 - 如何将高层语言指令准确转换为具体的机器人动作序列
  1. 鲁棒性问题 - 真实环境中充满不确定性，模型需要具备较强的泛化能力和错误恢复能力
  1. 持续学习 - 如何让模型从交互中不断学习和改进，而不是仅依赖预训练知识
这个领域目前还处于探索阶段，研究者们正在尝试通过模块化设计、混合架构等方式来解决这些挑战，让 MLLM 更好地服务于具身智能应用。
 
notion image
 
 
感知理解能力
  • 场景感知：环境识别、物体检测、空间关系理解、动态变化追踪
  • 多模态融合：视觉信息、语言指令、环境状态的统一理解和表示
 
推理决策能力
  • 任务分解：将复杂指令拆解为可执行步骤、动作序列生成、结果预测
  • 常识应用：物理规律理解、因果推理、目标状态预测、错误恢复
 
MLLM 在 Embodied AI 中的应用内容，具体指出需要推理能力的部分：
 
plan actions based on environmental cues 、 adapt its behavior in response to feedback from its surroundings
 
1. 任务执行推理
  • 将高层指令分解为可执行步骤时需要推理
  • 生成动作序列时需要推理每个步骤的先后关系
  • 预测行动可能的结果
 
2. 基础常识推理
  • 物理规律的理解和应用
  • 动作与结果的因果关系推断
  • 目标状态的预测
 
3. 环境感知相关推理
  • 空间关系的理解（物体之间、物体与环境之间）
  • 环境动态变化的预测
  • 多模态信息（视觉、语言等）的关联理解
 
4. 执行过程中的推理
  • 基于当前状态选择最优行动
  • 当遇到执行失败时的错误恢复
  • 动态调整策略时的决策推理
 
这些推理能力是 MLLM 在 Embodied AI 中发挥作用的关键，它们共同支持智能体理解任务、规划行动并有效执行。
 
挑战：
 
visual exploration, visual navigation, and embodied question answering
 
 

MLLMs for Tool Usage

 
MLLM 可以作为工具，帮助语言模型处理各种模态并解决具有挑战性的视觉推理任务。
 
  • Compositional Visual Reasoning 组合视觉推理。
虽然当前的 MLLM 模型在图像分类和字幕等视觉任务中表现出色，但由于推理和规划的固有要求，它们在更复杂的视觉操作（如视觉编辑）中遇到了困难。例如，在图像中用猫脸替换人脸涉及人脸检测、人脸识别、猫脸生成以及将新脸合并到原始图像中。需要批判性推理来分解任务并制定详细的执行计划。MLLM 在执行这些分解步骤中可以发挥关键作用。
 
  • Multimodal Dialogue Reasoning 多模态对话推理。
由于对话指令依赖于上下文，因此遵循对话指令可能比单步指令更复杂。多轮对话理解需要基于对话历史进行推理。 MLLM 可以作为 LLM 的工具，以促进包含视觉输入和输出的对话，利用 LLM 的推理能力来解释对话指令。MM-ReAct [196] 利用 ReAct [111] 规划方法以及一套图像和视频工具来增强视觉任务的能力。这些工具涵盖了广泛的功能，包括图像字幕、图像标记、密集字幕、名人识别、收据扫描、OCR 和 Bing 搜索。这使 MM-ReAct 能够处理诸如视觉数学和文本推理、视觉条件笑话/表情包和视觉规划等困难任务。
 
  • Integrating Modalities Beyond the Visual Domain 集成视觉领域之外的模态。
MLLM 通常针对特定模态（例如图像）进行定制，这在尝试将其使用集成到数学、网络、表格等不同领域时带来了挑战。例如，解决图像中描绘的数学问题需要视觉模型首先解释图像，然后调用数学模型来解决问题。应对这一挑战需要促进各种模态模型之间的推理和规划。通过将所有模态模型概念化为工具并利用 LLM 的推理能力，最近的努力旨在集成视觉领域之外的其他模态，例如网络内容、表格、办公文档和机器人数据。这种方法有助于开发更强大的多模态模型。
 

模型推理能力主要评测

 

Reasoning 评测数据集

 
1. InfiMM-Eval
  • 特点：专门设计用于评估视觉推理能力
  • 评估类型：演绎推理 (Deductive) 、 溯因推理 (Abductive) 、 类比推理 (Analogical)
  • 复杂度分级：中等复杂度 (Moderate) 、 高复杂度 (High)
  • 优势：相比其他数据集更专注于基础统一逻辑能力的评估
2. MathVista
  • 专注于数学视觉推理能力
  • 涵盖7种推理类型：代数推理 、 算术推理 、 几何推理 、 逻辑推理 、 数值常识 、 科学推理
3. MMMU
  • 来源：基于大学水平的考试题目
  • 特点：需要复杂的多学科知识和推理能力
  • 评估重点：考察模型的知识储备和跨学科推理能力
 

Reasoning 评价指标

 
1. 基础评价指标
  • QA-Accuracy：问答准确率
  • Multiple-Choice Accuracy：多选题准确率
  • GPT-4评估：使用GPT-4对开放式回答进行评分
2. 推理过程评估
  • 推理步骤完整性：评估模型是否提供完整的推理步骤
  • 逻辑连贯性：评估推理过程的逻辑性和连贯性
  • 知识应用准确性：评估在推理过程中知识运用的准确性
3. 复杂度分级评估
  • 根据任务复杂度分级评估模型表现
  • 区分简单推理和复杂推理能力
 

主流模型评测结果

 
notion image
 
 
  • 封闭源模型（GPT-4V、Gemini）明显优于开源模型，差距在复杂推理任务中更为明显
  • 高质量指令微调数据的重要性，长格式回答训练的优势
  • 现有评估可能无法完全反映真实推理能力，需要更多针对性的评估方法
  • 复杂推理任务仍有提升空间，知识应用和逻辑推理能力需要加强
 
 

总结

 
推理能力的概念对于强人工智能 (Strong AI) 或通用人工智能 (AGI) 的追求至关重要，几十年来，各个科学学科一直在追求这一目标。一些潜在的研究方向，以提高当前 MLLM 的推理能力。以下讨论包括我们关于预训练、对齐和评估基准的总结：
 
  • MLLM 架构 当前的 MLLM 架构在实现人类级别的多模态推理能力方面仍然存在以下基本限制。第一个限制来自图像分辨率。当前的多模态大型语言模型通常对具有固定预设分辨率的图像进行操作。然而，在现实世界中，图像可以有多种分辨率。MLLM 的幻觉问题也可能源于 MLLM 架构设计。由于输入了其他模态，诊断 MLLM 中幻觉的来源变得更加复杂。确定这些幻觉是源于对视觉信号的不完整感知，还是源于语言模型中根深蒂固的偏见和虚假相关性变得具有挑战性。因此，设计能够从本质上最小化或避免由不准确感知引起的幻觉的 MLLM 架构非常重要。
 
  • MLLM 训练配方的效率和可扩展性 不同的 MLLM 在每个训练阶段使用的数据量差异很大。然而，性能比较并没有显示出比例差异（。了解每个训练阶段的数据量和模型规模之间的关系至关重要。根据最近的研究，对齐视觉文本表示的预训练阶段可能不需要大量的计算资源。
 
  • 长上下文支持 现有的 MLLM 通常用于短上下文情况，缺乏处理各种现实世界长上下文场景的能力。这些场景包括理解冗长的文档和论文，以及理解视频或电影等更复杂的任务。虽然大多数 MLLM 都采用注意力机制，但长上下文任务的挑战在于需要最小化计算复杂度并在提示长度增加时保持注意力。多模态长上下文任务的研究存在显著差距，这主要归因于缺乏适当的数据集和评估基准来应对这些特定挑战。
 
  • 指令微调 (IFT) 数据 鉴于大多数现有的公共 MLLM 指令数据集不足以开发多模态任务的推理能力，因此有必要采用增强的指令微调数据方法。目前，缺乏探索可以增强多模态推理能力的数据类型的消融研究。因此，未来指令数据集的创建需要仔细考虑，以更有效地提高多模态情境中的推理能力。
 
  • 多模态推理的强化学习 受 InstructGPT [115] 成功的启发，利用强化学习算法 [218] 来对齐模型预测和人类偏好已得到广泛研究 [129, 219]。然而，带有人类反馈的强化学习 (RLHF) 刚刚应用于 MLLM [220]，还有许多令人兴奋的开放研究问题。例如，考虑到多种模态的复杂性，有效且可扩展地收集偏好数据非常重要。在数据充足的情况下，现有的学习算法是否可以处理多模态任务也不清楚。另一个例子是如何开发能够积极参与和利用工具完成复杂、推理密集型任务的多模态代理。
 
  • 评估基准 当前的评估基准侧重于单轮对话，这表明多轮、多图像对话基准存在差距。此类基准要求模型在单次对话中响应各种指令，这可以大大促进增强模型泛化能力和减少对特定指令过度拟合的研究。