Fields Review

My Note

一、一些主流组件的总结

1. LLM backbone

1. Flan-T5
• 特点：基于 T5 的编码器-解码器结构，经过指令微调（Instruction Tuning, IT），在零样本（Zero-shot）和链式推理（Chain-of-Thought, CoT）任务中表现强劲。
• 应用：广泛用于多模态理解和生成任务。

2. ChatGLM
• 特点：中英双语对话模型，基于 GLM 架构，优化了中英双语问答和对话能力。
• 应用：适用于中英双语的多模态任务。

3. LLaMA 和 LLaMA-2
• 特点：解码器结构，支持多种规模的模型（7B、13B 等），在多模态任务中作为基础模型被广泛采用。
• 应用：例如 LLaVA 系列模型通过 LLaMA 实现视觉-语言对齐。

4. PaLM
• 特点：因其高效的训练速度和强大的生成能力而被广泛使用，支持多种多模态任务。
• 应用：例如 PaLM-E 用于机器人领域的多模态任务。

5. Qwen
• 特点：支持中英双语，专注于多模态任务的指令微调和人类反馈强化学习（RLHF）。
• 应用：Qwen-VL 和 Qwen-VL-Chat 在视觉语言任务中表现出色。

6. OPT 和 Chinchilla
• 特点：分别是 GPT-3 的开源版本和优化版，针对大规模数据训练进行了调整。
• 应用：适用于多模态模型的基础架构。

2. Modality Encoder

• NFNet-F6：ResNet 的改进版本，通过自适应梯度裁剪实现高效训练。

• ViT：将图像分割为 patch 后使用 Transformer 进行编码。

• CLIP ViT：结合图像和文本，通过对比学习优化视觉表示。

• Eva-CLIP ViT：扩展和加速 CLIP 的训练，适用于大规模数据。

• C-Former：结合 CIF 和 Transformer，用于高效音频特征提取。

• HuBERT：通过掩码预测离散隐藏单元实现自监督学习。

• BEATs：基于 Transformer 的双向音频表示学习框架。

• ImageBind：统一编码六种模态（图像、视频、文本、音频、深度图等），支持任意模态组合。

• ULIP-2：用于 3D 点云数据的高效编码。

3. Input Projector

1. 线性投影（Linear Projector）
• 特点：简单高效，适用于大多数多模态任务。
• 应用：如 LLaVA 和 MiniGPT-4。

2. 多层感知机（MLP）
• 特点：通过非线性激活函数和多层网络实现更复杂的特征对齐。
• 应用：如 VILA 和 CoDi-2。

3. 交叉注意力（Cross-Attention）
• 特点：通过可训练的查询向量从多模态特征中提取关键信息。
• 应用：如 Flamingo 和 mPLUG-Owl。

4. Q-Former
• 特点：使用可学习查询向量从多模态特征中提取提示（Prompts）。
• 应用：如 BLIP-2 和 MiniGPT-5。

5. MQ-Former
• 特点：对多尺度视觉和文本信号进行细粒度对齐。
• 应用：如 Lyrics。

二、MLLM 的 现有 感兴趣 的 SOTA

1. 功能角度分类 Functional Division

2. 设计角度分类 Design Division

三、MLLM 的趋势总结

1. 从专注于多模态理解，发展到生成特定模态，再进一步演变为任意模态之间的转换（例如，从 MiniGPT-4 到 MiniGPT-5，再到 NExT-GPT）。

2. 从多模态预训练（MM PT）到监督微调（SFT），再到人类反馈强化学习（RLHF），训练流程不断优化，旨在更好地与人类意图对齐并增强模型的对话交互能力（例如，从 BLIP-2 到 InstructBLIP，再到 DRESS）。

3. 拥抱多样化的模态扩展（例如，从 BLIP-2 到 X-LLM，以及从 InstructBLIP 到 X-InstructBLIP）。

4. 采用更高质量的训练数据集（例如，从 LLaVA 到 LLaVA1.5）。

5. 采用更高效的模型架构，从 BLIP-2 和 DLP 中复杂的 Q-Former 和 P-Former 输入投影模块过渡到 VILA 中更简单但有效的 linear projector 。

四、最新 MLLM 的各项性能表现

五、各维度未来发展趋势

1. 更加通用和智能的模型

• 扩展模态：当前的MM-LLMs主要支持图像、视频、音频、3D和文本等模态，未来可扩展到更多类型的模态（如网页、热图、图表等），以提高模型的多样性和适用性。

• 多样化LLMs：结合不同类型和规模的LLMs，使用户能够根据具体需求选择最适合的模型。

• 提高MM IT数据集质量：目前的MM IT数据集有很大的改进空间，增加更多的指令类型可增强MM-LLMs对用户命令的理解和执行能力。

• 增强MM生成能力：大部分现有MM-LLMs侧重于理解任务，生成能力仍有限。通过整合检索式方法等手段，可以提升生成效果和整体性能。

2. 更具挑战性的基准测试

• 当前的基准测试可能不足以挑战MM-LLMs的能力，因为许多数据集在训练过程中已被模型学习过。新的基准测试应包括更多模态，并采用统一的评估标准，以全面评估模型的能力。

• 例如，GOAT-Bench评估模型在识别和响应社交虐待方面的能力，MMCode评估模型在视觉丰富情境中的算法问题解决能力，GeoEval评估几何数学问题的能力等。

3. 轻量级部署

• 由于资源限制，MM-LLMs在低功耗的移动设备和物联网设备上的部署成为一个重要方向。MobileVLM等轻量级实现方法可通过减少参数量来提高计算速度，类似的研究如TinyGPT-V、Vary-toy等也在这一领域取得进展。

4. 具身智能

• 具身智能旨在模仿人类感知和与环境互动的能力。MM-LLMs可以应用于机器人领域，帮助机器人通过实时观察自主执行任务。PaLM-E和EmbodiedGPT等项目探索了MM-LLMs在机器人中的应用，尽管在提升机器人的自主性方面仍需进一步探索。

5. 持续学习

• 由于MM-LLMs的训练成本高，频繁重新训练变得不现实。持续学习（CL）可以帮助模型灵活应对新的数据，并保持对先前知识的记忆。CL包括持续的预训练（PT）和持续的指令微调（IT），但也面临“灾难性遗忘”和“负向前向转移”等问题。

6. 缓解幻觉现象

• 幻觉是指模型在没有视觉线索的情况下生成不存在的物体的描述，这可能导致误判和不准确的描述。当前的解决方案包括利用自我反馈作为视觉线索，但仍需克服挑战，以增强模型输出的可靠性。

7. 偏见与伦理考虑

• 尽管MM-LLMs有很大的潜力，但其生成的内容可能 perpetuate stereotypes（加剧刻板印象）并对脆弱群体造成伤害。MM-LLMs会学习并复制训练数据中的偏见，因此需要开发新的基准测试来评估偏见，并设计更加有效的对齐方法，确保模型的输出符合人类的价值观。

总结：

Reference