BbiHH’s blog

本文综述了多模态大型语言模型（MLLM）中的幻觉现象，分析其原因、评估基准、指标和缓解方法，探讨当前挑战和未解决问题，为未来研究提供方向，并旨在增强 MLLM 的稳健性与可靠性。

【MLLM综述 4 - Hallucination】多模态大模型幻觉问题的综述 Hallucination of Multimodal Large Language Models: A Survey

腾讯 AI 团队对 MLLM 最新进展的综述文章。主要有不同 MLLM 的比较。包括总结：主流的 LLM backbone 、 Modality Encoder 、 Input Projector，未来的发展等等的展望综述。

【MLLM综述 3 - Recent Advances】MLLM 的 SOTA 总结, 腾讯团队 — MM-LLMs: Recent Advances in MultiModal Large Language Models

近日，纽约大学计算机科学和数据科学教授、生物技术公司 Prescient Design 联合创始人兼资深主管 Kyunghyun Cho 一篇题为「我在 NeurIPS’24 上感受到了焦虑和挫败」的博客文章引发了广泛讨论。他在文中指出，现在许多博士生和博士后很有挫败感，因为许多学校培养的本科生就已经具备企业所需的标准化机器学习开发技能，而大量博士生却因此找不到合适的工作；原因是随着 AI 相关技术的产品化，企业对博士技能（研究和创新）的需求已经大幅下降，而更多需要支持其产品迭代的工程师。

【转】NYU教授在NIPS2024的会后感想：感受到AI博士生的焦虑与挫败

多模态大模型中重要的一个能力，多模态推理能力，对于进一步的人工智能发展有着重要的意义，对于具身智能、复杂任务处理有着重要的推进作用。 Multimodal Reasoning

【MLLM综述 2 - Reasoning】 多模态推理 talk & 文章综述 Multimodal Reasoning Survey

2024年NeurIPS（神经信息处理系统大会）的论文趋势显示，多模态学习和大语言模型研究持续处于人工智能领域的前沿。在3000多篇录用论文中，多模态强相关论文超过200篇（约8%），而大语言模型与多模态大模型相关研究的总占比更是超过15%。当前研究热点主要集中在视觉识别、视觉理解、视觉对齐等基础能力建设，以及偏好对齐（幻觉处理）、高效模型、Agent和强化学习等应用导向的技术创新。这些研究方向的多样性和深度，充分体现了多模态学习在人工智能发展中的核心地位，也预示着该领域在未来仍将保持强劲的发展势头。

Nips2024 多模态论文热点分析

有时需要使用 git 来管理不同平台代码，但是可能会遇到不同机器的问题，这里记录一下用 ssh 连接 git 仓库做代码管理的配置。

实验项目管理之 - Git 服务配置

LLaVA-OneVision是第一个可以同时在三种重要的计算机视觉场景（单图像、多图像和视频场景）中推动开放式lmm性能边界的单一模型。其是 LLaVA-NeXT 博客系列的集成。通过从图像到视频的任务迁移，展示了强大的视频理解和跨场景能力。

统一视觉模态训练的 MLLM 框架, S-lab — LLaVA-OneVision: Easy Visual Task Transfer

这里提出了一个 CRITIC 的框架，是一个 in-context learning 的框架，而不进行训练。想要的是通过上下文内容，给出模型对答案进行验证自纠的形式，让模型能够调用(从上下文给定的样例中学习调用)一些外部的工具，去验证删除的正确性，并进行提示修正。整个的输出轨迹拼在一起让 LLM 进行自纠，LLM 本身被看做是一个黑盒。

通过 Tool-using 实现 LLM 的 self-correct, 清华团队 — CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing

VSCode 调试 PyTorch 多卡程序，便捷高效的几种方式记录

VSCode 调试 PyTorch 多卡程序

多模态大模型超长综述，关于现有 MLLM 的背景定位、模型框架、训练方案、评测方法、已有技术等。

【MLLM综述 1 -  MLLM】多模态大模型综述：背景、框架、训练、评测、技术

ChatGpt

技术分享

心情随笔

论文分享

主页

文章列表

文章整理

历史归档

文章分类

文章标签

生活剪影

About

Github

关于

Survey - Hallucination

学术

综述

LLaVA-onevision

CRITIC

Notion Tip: Use this page to keep track of all your notes and highlights. You can also reference other Notion pages by typing the [[ command. Learn more here.