猫眼电影记者 戴奇称 报道首次登录送91元红包

大模型最广泛的应用如 ChatGPT、Deepseek、千问、豆包、Gemini 等通常会连接互联网进行检索增强生成（RAG）来产生用户问题的答案。随着多模态大模型（MLLMs）的崛起，大模型的主流技术之一 RAG 迅速向多模态发展，形成多模态检索增强生成（MM-RAG）这个新兴领域。ChatGPT、千问、豆包、Gemini 都开始允许用户提供文字、图片等多种模态的输入。

然而，目前对于 MM-RAG 的应用和研究都还处于非常初级的阶段，现有的 MM-RAG 研究以及综述论文主要聚焦于文本和图像等少数模态组合；音频、视频、代码、表格、知识图谱、3D 对象等多种模态的组合均可用于检索增强生成，却仅有很少的探索和研究。这使得研究者和开发者难以全面把握 MM-RAG 的技术脉络和广阔的应用空间。

来自华中科技大学、复旦大学、中国电信、美国伊利诺伊大学芝加哥分校的研究者们共同发布了一篇全面覆盖几乎所有模态作为输入和输出组合的MM-RAG综述来全面且系统化地阐述这个广阔的研究和应用空间。

论文标题：A Comprehensive Survey on Multimodal RAG: All Combinations of Modalities as Input and OutputTechRxiv: https://doi.org/10.36227/techrxiv.176341513.38473003/v2GitHub 项目主页: https://github.com/INTREBID/Awesome-MM-RAG

该论文的最大亮点在于其前所未有的广度：

它首次覆盖了几乎所有可能使用的模态组合作为输入和输出，包括文本、图像、音频、视频、代码、表格、知识图谱、3D 对象等。

通过这种全面的梳理，作者们首先揭示了 MM-RAG 领域中庞大的潜在输入 - 输出模态组合空间，并指出了其中尚未被充分探索的空白（如表 1 所示）。在作者提出的 54 种潜在组合中，目前只有 18 种组合存在已有研究（表 1 中绿色对勾的格子），许多极具应用价值的组合 —— 例如 “文本 + 视频作为输入，生成视频作为输出”—— 仍是一片亟待开拓的蓝海。

表 1：基于输入 - 输出模态组合的 MM-RAG 分类法

在此基础上，作者们构建了一个基于输入 - 输出模态组合的全新 MM-RAG 分类法，不仅系统性地组织了现有研究，还清晰展示了不同 MM-RAG 系统的核心技术组件（如表 2 所示），为后续研究提供了统一框架和方法参考。

表 2不同输入输出模态下多模态 RAG 的核心技术组件、任务和应用

四大关键阶段剖析 MM-RAG 工作流

基于这个新的分类法，该综述深入分析了MM-RAG系统的工作流程，并将其划分为四个关键阶段（如图 1 所示）：

图 1 MM-RAG 的工作流

a)预检索 (Pre-retrieval)： 数据组织和查询的准备工作。

b)检索 (Retrieval)： 高效准确地从海量多模态知识库中找到相关信息。

c)增强 (Augmentation)： 将检索到的多模态信息有效地融入到大模型中。

d)生成 (Generation)： 根据输入和增强信息生成高质量的多模态输出。

论文详细总结了每个阶段的常用方法，并讨论了对于不同模态针对性的优化策略，为构建高性能的MM-RAG系统提供了实用的技术指导。

一站式指南：

训练、评估与应用前瞻

除了技术流程，该综述还提供了构建 MM-RAG 系统的一站式指南：

训练策略： 讨论了 MM-RAG 系统的训练方法，以最大化其检索和生成能力。评估方法： 总结了现有的MM-RAG 评估指标和 Benchmark，帮助研究者评估系统性能。应用与未来： 探讨了 MM-RAG 在多个领域的潜在应用，并指出了未来的重要研究方向。

作为首个覆盖所有常见输入 - 输出模态组合、并系统化解析了 MM-RAG 的工作流、组件、训练、评估等核心技术的综述，该论文不仅为研究者提供了索引式的知识入口，也为产业应用提供了全面的技术参考。论文作者还提供了持续更新的资源库，方便读者追踪最新进展。

  时事1：日日爽夜夜爽

  12月10日,（乡村行·看振兴）江西玉山“小辣椒”点燃乡村振兴“红火”图景,世界经济论坛官网17日刊文称，中国已成为全球最大的电动汽车市场，中国车企生产的电动汽车占全球电动汽车总产量的一半以上。而在这一市场上，墨菲和其他分析师认为，美国车企当下很难抵挡中国自主品牌的实力。墨菲说，消费者现在对中国自主品牌的“忠诚度”很强，尤其是在美国对中国电动汽车征收超过100%的关税后，这种“忠诚度”可能会变得更加强烈。,菲律宾影片中美女胸部按摩的精子。

  12月10日,经济前瞻论坛2025年会在北京举行,北京、上海、广州是3大全方位门户复合型功能的国际航空枢纽，成都、深圳、重庆、昆明、西安、乌鲁木齐、哈尔滨是7大区位门户复合型功能的国际航空枢纽。,18禁美女网站,男生和女生一起差差的轮滑鞋30分,人人车操视频人人看。

  时事2：韩国演艺圈悲惨事件全集播放

  12月10日,“链”上湖南 “湘”创未来丨一门戏，六百年 茶陵“守艺人”的传承与破圈,Copyright © 1996-2024 SINA Corporation,Ggy钙2022入口,斯嘉丽约❌翰逊🔞裸乳无打码㊙️,永久免费AⅤ无码网站在线观看。

  12月10日,官方通报“成都串串摊主重复使用锅底汤料”：情况属实，依法严肃处罚,适度超前也有面向未来的考量。李瀚明表示，最近几年，国内长途旅行取代了一部分出国游的需求。西北是国内长途旅行的主要目的地之一，新疆、青甘大环线等热度居高不下。西北遥远，高铁也不发达，更依赖民航运输。此外，西安和乌鲁木齐还有建设国际航空枢纽的需要。,❌黑色四叶🔞草酗酒魔女h,小🐤🐤戳进🍑里无遮挡网站,福❌利61开奖结果🔞查询今天㊙️。

  时事3：求在线黄色网站

  12月10日,海军新闻发言人就辽宁舰航母编队远海训练发布消息,据国际网球联合会发布的《2021年全球网球报告》，2021年全球参与网球运动的人口有8718万人，中国以1992万人成为全球网球参与人数排名第二的国家，仅次于美国，占全球总网球人口的22.9%。同时，中国网球场的数量也为全球第二，达49767个。网球教练则以11350人位居全球第五。,黄片毛片在线,抖音赵一菲39分,无码不卡A片免费视频在线观看。

  12月10日,江山如画｜一道“光”，惠及全球300万患者,民航业内人士李瀚明认为，本轮扩建前，很多西北机场处于超负荷状态。,日韩1024手机视频,靠比较件下载软件大全,久久国产V综合V亚洲欧美大。

  时事4：主人～别揉了～❌奶头🔞～啊～嗯视频㊙️

  12月10日,海南产经新观察：再揽百万英才，靠什么？,张先生说，因为网球人群的增多，网球运动关联经济也更加活跃。球衣、球袜、球包以及打球的各种装备和周边产品，包括网球训练课都在走俏。比赛数量的增加，更是提升了各地运动场馆的利用率。,太深了好涨尿进来了,亚洲天天做日日做天天欢毛片,精品🈚码产区一区二区三区。

  12月10日,更暖更轻 当航天材料遇到防寒服,2018年自然资源部成立后，钟自然任自然资源部党组成员，中国地质调查局局长、党组书记。直至2022年9月卸任。今年1月2日，即2024年首个工作日，其官宣被查。,小女生屄被大屌插视频在线,野外黄A片,另类视频一区二区三区。