猫眼电影记者 王章 报道首次登录送91元红包

大模型最广泛的应用如 ChatGPT、Deepseek、千问、豆包、Gemini 等通常会连接互联网进行检索增强生成（RAG）来产生用户问题的答案。随着多模态大模型（MLLMs）的崛起，大模型的主流技术之一 RAG 迅速向多模态发展，形成多模态检索增强生成（MM-RAG）这个新兴领域。ChatGPT、千问、豆包、Gemini 都开始允许用户提供文字、图片等多种模态的输入。

然而，目前对于 MM-RAG 的应用和研究都还处于非常初级的阶段，现有的 MM-RAG 研究以及综述论文主要聚焦于文本和图像等少数模态组合；音频、视频、代码、表格、知识图谱、3D 对象等多种模态的组合均可用于检索增强生成，却仅有很少的探索和研究。这使得研究者和开发者难以全面把握 MM-RAG 的技术脉络和广阔的应用空间。

来自华中科技大学、复旦大学、中国电信、美国伊利诺伊大学芝加哥分校的研究者们共同发布了一篇全面覆盖几乎所有模态作为输入和输出组合的MM-RAG综述来全面且系统化地阐述这个广阔的研究和应用空间。

论文标题：A Comprehensive Survey on Multimodal RAG: All Combinations of Modalities as Input and OutputTechRxiv: https://doi.org/10.36227/techrxiv.176341513.38473003/v2GitHub 项目主页: https://github.com/INTREBID/Awesome-MM-RAG

该论文的最大亮点在于其前所未有的广度：

它首次覆盖了几乎所有可能使用的模态组合作为输入和输出，包括文本、图像、音频、视频、代码、表格、知识图谱、3D 对象等。

通过这种全面的梳理，作者们首先揭示了 MM-RAG 领域中庞大的潜在输入 - 输出模态组合空间，并指出了其中尚未被充分探索的空白（如表 1 所示）。在作者提出的 54 种潜在组合中，目前只有 18 种组合存在已有研究（表 1 中绿色对勾的格子），许多极具应用价值的组合 —— 例如 “文本 + 视频作为输入，生成视频作为输出”—— 仍是一片亟待开拓的蓝海。

表 1：基于输入 - 输出模态组合的 MM-RAG 分类法

在此基础上，作者们构建了一个基于输入 - 输出模态组合的全新 MM-RAG 分类法，不仅系统性地组织了现有研究，还清晰展示了不同 MM-RAG 系统的核心技术组件（如表 2 所示），为后续研究提供了统一框架和方法参考。

表 2不同输入输出模态下多模态 RAG 的核心技术组件、任务和应用

四大关键阶段剖析 MM-RAG 工作流

基于这个新的分类法，该综述深入分析了MM-RAG系统的工作流程，并将其划分为四个关键阶段（如图 1 所示）：

图 1 MM-RAG 的工作流

a)预检索 (Pre-retrieval)： 数据组织和查询的准备工作。

b)检索 (Retrieval)： 高效准确地从海量多模态知识库中找到相关信息。

c)增强 (Augmentation)： 将检索到的多模态信息有效地融入到大模型中。

d)生成 (Generation)： 根据输入和增强信息生成高质量的多模态输出。

论文详细总结了每个阶段的常用方法，并讨论了对于不同模态针对性的优化策略，为构建高性能的MM-RAG系统提供了实用的技术指导。

一站式指南：

训练、评估与应用前瞻

除了技术流程，该综述还提供了构建 MM-RAG 系统的一站式指南：

训练策略： 讨论了 MM-RAG 系统的训练方法，以最大化其检索和生成能力。评估方法： 总结了现有的MM-RAG 评估指标和 Benchmark，帮助研究者评估系统性能。应用与未来： 探讨了 MM-RAG 在多个领域的潜在应用，并指出了未来的重要研究方向。

作为首个覆盖所有常见输入 - 输出模态组合、并系统化解析了 MM-RAG 的工作流、组件、训练、评估等核心技术的综述，该论文不仅为研究者提供了索引式的知识入口，也为产业应用提供了全面的技术参考。论文作者还提供了持续更新的资源库，方便读者追踪最新进展。

  时事1：欧美性爱亚洲性爱亚洲

  12月04日,打通“末梢梗阻”城乡共饮放心水 以水为“媒”促增收撑起农户“钱袋子”,2024年，西安机场旅客吞吐量4703.04万人次，排名全国第11位；乌鲁木齐机场旅客吞吐量2776.57万人次，排名全国第18位。西安去年GDP为13317.78亿元，排名全国第21位；乌鲁木齐去年GDP仅为4502.16亿元，排名全国第74位。,欧美日韩一区在线不卡。

  12月04日,这份“九三健康大礼包”请家中老人查收,纪宁说：“欧美国家的网球市场已逐渐进入饱和阶段，中国被认为可能带来新的爆发性增长点。”他认为，在中国这个网球新兴市场，应更充分地挖掘体育明星的商业价值。“这有利于全面释放中国体育经济的增长潜力。”,一个人看的视频www在线观看免费,雏田❌自慰爽naruto网站,www.黄色.com.。

  时事2：日韩❌精品一区二区在线🔞观㊙️看

  12月04日,（乡村行·看振兴）安徽五河民生账单里的温暖印记,靳东，1976年出生于山东省，毕业于中央戏剧学院，国家一级演员，曾获得“青年五四奖章”先进个人、“全国德艺双馨电视艺术工作者”等荣誉称号。他还是第十四届全国政协委员。,亚洲一区二区在线免费观看视频,国产A级性婬免费,在线观看AV网站。

  12月04日,先砸巨额军费再抛“台独”方案，赖清德被斥“在玩台湾人的命”,对西北城市来说，机场的作用尤为重要。西北不沿海，也没有内河航运。依托铁路和机场打造枢纽，形成开放门户，无论对区域还是全国而言，都具有经济与战略的双重意义。,好屌看视频人人干,91se超碰,鸭脖视频无限观看入口app下载。

  时事3：性欧洲videosgratis极品

  12月04日,“十四五”以来雄安新区创建3个国家级、28个省级民主法治示范村（社区）,钟自然出生于1962年8月，安徽桐城人，曾在原地质矿产部和原国土资源部工作多年，2014年任原国土资源部党组成员，中国地质调查局局长、党组书记。,china外卖小哥gary,黄瓜视频APP无限看丝瓜视,被邻居舔做ai。

  12月04日,清华大学明确：严禁学生使用人工智能代写,曾文莉说，“要发展网球经济和其他体育经济，我们要思考一下，是否已将体育产业充分市场化，运动员的商业价值是否已充分释放，对体育产业、体育经济的杠杆作用是否已充分发挥。”她表示，“我们应该为明星运动员的商业活动营造更好的舆论环境、政策环境和制度环境。”,一级毛片播放网站,国产剧情精品美女演绎在线,free性国产高清精品HD。

  时事4：姜罚 分腿 惩戒室调教s️m

  12月04日,2000多种林产品亮相第三届广东林业博览会,李瀚明表示，乌鲁木齐机场的国际航线虽然多，但不强。比如国际航班量占比较少，国际航班密度不够，国际航线集中在中亚、西亚。香港航线实际上是乌鲁木齐唯一一条向东直飞的国际和地区航线。,女人隐私㊙️小片黄,黄色视频福利导航,精品国产500字在线。

  12月04日,成都混团世界杯签表出炉 中国队与中国香港队同组,“实际上就是‘打样’。”李瀚明认为，国泰开航证明了乌鲁木齐机场具备保障顶级航司的能力，会产生示范效应。国泰飞得好，其他国际顶级航司，以及东亚、东南亚的航司都会考虑跟进。除了证明机场的保障能力，也是新疆以此为契机，对外释放开放活力的强烈信号。,三上悠亚视频一区二区国内自拍,铃原爱在线观看,一本精品无码不卡在线。