猫眼电影记者 阿苏山 报道首次登录送91元红包

大模型最广泛的应用如 ChatGPT、Deepseek、千问、豆包、Gemini 等通常会连接互联网进行检索增强生成（RAG）来产生用户问题的答案。随着多模态大模型（MLLMs）的崛起，大模型的主流技术之一 RAG 迅速向多模态发展，形成多模态检索增强生成（MM-RAG）这个新兴领域。ChatGPT、千问、豆包、Gemini 都开始允许用户提供文字、图片等多种模态的输入。

然而，目前对于 MM-RAG 的应用和研究都还处于非常初级的阶段，现有的 MM-RAG 研究以及综述论文主要聚焦于文本和图像等少数模态组合；音频、视频、代码、表格、知识图谱、3D 对象等多种模态的组合均可用于检索增强生成，却仅有很少的探索和研究。这使得研究者和开发者难以全面把握 MM-RAG 的技术脉络和广阔的应用空间。

来自华中科技大学、复旦大学、中国电信、美国伊利诺伊大学芝加哥分校的研究者们共同发布了一篇全面覆盖几乎所有模态作为输入和输出组合的MM-RAG综述来全面且系统化地阐述这个广阔的研究和应用空间。

论文标题：A Comprehensive Survey on Multimodal RAG: All Combinations of Modalities as Input and OutputTechRxiv: https://doi.org/10.36227/techrxiv.176341513.38473003/v2GitHub 项目主页: https://github.com/INTREBID/Awesome-MM-RAG

该论文的最大亮点在于其前所未有的广度：

它首次覆盖了几乎所有可能使用的模态组合作为输入和输出，包括文本、图像、音频、视频、代码、表格、知识图谱、3D 对象等。

通过这种全面的梳理，作者们首先揭示了 MM-RAG 领域中庞大的潜在输入 - 输出模态组合空间，并指出了其中尚未被充分探索的空白（如表 1 所示）。在作者提出的 54 种潜在组合中，目前只有 18 种组合存在已有研究（表 1 中绿色对勾的格子），许多极具应用价值的组合 —— 例如 “文本 + 视频作为输入，生成视频作为输出”—— 仍是一片亟待开拓的蓝海。

表 1：基于输入 - 输出模态组合的 MM-RAG 分类法

在此基础上，作者们构建了一个基于输入 - 输出模态组合的全新 MM-RAG 分类法，不仅系统性地组织了现有研究，还清晰展示了不同 MM-RAG 系统的核心技术组件（如表 2 所示），为后续研究提供了统一框架和方法参考。

表 2不同输入输出模态下多模态 RAG 的核心技术组件、任务和应用

四大关键阶段剖析 MM-RAG 工作流

基于这个新的分类法，该综述深入分析了MM-RAG系统的工作流程，并将其划分为四个关键阶段（如图 1 所示）：

图 1 MM-RAG 的工作流

a)预检索 (Pre-retrieval)： 数据组织和查询的准备工作。

b)检索 (Retrieval)： 高效准确地从海量多模态知识库中找到相关信息。

c)增强 (Augmentation)： 将检索到的多模态信息有效地融入到大模型中。

d)生成 (Generation)： 根据输入和增强信息生成高质量的多模态输出。

论文详细总结了每个阶段的常用方法，并讨论了对于不同模态针对性的优化策略，为构建高性能的MM-RAG系统提供了实用的技术指导。

一站式指南：

训练、评估与应用前瞻

除了技术流程，该综述还提供了构建 MM-RAG 系统的一站式指南：

训练策略： 讨论了 MM-RAG 系统的训练方法，以最大化其检索和生成能力。评估方法： 总结了现有的MM-RAG 评估指标和 Benchmark，帮助研究者评估系统性能。应用与未来： 探讨了 MM-RAG 在多个领域的潜在应用，并指出了未来的重要研究方向。

作为首个覆盖所有常见输入 - 输出模态组合、并系统化解析了 MM-RAG 的工作流、组件、训练、评估等核心技术的综述，该论文不仅为研究者提供了索引式的知识入口，也为产业应用提供了全面的技术参考。论文作者还提供了持续更新的资源库，方便读者追踪最新进展。

  时事1：❌娇小2🔞一8XX㊙️Xx性开放

  12月08日,（文化中国行）老牌国货“回潮”：怀旧风“吹”起消费新风尚,曾文莉说，“要发展网球经济和其他体育经济，我们要思考一下，是否已将体育产业充分市场化，运动员的商业价值是否已充分释放，对体育产业、体育经济的杠杆作用是否已充分发挥。”她表示，“我们应该为明星运动员的商业活动营造更好的舆论环境、政策环境和制度环境。”,玩偶姐姐的剧在哪里看。

  12月08日,国际滑联花样滑冰大奖赛总决赛：中国队包揽青年组双人滑冠亚军,短短几个月时间，西北四大省会密集完成了机场扩建，而且规模都非常可观，呈你追我赶之势。,免费三级网扯,又又酱新年制作视频2020播放,斗罗❌大陆h🔞5内购无限钻㊙️石。

  时事2：❌韩漫 秘密🔞教㊙️学

  12月08日,桂振华：中国为全球绿色转型发展注入新动能,国泰航空之前已在内地开通19个航点，但这次格外用心，为乌鲁木齐航线专门投放了配备可全平躺商务舱座椅的A330-300宽体机，在机载娱乐系统加入了《我的阿勒泰》，商务舱酒单上还出现了新疆产的红酒。,男同志被🌿出水动漫app,锕锕锕锕锕知乎,亚洲图片25p。

  12月08日,首届贺兰山东麓山地自行车挑战赛在西夏陵景区举行,钟自然出生于1962年8月，安徽桐城人，曾在原地质矿产部和原国土资源部工作多年，2014年任原国土资源部党组成员，中国地质调查局局长、党组书记。,❌英雄联盟🔞卡莎翻㊙️白眼流眼泪图,国产精品网站入口污污污,毛片网站介绍个。

  时事3：黄色成人影院免费

  12月08日,焦点访谈｜村子里来了“法律明白人”，他们如何让宪法更“接地气”？,曾文莉认为，在职业选手商业价值充分释放后，其成功效应才会吸引更多的人群尤其是青少年从事网球运动，而这是中国网球经济发展的根基。,杏tv,半夜把❌亲🔞妺妺㊙️c高潮了作文,欧洲一道本爱爱爱爱射射射。

  12月08日,山西襄垣：便民食堂“烹出”家门口的幸福滋味,根据美国CNBC网站梳理的数据，通用汽车及其合资公司在华市场份额从2015年的15%左右降至去年的8.6%，中国市场盈利占通用汽车全部盈利的比例也有所下降。2022年，斯特兰蒂斯集团表示只在中国地区保留其旗下Jeep品牌的进口业务。,国产片2828秋霞,❌美女基因🔞变异变成怪㊙️物,www韩国AV网站。

  时事4：精品人人做人人爽

  12月08日,短视频里为何总有“三月回本，月入N万”的活？摆拍套路揭秘,也有质疑的声音。西北经济不发达、财政也不宽裕，更大规模意味着更多投资，这些大手笔扩建是否超前？,ysl千人千色ae86,在线观看免费国产,国产 三级 精品。

  12月08日,教育家精神万里行｜韩邦兴：育人于山河 师者如星火,新疆机场集团总经理吕辉斌表示，国泰航空开通乌鲁木齐至香港航线，标志着乌鲁木齐天山国际机场的航线网络又一次升级，满足了新疆及周边地区旅客日益增长的出行需求，不仅提升了乌鲁木齐机场的国际化水平，也将进一步增强新疆的区位优势和影响力，共同助力打造乌鲁木齐成为连接亚欧区域门户复合型国际航空枢纽目标。,8x8ⅹcom永久免费视频,www.91在线视频,国产精品wwwwc。