搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

迎接「万物皆可RAG」时代:最新综述展示50多种多模态组合

2025-12-09 18:54:01
来源:

猫眼电影

作者:

袁黎

手机查看

  猫眼电影记者 林凯玲 报道首次登录送91元红包

大模型最广泛的应用如 ChatGPT、Deepseek、千问、豆包、Gemini 等通常会连接互联网进行检索增强生成(RAG)来产生用户问题的答案。随着多模态大模型(MLLMs)的崛起,大模型的主流技术之一 RAG 迅速向多模态发展,形成多模态检索增强生成(MM-RAG)这个新兴领域。ChatGPT、千问、豆包、Gemini 都开始允许用户提供文字、图片等多种模态的输入。

然而,目前对于 MM-RAG 的应用和研究都还处于非常初级的阶段,现有的 MM-RAG 研究以及综述论文主要聚焦于文本和图像等少数模态组合;音频、视频、代码、表格、知识图谱、3D 对象等多种模态的组合均可用于检索增强生成,却仅有很少的探索和研究。这使得研究者和开发者难以全面把握 MM-RAG 的技术脉络和广阔的应用空间。

来自华中科技大学、复旦大学、中国电信、美国伊利诺伊大学芝加哥分校的研究者们共同发布了一篇全面覆盖几乎所有模态作为输入和输出组合的MM-RAG综述来全面且系统化地阐述这个广阔的研究和应用空间。

论文标题:A Comprehensive Survey on Multimodal RAG: All Combinations of Modalities as Input and OutputTechRxiv: https://doi.org/10.36227/techrxiv.176341513.38473003/v2GitHub 项目主页: https://github.com/INTREBID/Awesome-MM-RAG

该论文的最大亮点在于其前所未有的广度:

它首次覆盖了几乎所有可能使用的模态组合作为输入和输出,包括文本、图像、音频、视频、代码、表格、知识图谱、3D 对象等。

通过这种全面的梳理,作者们首先揭示了 MM-RAG 领域中庞大的潜在输入 - 输出模态组合空间,并指出了其中尚未被充分探索的空白(如表 1 所示)。在作者提出的 54 种潜在组合中,目前只有 18 种组合存在已有研究(表 1 中绿色对勾的格子),许多极具应用价值的组合 —— 例如 “文本 + 视频作为输入,生成视频作为输出”—— 仍是一片亟待开拓的蓝海。

表 1:基于输入 - 输出模态组合的 MM-RAG 分类法

在此基础上,作者们构建了一个基于输入 - 输出模态组合的全新 MM-RAG 分类法,不仅系统性地组织了现有研究,还清晰展示了不同 MM-RAG 系统的核心技术组件(如表 2 所示),为后续研究提供了统一框架和方法参考。

表 2不同输入输出模态下多模态 RAG 的核心技术组件、任务和应用

四大关键阶段剖析 MM-RAG 工作流

基于这个新的分类法,该综述深入分析了MM-RAG系统的工作流程,并将其划分为四个关键阶段(如图 1 所示):

图 1 MM-RAG 的工作流

a)预检索 (Pre-retrieval): 数据组织和查询的准备工作。

b)检索 (Retrieval): 高效准确地从海量多模态知识库中找到相关信息。

c)增强 (Augmentation): 将检索到的多模态信息有效地融入到大模型中。

d)生成 (Generation): 根据输入和增强信息生成高质量的多模态输出。

论文详细总结了每个阶段的常用方法,并讨论了对于不同模态针对性的优化策略,为构建高性能的MM-RAG系统提供了实用的技术指导。

一站式指南:

训练、评估与应用前瞻

除了技术流程,该综述还提供了构建 MM-RAG 系统的一站式指南:

训练策略: 讨论了 MM-RAG 系统的训练方法,以最大化其检索和生成能力。评估方法: 总结了现有的MM-RAG 评估指标和 Benchmark,帮助研究者评估系统性能。应用与未来: 探讨了 MM-RAG 在多个领域的潜在应用,并指出了未来的重要研究方向。

作为首个覆盖所有常见输入 - 输出模态组合、并系统化解析了 MM-RAG 的工作流、组件、训练、评估等核心技术的综述,该论文不仅为研究者提供了索引式的知识入口,也为产业应用提供了全面的技术参考。论文作者还提供了持续更新的资源库,方便读者追踪最新进展。

 时事1:国产一区自

  12月09日,口腔这些不被重视的小事 关键时刻可能把癌症治疗拖垮,值得一提的是,三座机场都在本轮扩建中新修了跑道,兰州、乌鲁木齐因此成为国内为数不多的三跑道机场,西安更是拥有了四条跑道。,www.52yw❌.com我爱🔞原㊙️味网。

  12月09日,青海“铸牢中华民族共同体意识”文学实践活动开幕,今年36岁的李樟煜,已经在残疾人自行车项目征战多年。2012年伦敦残奥会,他第一次实现了残奥冠军梦。接下来,从里约到东京,再到巴黎,他带着梦想破风前行,每届残奥会都有金牌入账。据介绍,李樟煜获得的各类国际赛事奖牌已有50多枚。,夜间18款粉色APP,顺❌着🔞丝袜流下来㊙️,丁香花BD影视。

 时事2:国产精品久久久久久久精品福利

  12月09日,诺里斯首获F1车手总冠军 维斯塔潘无缘五连冠,在西北机场的你追我赶中,西安和乌鲁木齐最引人注目。两座机场不仅扩建规模最大,定位也更高。,蘑菇下载器下载一半卡死了,女人喷液高潮流白浆视频,女优淫娃培训部。

  12月09日,“中国发挥着‘稳定锚’作用”——访埃及前总理伊萨姆·沙拉夫,通报显示,钟自然丧失理想信念,背弃初心使命,对党不忠诚不老实,对抗组织审查,不信马列信鬼神,搞迷信活动;,一个人看的在线观看视频,国产精品电影在线400,广州深圳一级毛片。

 时事3:❌91🔞丨看电影丨㊙️91丨在线

  12月09日,北京公布明年城乡居民医保缴费标准,公器私用,将地质调查、矿产开发等权力作为敛财纳贿的工具,搞权钱交易,利用职务便利为他人在企业经营、项目承揽、矿权审批等方面谋利,并非法收受巨额财物;,3344在线成人看片,蝴❌蝶传媒4.3🔞.㊙️5黄,胸是贵气,❌腰是🔞运气,㊙️臀是财气。

  12月09日,微视频丨以文化赋能经济社会发展,钟自然严重违反党的政治纪律、组织纪律、廉洁纪律和生活纪律,构成严重职务违法并涉嫌受贿、故意泄露国家秘密犯罪,且在党的十八大后不收敛、不收手,性质严重,影响恶劣,应予严肃处理。,色鬼视频APP下载,二次元正能量图片下部百度,sx7em手心影院app下载安装。

 时事4:麻豆乱码1区2区新区

  12月09日,杭州灵隐寺免门票 浙江多景区跟进,“当年李娜一度手握13个国内外知名品牌代言,而郑钦文在奥运夺冠之前已有10个代言品牌。”纪宁认为,网球目前在中国的热度已今非昔比,李娜时代已奠定的中国网球经济的热度,在郑钦文夺冠后会被逐渐引爆。纪宁还表示,网球作为全球顶级的职业体育和商业体育项目,正逐步释放巨大的产业经济空间。,xxxxxwwwwww大尺度视频,腿再打开一点就能吃到扇贝了的图,97超碰在线公开。

  12月09日,2026年女足亚洲杯吉祥物——火焰马“娜拉”亮相,8月28日上午,中国煤矿文工团召开干部大会,宣布文工团领导任命决定。经文化和旅游部研究决定,任命靳东为中国煤矿文工团(中国安全生产艺术团)团长。,老司机操毛逼性感诱惑怕,美女被❌到高潮喷出白浆麻豆,TAFA.ME 特发联盟 最高价格 可包站 可预付。

责编:兰琳

审核:张慧民

责编:迪米特洛夫

相关推荐 换一换