TPAMI 2025 | 计算机视觉中基于图神经网络和图Transformers的方法和最新进展

---

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AIxiv专栏 是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏 接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本篇综述工作已被《IEEE 模式分析与机器智能汇刊》（IEEE TPAMI）接收，作者来自三个团队：香港大学俞益洲教授与博士生陈超奇、周洪宇，香港中文大学（深圳）韩晓光教授与博士生吴毓双、许牧天，上海科技大学杨思蓓教授与硕士生戴启元。近年来，由于在图表示学习（graph representation learning）和非网格数据（non-grid data）上的性能优势，基于图神经网络（Graph Neural Networks，GNN）的方法被广泛应用于不同问题并且显著推动了相关领域的进步，包括但不限于数据挖掘（例如，社交网络分析、推荐系统开发）、计算机视觉（例如，目标检测、点云处理）和自然语言处理（例如，关系提取、序列学习）。考虑到图神经网络已经取得了丰硕的成果，一篇全面且详细的综述可以帮助相关研究人员掌握近年来计算机视觉中基于图神经网络的方法的进展，以及从现有论文中总结经验和产生新的想法。可惜的是，我们发现由于图神经网络在计算机视觉中应用非常广泛，现有的综述文章往往在全面性或者时效性上存在不足，因此无法很好的帮助科研人员入门和熟悉相关领域的经典方法和最新进展。同时，如何合理地组织和呈现相关的方法和应用是一个不小的挑战。

论文标题：

1. A Survey on Graph Neural Networks and Graph Transformers in Computer Vision: A Task-Oriented Perspective

论文地址：

• https://arxiv.org/abs/2209.13232（预印版）
• https://ieeexplore.ieee.org/document/10638815（IEEE 版）

简介：

尽管基于卷积神经网络（CNN）的方法在处理图像等规则网格上定义的输入数据方面表现出色，研究人员逐渐意识到具有不规则拓扑的视觉信息对于表示学习至关重要，但尚未得到彻底研究。与具有内在连接和节点概念的自然图数据（如社交网络）相比，从规则网格数据构建图缺乏统一的原则且严重依赖于特定的领域知识。另一方面，某些视觉数据格式（例如点云和网格）并非在笛卡尔网格上定义的，并且涉及复杂的关系信息。因此，规则和不规则的视觉数据格式都将受益于拓扑结构和关系的探索，特别是对于具有挑战性的任务，例如理解复杂场景、从有限的经验中学习以及跨领域进行知识传递。

计算机视觉中的图神经网络：

在计算机视觉领域，目前许多与 GNN 相关的研究都有以下两个目标之一：

1. GNN 和 CNN 主干的混合
2. 用于表示学习的纯 GNN 架构

本综述的结构：

Remover

几秒钟去除图中不需要的元素

304 查看详情

本综述以任务为导向对计算机视觉中基于图神经网络（包括图 Transformers）的方法和最新进展进行了全面且详细的调研。具体来说，我们根据输入数据的模态将图神经网络在计算机视觉中的应用大致划分为五类：

• 自然图像（二维）
• 视频
• 视觉 + 语言
• 三维数据（例如，点云）
• 医学影像

结论：

本综述系统性地总结了基于图神经网络的计算机视觉方法的统一数学表达，阐明了我们组织这些文章的逻辑关系，突出了该领域的关键挑战，展示了图神经网络在应对这些挑战的独特优势，并讨论了它的局限和未来发展路线。

                               图神经网络发展史GNN 最初以循环 GNN 的形式发展，用于从有向无环图中提取节点表示。随着研究的发展，GNN 逐渐扩展到更多类型的图结构，如循环图和无向图。受到深度学习中 CNN 的启发，研究人员开发了将卷积概念推广到图域的方法，主要包括基于频域的方法和基于空域的方法。频域方法依赖于图的拉普拉斯谱来定义图卷积，而空域方法则通过聚合节点邻居的信息来实现图卷积。这些方法为处理复杂的图结构和不规则拓扑提供了有效的工具，极大地推动了 GNN 在多个领域，尤其是计算机视觉中的应用和发展。

具体来说，我们详尽地调查了如下这些任务：

1. 基于二维自然图像的视觉任务，包括图像分类（多标签、少量镜头、零镜头、迁移学习）、物体检测、语义分割和场景图生成。
2. 基于视频的视觉任务，包括视频动作识别、时序动作定位、多目标跟踪、人体运动预测和轨迹预测。
3. 视觉 + 语言方向的任务，包括视觉问答、视觉定位、图像字幕、图像-文本匹配和视觉-语言导航。
4. 基于三维数据的视觉任务，包括三维表示学习（点云、网格）、三维理解（点云分割、三维物体检测、三维视觉定位）和三维生成（点云完成、三维数据去噪、三维重建）。
5. 基于医学影像的任务，包括脑活动调查、疾病诊断（脑部疾病、胸部疾病）、解剖分割（脑表面、血管等）。

总结来说，尽管在感知领域取得了突破性的进展，如何赋予深度学习模型推理能力仍然是现代计算机视觉系统面临的巨大挑战。在这方面，图神经网络和图 Transformers 在处理“关系”任务方面表现出了显著的灵活性和优越性。为此，我们从面向任务的角度首次对计算机视觉中的图神经网络和图 Transformers 进行了全面的综述。各种经典和最新的算法根据输入数据的模态（如图像、视频和点云）分为五类。通过系统地整理每个任务的方法，我们希望本综述能够为未来的更多进展提供启示。通过讨论关键的创新、局限性和潜在的研究方向，我们希望读者能够获得新的见解，并朝着类似人类的视觉理解迈进一步。

以上就是TPAMI 2025 | 计算机视觉中基于图神经网络和图Transformers的方法和最新进展的详细内容，更多请关注其它相关文章！

# 进行了  # 餐饮网站建设优化推广  # 和平区营销推广系统招标  # 合肥化工网站建设  # 顺德网站建设方式  # 建设批发网站  # 扬州网站建设咨询  # 淘宝女装网站推广  # 乐山网站推广优化  # seo类别名称大全  # 萍乡网站营销推广哪个好  # 音画  # 产业  # 来袭  # 云和  # 开源  # 推动了  # 图中  # 一键  # 笛卡尔  # 最新进展  # 社交网络  # 图神经网络 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 对Hugging Face开源模型精准投毒！LLM切脑后变身PoisonGPT，用虚假事实洗脑60亿人  2025年深圳举办的SUSECON 创新峰会开始接受报名  美的推出 AI 双视精准避障的自动集尘扫拖机器人 V12，售价仅为2999元  日新月异，脑机接口技术都有哪些新应用？  当一切设备都受到人工智能的控制  浪潮KaiwuDB：“快人一步” - 打造更懂物联网的数据库  轻量级的深度学习框架Tinygrad  实现人工智能和物联网的协同运作  DragGAN开源三天Star量23k，这又来一个DragDiffusion  自研4D激光雷达L1 + GPT大语言模型 宇树Unitree Go2四足机器人有啥黑科技？  “具身智能”引爆机器人产业，看绝影Lite3/X20四足机器人有何特别之处？  为AI而服务设计：构建以人为本的AI创新方法  李开复官宣新公司「零一万物」，进军 AI 2.0  日入400万，第一批AI骗子已上岗  AI连线 | 专访风平智能CEO林洪祥：让AI数字人拥有漂亮的外表和有趣的灵魂，安全问题是重要考量  OpenAI首席执行官表态支持欧盟AI监管  全新“AI助手”！讯飞星火助手中心人机协作共创新生态  GPT-4使用混合大模型？研究证明MoE+指令调优确实让大模型性能超群  海柔创新携手SAP，以机器人技术助力全球客户升级数智化竞争力  微软宣布为 Azure AI 添加男性声线，增强文本转语音功能  MiracleVision视觉大模型上线时间  GPT-4成功战胜AI-Guardian审核系统：谷歌研究团队的人工智能抵抗人工智能  云米Smart 2E AI立式空调开启预售：新三级能效，到手价3899元  华为云发布华为云盘古模型3.0和升腾AI云服务，亮点亮相2025华为开发者大会  AI和ML推动联网设备的增长  2025年的网络分区：人工智能和自动化如何改变事物  “直击”AI新世界，智能机器人再次“火出圈”了  无人机协助盐城交通执法的协同训练  ChatGPT设计出的第一个机器人来了！【附人工智能行业预测】  pixivFANBOX 更新运营规则，禁止通过外链绕开 AI 生成禁令  微软在 Bing 和 Edge 浏览器中拓展网购服务，帮用户选购心仪产品  人工智能助力林草行业高质量发展  百度文心一言App上架苹果商店，人工智能创作引发热议  爱设计 AI 一键生成 PPT 工具上线：输入标题即可生成 PPT  前特斯拉总监、OpenAI大牛Karpathy：我被自动驾驶分了心，AI智能体才是未来！  OpenAI更新GPT-4等模型，新增API函数调用，价格最高降75%  研究发现AI聊天机器人ChatGPT不会讲笑话，只会重复25个老梗  智能客服进入AI 2.0时代 容联云发布语言大模型“赤兔”  美图公司：Wink国内首发AI画面拓展功能  争鸣：OpenAI奥特曼、Hinton、杨立昆的AI观点到底有何不同？  《爱康未来之夜嘉宾官宣，携手共赴AI未来》  ​布局智能物联新时代,中国移动“5G+物联网”亮相2025 MWC  数字文明尼山对话 | 在东方圣城与AI潮流梦幻联动，看“智慧大脑”让数字山东更美好  人工智能如何与智能家居集成  360发布认知型通用大模型“360智脑4.0” 全面接入360全家桶  V社悄悄封禁使用AI生成美术素材的游戏  OpenAI高管：AI能创造新的就业机会 但也会淘汰一些  Zoom远程会议应用：AI培训需经用户授权  谷歌计划在上海举办开发者大会，重点关注机器学习和生成式AI领域  放弃自动驾驶，也是一种和解 

 2024-09-09