视觉Mamba模型的Swin时刻，中国科学院、华为等推出VMamba

---

Transformer在大模型领域的地位无可撼动。然而，随着模型规模的扩展和序列长度的增加，传统的Transformer架构的局限性开始凸显。幸运的是，Mamba的问世正在迅速改变这一现状。它出色的性能立即引起了AI界的轰动。Mamba的出现为大规模模型的训练和序列处理带来了巨大的突破。它的优势在AI界迅速蔓延，为未来的研究和应用带来了巨大的希望。

上周四， Vision Mamba（Vim）的提出已经展现了它成为视觉基础模型的下一代骨干的巨大潜力。仅隔一天，中国科学院、华为、鹏城实验室的研究人员提出了 VMamba：一种具有全局感受野、线性复杂度的视觉 Mamba 模型。这项工作标志着视觉 Mamba 模型 Swin 时刻的来临。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文标题：VMamba: Visual State Space Model
• 论文地址: https://arxiv.org/abs/2401.10166
• 代码地址: https://github.com/MzeroMiko/VMamba

CNN 和视觉 Transformer（ViT）是当前最主流的两类基础视觉模型。尽管 CNN 具有线性复杂度，ViT 具有更为强大的数据拟合能力，然而代价是计算复杂较高。研究者认为 ViT 之所以拟合能力强，是因为其具有全局感受野和动态权重。受 Mamba 模型的启发，研究者设计出一种在线性复杂度下同时具有这两种优秀性质的模型，即 Visual State Space Model（VMamba）。大量的实验证明，VMamba 在各种视觉任务中表现卓越。如下图所示，VMamba-S 在 ImageNet-1K 上达到 83.5% 的正确率，比 Vim-S 高 3.2%，比 Swin-S 高 0.5%。

方法介绍

VMamba 的成功关键在于采用了 S6 模型，这个模型最初是为了解决自然语言处理（NLP）任务而设计的。与 ViT 的注意力机制不同，S6 模型通过将 1D 向量中的每个元素与之前的扫描信息进行交互，有效地将二次复杂度降低为线性。这种交互方式使得 VMamba 在处理大规模数据时更加高效。因此，S6 模型的引入为 VMamba 的成功打下了坚实的基础。

然而，由于视觉信号（如图像）不像文本序列那样具有天然的有序性，因此无法在视觉信号上简单地对 S6 中的数据扫描方法进行直接应用。为此研究者设计了 Cross-Scan 扫描机制。Cross-Scan 模块（CSM）采用四向扫描策略，即从特征图的四个角同时扫描（见上图）。该策略确保特征中的每个元素都以不同方向从所有其他位置整合信息，从而形*局感受野，又不增加线性计算复杂度。

在 CSM 的基础上，作者设计了 2D-selective-scan（SS2D）模块。如上图所示，SS2D 包含了三个步骤：

• scan expand 将一个 2D 特征沿 4 个不同方向（左上、右下、左下、右上）展平为 1D 向量。
• S6 block 独立地将上步得到的 4 个 1D 向量送入 S6 操作。
• scan merge 将得到的 4 个 1D 向量融合为一个 2D 特征输出。

上图为本文提出的 VMamba 结构图。VMamba 的整体框架与主流的视觉模型类似，其主要区别在于基本模块（VSS block）中采用的算子不同。VSS block 采用了上述介绍的 2D-selective-scan 操作，即 SS2D。SS2D 保证了 VMamba 在线性复杂度的代价下实现全局感受野。

实验结果

imagenet 分类

通过对比实验结果不难看出，在相似的参数量和 FLOPs 下:

• VMamba-T 取得了 82.2% 的性能，超过 RegNetY-4G 达 2.2%、DeiT-S 达 2.4%、Swin-T 达 0.9%。
• VMamba-S 取得了 83.5% 的性能，超过 RegNetY-8G 达 1.8%，Swin-S 达 0.5%。
• VMamba-B 取得了 83.2% 的性能（有 bug，正确结果将尽快在 Github 页面更新），比 RegNetY 高 0.3%。

这些结果远高于 Vision Mamba (Vim) 模型，充分验证了 VMamba 的潜力。

COCO 目标检测

在 COOCO 数据集上，VMamba 也保持卓越性能：在 fine-tune 12 epochs 的情况下，VMamba-T/S/B 分别达到 46.5%/48.2%/48.5% mAP，超过了 Swin-T/S/B 达 3.8%/3.6%/1.6% mAP，超过 ConvNeXt-T/S/B 达 2.3%/2.8%/1.5% mAP。这些结果验证了 VMamba 在视觉下游实验中完全 work，展示出了能平替主流基础视觉模型的潜力。

ADE20K 语义分割

在 ADE20K 上，VMamba 也表现出卓越性能。VMamba-T 模型在 512 × 512 分辨率下实现 47.3% 的 mIoU，这个分数超越了所有竞争对手，包括 ResNet，DeiT，Swin 和 ConvNeXt。这种优势在 VMamba-S/B 模型下依然能够保持。

分析实验

有效感受野

SCISPACE

AI论文研究助手，探索和解释论文的平台

65 查看详情

VMamba 具有全局的有效感受野，其他模型中只有 DeiT 具有这个特性。但是值得注意的是，DeiT 的代价是平方级的复杂度，而 VMamaba 是线性复杂度。

输入尺度缩放

• 上图（a）显示，VMamba 在不同输入图像尺寸下展现出最稳定的性能（不微调）。有意思的是，随着输入尺寸从 224 × 224 增加到 384 × 384，只有 VMamba 表现出性能明显上升的趋势（VMamba-S 从 83.5% 上升到 84.0%），突显了其对输入图像大小变化的稳健性。
• 上图（b）显示，VMamba 系列模型随着输入变大，复杂性呈线性增长，这与 CNN 模型是一致的。

最后，让我们期待更多基于 Mamba 的视觉模型被提出，并列于 CNNs 和 ViTs，为基础视觉模型提供第三种选择。

以上就是视觉Mamba模型的Swin时刻，中国科学院、华为等推出VMamba的详细内容，更多请关注其它相关文章！

# 数据  # 济南官网seo优化工具  # 广州装备机械SEO  # 徐州移动seo  # 网站优化后关键词排名  # 福建谷歌seo海外推广  # 本地营销推广公司招聘  # 企客营销推广  # 上海  # 所示  # 采用了  # 带来了  # 表现出  # 取得了  # 丰田  # 的是  # 华为  # 中国科学院  # 模型  # 阜康seo优化关键词  # 阜康网站关键词优化排名  # 天门seo搜索推广排名 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 有 ARM 和 X86 两个版本，香橙派游戏掌机细节曝光  万兴播爆桌面端上线，支持AI数字人搜索、视频编辑等功能  中美陷入囚徒困境，人工智能变得不可控？可参考核不扩散条约规范  从数据中心到发电站：人工智能对能源使用的影响  尼康尼克尔 Z 180-600mm f/5.6-6.3 VR 镜头发布，12499 元  读创正式上线“读创AI聊”功能  物联网和人工智能的协同作用：释放预测性维护的潜力  阿里达摩院发布免费开放100项AI专利许可的动机是什么？  “世界上最像人的机器人”接入 Stable Diffusion ，现场完成作画  “踩油门，也要会踩刹车” 互联网企业高管谈人工智能发展  国网辉南供电：无人机空中巡检 全力护航端午佳节  Win11 AI 助手 Windows Copilot 被吐槽：套皮的 Edge 浏览器  北京市通用人工智能产业创新伙伴计划名单公布，京东科技入选“算力伙伴”  《上古卷轴5》AI高清材质包优化游戏中所有怪物  腾讯TRS之元学习与跨域推荐的工业实战  移远通信率先完成多场5G NTN技术外场验证，为卫星物联网应用落地提速  英伟达的AI领域垄断地位：一直无法撼动吗？  无人机自主巡检为高海拔输电线路运维添“新彩”  2025 年开发者必须知道的六个 AI 工具  QQ音乐业内率先推出「AI一起听」功能，领取你的AI听歌助手  谷歌内部正在测试代号为Genesis的AI新闻写作产品  2025世界人工智能大会成功召开  开创全新虚拟现实体验的Pimax Crystal VR头显  超级智能到底是什么？  280万条多模态指令-响应对，八种语言通用，首个涵盖视频内容的指令数据集MIMIC-IT来了  抖音在Android平台获得VR|直播|软件著作权  如何用AI重塑你的工作流（一）  建立元宇宙产业联盟：移动、咪咕、华为、小米等加入  Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码  对艺术家拒绝置若罔闻，Stability AI 将推出适应多种画风的开源模型  国家发改委组织工业机器人产业高质量发展现场会  AI时代，企业需要什么样的员工？  奥比中光子公司和斯坦德机器人深度合作，共同推进新一代激光雷达的研发  组建团队，字节跳动要造机器人？  2025年贵州省青少年机器人竞赛在安举行  WHEE上线时间介绍  华为云盘古大模型3.0发布 AI云服务同时上线：200亿亿次性能  大模型的“黄金搭档”来了！腾讯云正式发布AI原生向量数据库，提供10亿级向量检索能力  走进首家“元宇宙”未来工厂，卡奥斯探知工业之旅出发！  华为发布两款AI存储新品  两小时就能超过人类！DeepMind最新AI速通26款雅达利游戏  2025世界人工智能大会前沿科技共绘“未来”图景， 这家这家独角兽企业的通用大脑将在AI领域大放异彩  网易云音乐内测上线“私人DJ” 打造AI推荐音乐助手  黄仁勋：5年前，我们对AI抱有巨大期望  即将到来：AI婚纱设计软件实际测试，人工智能即将开创婚纱设计新纪元  谷歌 Gmail“帮我写电子邮件”AI 功能开始向安卓和苹果设备推广  陈根：AI工具为游戏软件实时3D内容助力  猿辅导推出Motiff，整合三大AI功能，助力UI设计生产力革新  印象笔记开放旗下“印象 AI”，可一键生成思维导图、写文章等  OpenAI宣布在伦敦设立海外分部，要招揽“世界级人才” 

 2024-01-22