EfficientViT | 边缘设备上实时语义分割

---

efficientvit: 用于设备端语义分割的轻量级多尺度注意力

---

论文链接：https://www.php.cn/link/e102943424a748e28068406f64765596 代码链接：https://www.php.cn/link/8c9ce62eb00bfc39549c0b3cbe197ceb 演示

---

摘要：在针对高分辨率视觉应用时，视觉变换器（ViT）不如卷积神经网络（CNN）表现出色。ViT 的关键计算瓶颈是 softmax 注意力模块，其计算复杂度与输入分辨率成二次方关系。降低 ViT 的成本以便在边缘设备上部署至关重要。现有的方法（如 Swin、PVT）通过将 softmax 注意力限制在局部窗口内或降低键/值张量的分辨率来降低成本，但这牺牲了 ViT 在全局特征提取方面的核心优势。EfficientViT 是一种高效的 ViT 架构，用于高分辨率、低计算成本的视觉识别。我们建议使用线性注意力替代 softmax 注意力，同时通过深度卷积增强其局部特征提取能力。EfficientViT 保持了全局和局部特征提取能力，同时享受线性计算复杂度。EfficientViT 是一个全新的轻量级多尺度注意力的语义分割模型系列。与之前的语义分割模型不同，这些模型依赖于沉重的自我关注、硬件效率低下的“大核”卷积或复杂拓扑结构来获得良好性能，而我们的轻量级多尺度注意力仅需轻量级和高效的硬件操作，就能实现全局感受野和多尺度学习（语义分割模型的两个关键特征）。在基准数据集上，EfficientViT 比以往最先进的语义分割模型有显著的性能提升，并在移动平台上显著提速。在 Cityscapes 上，我们的 EfficientViT 在不损失性能的情况下，在移动平台上的性能分别提高了 15 倍和 9.3 倍。与 SegNeXt 相比，移动延迟分别减少了 15 倍和 9.3 倍。在保持相同移动延迟的情况下，EfficientViT 在 ADE20K 上比 SegNeXt 增加了 7.4 mIoU。

贡献：将注意力机制的 softmax 平方复杂度降低到线性复杂度，同时引入深度卷积增强局部特征提取能力。 image-20250919102753047

相关工作：基于 ViT 的模型、设备端高分辨率语义分割 方法论：概述、轻量级多尺度注意力 image-20250919102314552

虽然线性注意力在计算复杂度和硬件延迟方面优于 softmax 注意力，但线性注意力有其局限性。以往的研究表明，在 NLP 中，线性注意力和 softmax 注意力之间通常存在显著的性能差距。对于视觉任务，之前的工作也表明线性注意力不如 softmax 注意力。线性注意力的劣势主要是由于局部特征提取能力的损失。如果没有 softmax 注意力中使用的非线性分数归一化，线性注意力很难像 softmax 注意力那样集中其注意力分布。给定相同的原始注意力分数，使用 softmax 比不使用 softmax 更能集中注意力。因此，线性注意力不能有效地集中在局部模式产生的高注意力分数，削弱了其局部特征提取能力。我们的想法是通过卷积来增强线性注意力，这在局部特征提取中非常有效。这样，我们就不需要依赖线性注意力来捕获局部特征，而可以专注于全局特征提取。具体来说，为了保持线性注意力的效率和简单性，我们建议在每个 FFN 层中插入一个深度卷积（DWConvGconv），这会产生很少的计算开销，同时大大提高线性注意力的局部特征提取能力。展示了增强型线性注意力的详细架构，它由一个线性注意力层和一个 FFN 层组成。将深度卷积插入 FFN 的中间。与之前的方法不同，我们在 EfficientViT 中不使用相对位置偏差。虽然相对位置偏差可以提高性能，但它使模型对分辨率变化很脆弱。多分辨率训练或新分辨率下的测试在检测和分割中很常见。去除相对位置偏差使 EfficientViT 对输入分辨率更加灵活。与以前的低计算 CNN 中的设计不同，我们为下采样块添加了额外的下采样 shortcuts。每个下采样 shortcut 由一个平均池化和一个 1x1 卷积组成。在我们的实验中，这些额外的下采样 shortcuts 可以稳定 EfficientViT 的训练并提高性能。

EfficientViT 架构： image-20250919102354273

它由输入 stem 和 4 个阶段组成。最近的研究表明，在早期阶段使用卷积对 ViT 效果更好。我们遵循这个设计，并在第 3 阶段开始使用增强的线性注意力。为了突出高效的骨干本身，我们使用相同的扩展比 e 为 MBConv 和 FFN (e = 4)，以保持超参数简单，所有深度卷积的核大小 k 相同（k = 5，除了输入 stem），以及所有层的相同激活函数（hard swish）。P2、P3 和 P4 表示阶段 2、3 和 4 的输出，形成特征图金字塔。我们按照惯例将 P2、P3 和 P4 馈送到检测头。我们使用 YoloX 进行检测。对于分割，我们融合了 P2 和 P4。在 Fast-SCNN 之后，融合的特征被馈送到包含多个卷积层的轻量级头部。对于分类，我们将 P4 馈送到轻量级头部，与 MobileNetV3 相同。

实验： image-20250919104023799

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情

结论：主要是为语义分割任务设计的模型，但在图像分类任务 ImageNet 上不仅精度高，而且速度快（不是 SOTA，只是比较高而已，Top1 acc 排名 100 左右）。针对高分辨率场景，降低了 attention 的复杂度。针对边缘设备端分割模型的推理性能优化，达到实时推理的目的。金标准（Conv+Pseudo-MHSA 卷积加多头自注意力机制）的问题，至少可以说明两点，一是卷积的局部性+等变性的归纳偏置加 MHSA 的长距离表示能力；二是硬件和编译软件和运行软件对 CNN 支持的较好，对 transformer 还需要更多的支持。

参考文献

以上就是EfficientViT | 边缘设备上实时语义分割的详细内容，更多请关注其它相关文章！

# 朋克  # 濮阳推广全网营销服务商  # 快手关键词排名推广  # 小红书营销定位推广策略  # 郑州百度seo建议  # 顺义外贸网站优化推广  # 东宝seo推广策略有哪些  # 外贸助理优化网站方案  # 佛山网站建设参考价  # 贵港seo关键词排名  # 建设工程专业申报网站  # 模型  # 赛博  # 它由  # 来袭  # 中非  # 变换器  # 并在  # 才是  # 英特尔  # 边缘  # git 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 当人工智能开始写高考作文？作家陈崇正、朱山坡谈文学与未来  无人机自主巡检为高海拔输电线路运维添“新彩”  测试框架-安全和自动驾驶  华为AI大模型将融入HarmonyOS 4  世界周刊丨AI“棱镜”？  售价14.99万起！小米汽车部分信息疑遭AI曝光，内部人士回应：网传图片明显经过处理，不可轻信  Valve 将拒绝采用 AI 生成未知版权内容的游戏上架 Steam  Goodnotes 6推出，带来多项全新AI功能，让电子笔记更智能  马斯克“揭秘”人工智能真面目  利亚德加码AI战略，与光年无限图灵机器人全面开展AI研发业务合作  WPS AI 官网上线：可申请体验官资格，支持 Windows、安卓端下载  借助ChatGPT快速上手ElasticSearch dsl  提升工作效率的智能工具：Zapier 让工作变得更简单！  比尔盖茨：AI确实存在风险，但可控  微软新出热乎论文：Transformer扩展到10亿token  遵义市首次引入手术机器人，成功实施全膝关节置换术  昌吉市利用无人机实现全天候河道动态巡检  调查显示：实际上没有那么多人在用 ChatGPT  自研4D激光雷达L1 + GPT大语言模型 宇树Unitree Go2四足机器人有啥黑科技？  谷歌在人工智能领域没有“护城河”？  将上下文长度扩展到256k，无限上下文版本的LongLLaMA来了？  人形机器人概念集体爆发，能买吗？  官宣！爱康AI未来之夜三大亮点提前剧透！  AI+游戏首度大范围公布实际应用成果，AI全面来临还有多远？  重磅！ 捷通华声灵云AICC荣获第二届光合组织AI解决方案大赛二等奖  走进首家“元宇宙”未来工厂，卡奥斯探知工业之旅出发！  此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处  技术如何使人变得懒惰？  郭帆谈ChatGPT：电影行业需要创新，否则人工智能将让电影变得平庸  云深处与昇腾CANN携手合作：开设ROS四足机器狗开发训练营  赋能选题探索：AI助手在经济学专业中的应用指南  清华&中国气象局大模型登Nature：解决世界级难题，「鬼天气」预报时效首次达3小时  AI取代人工先拿教育行业开刀？美版“作业帮”启动裁员  人工智能驱动艺术，打开达利的超现实想象  城市在采用人工智能方面进展如何？  AI立法迫在眉睫，如何看对行业影响？  郭帆：AI发展日新月异，或是弯道超车好莱坞的最好机会  印象笔记开放旗下“印象 AI”，可一键生成思维导图、写文章等  Meta 人工智能业务落后竞争对手，研究人员大量离职成重要原因  人工智能写作检测工具不靠谱，美国宪法竟被认为是机器人写的  物联网“僵尸网络DDos攻击”增长惊人，威胁全球电信网络  如何获得元宇宙的第一个属于自己的空间  WHEE安装教程  微幼科技推出全自动晨检机器人，助力幼儿园校园健康检测  图像生成过程中遭「截胡」：稳定扩散的失败案例受四大因素影响  吉林首例！机器人辅助下搭桥手术成功实施  人工智能在项目管理中的作用  13万个注释神经元，5300万个突触，普林斯顿大学等发布首个完整「成年果蝇」大脑连接组  OpenAI已向中国申请注册“GPT-5”商标，此前已在美国提交申请  Unity发布Sentis和Muse AI工具，助力创作游戏和3D内容 

 2025-04-26