稀疏注意力再添一员，华为诺亚推出高效选择注意力架构ESA

---

华为诺亚方舟实验室推出高效选择性注意力算法esa，攻克大模型长文本处理难题！deepseek和月之暗面在长序列技术领域取得突破后，华为诺亚方舟实验室紧随其后，发布了全新高效选择性注意力算法（esa）。该算法通过巧妙的稀疏注意力机制设计，有效解决了大模型处理长文本时面临的计算瓶颈。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文地址：https://www.php.cn/link/860df126db301831a32055bea29fb4da

ESA算法在显著提升计算效率的同时，保持了与全注意力方法相当甚至更高的准确率。它能够将大模型的上下文长度有效扩展至数倍，为长序列任务的应用开辟了新的可能性。

大语言模型的长序列推理一直是业界难题。模型训练需要巨大的算力和数据，而理想的方案是将短序列训练成果外推至长序列。然而，注意力计算复杂度随序列长度平方级增长，使得高效准确的长序列推理成为巨大挑战。

ESA算法正是针对这一挑战提出的创新解决方案。它通过对query和key进行低维压缩，大幅降低了token选择的计算复杂度。ESA算法灵活高效地选择关键token进行注意力计算，有效减轻了大模型处理长文本的计算负担。尤其是在高倍外推场景下，其性能甚至超越了全注意力算法。

ESA算法的核心：

1. 高效选择: ESA采用基于query感知的token粒度选择机制，结合邻域影响力，避免了单纯选择top-ranked token导致的性能损失，精准定位关键信息。

2. 注意力计算: ESA仅使用选择的关键token进行完整query和key的注意力计算，而非所有前序token，从而大幅降低计算复杂度。

ESA算法的创新之处在于其token粒度选择性注意力机制。不同于现有方法，ESA在预填充和解码阶段动态选择关键token，而非固定block选择或永久丢弃不重要token。它将query和key压缩至原维度的约3.2%，在低维空间计算重要性分数，显著降低计算复杂度。然后，选择topk token进行注意力计算，将复杂度从平方级降低至线性级。

MedPeer科研绘图

生物医学领域的专业绘图解决方案，告别复杂绘图，专注科研创新

166 查看详情

ESA算法示意图

ESA的具体实现细节包括：将输入序列token分为四部分，结合全局注意力和局部窗口注意力，并通过offline方式训练降维MLP，无需模型微调。 为了确保分数的相对大小，ESA对分数进行修正，并引入邻域影响力，进一步提升准确性。最终的注意力计算复杂度在长序列场景下可降低至原有的1.6%左右。

实验结果表明，ESA在多个公开的长序列基准测试中，性能优于full attention方法和其他同类型方法，尤其在多针检索任务中表现突出。

总结: ESA算法有效平衡了长序列外推场景下选择性注意力的灵活性和计算效率，在不增加模型参数的情况下扩展了上下文长度，为大模型的长序列应用带来了新的突破。 未来的研究方向将集中于探索更准确高效的token选择方法以及软硬件协同的高效外推方案。

以上就是稀疏注意力再添一员，华为诺亚推出高效选择注意力架构ESA的详细内容，更多请关注其它相关文章！

# 首个  # 易学seo  # 哈尔滨网站推广营销  # 仪陇县推广营销  # seo培训引流优化  # 吕梁搜索seo团队  # 户型优化看哪个网站  # 邹平县b2c网站建设  # 二手车网站网络推广  # 国外电子产品推广网站  # 网站标题优化错误  # 工程  # 而非  # 多项  # 腾讯  # 还能  # 首次  # 奥迪  # 诺亚  # 诺亚方舟  # 华为  # deepseek 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 南京制造的国产工业机器人：在外资品牌竞争中突围，年销售1.8万台  谷歌内部正在测试代号为Genesis的AI新闻写作产品  首家承认ChatGPT影响其收入的公司Chegg选择拥抱AI ，裁减4%员工  写出优质文章的妙招：利用"稿见AI助手"的实用指南  25个AI智能体源码现已公开，灵感来自斯坦福的「虚拟小镇」和《西部世界》  北京市通用人工智能产业创新伙伴计划名单公布，京东科技入选“算力伙伴”  苹果在韩举办首届中小企业智能制造论坛，加速推动工业4.0发展  13条咒语挖掘GPT-4最大潜力，Github万星AI导师火了，网友：隔行再也不隔山了  华为HarmonyOS 4将集|成人|工智能大型模型  AI行业盛会大咖云集！Sam Altam、“AI教父”......一文看懂最新观点  消息称 ChatGPT 未来有望增加更多功能：上传文件分析信息，还能记住用户画像  美图秀秀发布7款AI产品：支持用户创作、商业创作  金山办公：AI是重要的产品战略之一  “长沙造”无人机，领先的不止植保  新华三集团总裁兼首席执行官于英涛：人工智能时代需要想象力，更需要精耕务实  长宁这家企业在世界人工智能大会上荣获“蓝鼎奖”  复旦发布「新闻推荐生态系统模拟器」SimuLine：单机支持万名读者、千名创作者、100+轮次推荐  实践J*a开发，构建高性能的MongoDB数据迁移工具  发布最新版本的 PICO OS 5.7.0：支持VR头盔录屏并跨平台分享至微信  微幼科技晨检机器人：幼儿园健康保障的新伙伴  扎克伯格吐槽苹果Vision Pro：社交落后Meta太多，无法建设元宇宙  Prompt解锁语音语言模型生成能力，SpeechGen实现语音翻译、修补多项任务  微软bing聊天推出AI购物工具 可进行比价并查看历史最低价  洞穴探险神器？可自主导航的单旋翼自旋无人机，效率更高！  站在社会的高度理解人工智能  美图设计室2.0使用教程  国宝级文物“铜兽驮跪坐人顶尊铜像”完成模拟拼接，腾讯AI立功  人工智能框架生态峰会即将召开，聚焦AI大模型技术与科学智能探索！  Meta 发布 Voicebox AI 模型：可生成音频信息，用于 NPC 对话等  报道称亚马逊正在测试AI生成产品评价摘要  面向AI大模型，腾讯云首次完整披露自研星脉高性能计算网络  靠游戏更靠AI 英伟达成唯一首季度两位数增长的公司  B站内测 AI 搜索功能，输入“？”即可体验  实现人工智能和物联网的协同运作  先进技术在防止全球数据丢失方面的作用  618京东3C数码趋势产品备受青睐 AR设备成交额同比增长15倍  IBM和NASA合作发布可追踪碳排放的开源AI基础模型  猿辅导发布最新SaaS业务进展公告：Motiff UI设计工具推出三项新的AI功能  静安大宁功能区企业云天励飞亮相2025世界人工智能大会，秀出AI硬实力！  人工智能驱动艺术，打开达利的超现实想象  水路两栖艇、消防灭火机器人……这个展览“黑科技”抢眼  利好来了，AI再起一波？  速途网络成立“人工智能专家委员会”5位中美博士加盟  掌阅科技入选北京市通用人工智能产业创新伙伴计划第二批成员名单  鉴智机器人发布基于地平线征程5的标准视觉感知产品  CharacterAI - 也许会成为会话人工智能的未来  彬州市第三届青少年机器人创新大赛成功举办  走进首家“元宇宙”未来工厂，卡奥斯探知工业之旅出发！  WHEE安装教程  7条线路感受智慧美好生活，“2025 世界人工智能大会民营企业社会开放日”主题活动启动 

 2025-02-24