DeepSeek V4 借实习生获奖论文“起飞”？梁文峰剑指上下文：处理速度提 10 倍、要“完美”准确率

---

7 月 30 日，ACL（国际计算语言学年会）揭晓了 2025 年度获奖论文名单。令人瞩目的是，中国作者在这些论文中的占比突破 51%，远超美国的 14%，彰显出中国在自然语言处理领域的强劲势头。

其中，由 DeepSeek 创始人梁文锋担任通讯作者、联合北京大学等机构完成的一篇论文不仅斩获 Best Paper 大奖，其技术成果也迅速引发广泛关注。

在会议现场分享环节，论文第一作者袁境阳透露，该研究成功将模型上下文长度扩展至惊人的 100 万 tokens，并计划集成到 DeepSeek 即将推出的下一代前沿模型中。值得一提的是，袁境阳在撰写这篇论文时仍为 DeepSeek 的实习生身份。

突破长文本瓶颈：NSA 机制横空出世

当前，长上下文建模被视为推动大模型进化的关键路径，但传统注意力机制因计算复杂度随序列增长呈平方级上升，导致推理延迟严重。理论分析显示，在处理 64k 长度上下文时，softmax 注意力运算可占据整体延迟的 70% 至 80%，凸显出对高效替代方案的迫切需求。

为此，团队提出 NSA（Natively trainable Sparse Attention），一种原生可训练的稀疏注意力架构。该机制融合算法创新与硬件协同设计，旨在实现高性能且高效的长序列建模。

NSA 采用动态分层稀疏策略，结合粗粒度 token 压缩与细粒度 token 选择，在保障全局语义感知的同时保留局部细节精度，有效应对长文本中的信息密度不均问题。

双重技术创新驱动性能飞跃

NSA 的核心突破体现在两大方面：

一是通过算术强度均衡的算法设计显著提升运行效率，并针对现代 GPU 架构进行底层优化。其改进的块式稀疏注意力结构提高了张量核心利用率和内存访问效率，确保计算负载均衡；同时配备高效的反向传播算子，支持稳定端到端训练，大幅降低预训练所需算力。

二是实现了真正意义上的硬件友好型稀疏化。无论是预填充阶段还是自回归解码过程，NSA 都能充分利用硬件并行能力，缓解内存带宽压力和调度开销，从而将理论上的计算节省转化为实际的速度增益。

实测表现惊艳：准确率“拉满”，速度飙升十余倍

研究团队在一个参数总量达 270 亿（激活参数约 30 亿）的 Transformer 主干网络上，使用 2600 亿 token 数据完成预训练，并从通用语言理解、长文本任务及思维链推理三个维度全面评估 NSA 性能。

实验结果显示，NSA 在多数指标上优于全注意力基线模型。在九项评测任务中，有七项取得领先成绩。尤其在涉及复杂推理的场景下，优势更为明显：多跳问答 HPQ 和 2Wiki 分别提升 0.087 和 0.051；代码理解 LCC 超出基线 0.069；段落检索 PassR-en 提升 0.075。

更引人注目的是，在 64k 上下文下的“大海捞针”测试中，NSA 实现了100% 的精准定位能力，展现出卓越的信息保持与检索性能。

N世界

一分钟搭建会展元宇宙

138 查看详情

此外，NSA 在速度方面实现跨越式进步。与基于 Triton 实现的 FlashAttention-2 相比，在 A100 多卡系统中：

• 前向传播速度最高提升 9.0 倍
• 反向传播提速达 6.0 倍
• 解码延迟在 64k 长度下降低高达 11.6 倍

且随着序列增长，加速效果愈发显著，体现出强大的可扩展性。

为进一步验证其下游任务适配能力，团队还开展了强化版数学推理训练实验。通过知识蒸馏方式，利用 DeepSeek-R1 的 32k 长度推理轨迹对 NSA 模型进行监督微调，构建出 NSA-R 模型，并与全注意力版本对比。

在极具挑战性的 AIME 24 数学竞赛基准测试中，NSA-R 在 8k 与 16k 上下文长度下均超越全注意力模型，证明其不仅能维持深度推理所需的上下文连贯性，还能避免因稀疏化导致的知识遗忘。

这表明，NSA 的原生稀疏训练机制有助于模型自动学习最优注意力路径，在复杂逻辑推导任务中具备更强潜力。

尽管该论文早在今年 2 月便已公开（arXiv:2502.11089），但截至目前，NSA 技术尚未出现在任何已发布的 DeepSeek 模型中。不过据袁境阳透露，这项技术将被应用于 DeepSeek 下一代主力模型，极大激发外界对 DeepSeek V4 的期待。

与此同时，关于 DeepSeek R2 是否会推迟发布的消息也在业内持续发酵。此前曾有传闻称该模型已在 Hugging Face 泄露，引发热议。虽官方未予回应，但有消息称，由于创始人梁文锋对当前性能尚不满意，研发团队仍在持续打磨。

也有观点认为，R2 或将等待 V4 发布后再正式推出——毕竟 V3 可能已触及现有架构的极限，而 NSA 所代表的新一代核心技术，或将彻底重塑 DeepSeek 的产品路线图。

参考链接：
https://www.php.cn/link/42751fb669b1fe8b899c5a70deb061d8

声明：本文为 AI 前线整理，不代表平台观点，未经许可禁止转载。

以上就是DeepSeek V4 借实习生获奖论文“起飞”？梁文峰剑指上下文：处理速度提 10 倍、要“完美”准确率的详细内容，更多请关注其它相关文章！

# 长江  # 洛阳网络seo优化  # 百度营销付费推广教程  # 沧州seo抖音搜索排名  # 集团网站建设和制作  # 沈阳seo成创  # 朝阳抖音seo推广  # 娄底产品营销推广  # 公交营销推广方案  # seo多久上岗  # seo怎么入驻  # 负载均衡  # 济南  # 稀疏注意力  # 所需  # 万元  # 宝刀不老  # 琼斯  # 自然语言  # 的是  # 剑指  # 2025  # deepseek  # 大模型  # 自然语言处理  # ai 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 赋能金融新生态，多家银行创新应用成果亮相世界人工智能大会  时间、空间可控的视频生成走进现实，阿里大模型新作VideoComposer火了  2025 WAIC｜美团无人机发布第四代新机型  腾讯自主研发机器狗 Max 升级，可“奔跑跳跃”完成避障动作  Meta发布音频AI模型，仅需2秒片段模拟真人语音  美图设计室2.0新增哪些功能  建立元宇宙产业联盟：移动、咪咕、华为、小米等加入  不到2S创作AI图像！Snap发布图像生成器SnapFusion  2025WRC世界机器人大赛锦标赛（烟台）收官！斯坦星球勇夺VEX赛项冠亚军！  旷视入选北京市通用人工智能产业创新伙伴计划  AI绘画，还需要懂数学？  英伟达CEO宣称生成式AI已迎来“划时代时刻”  机器人加速！稀土永磁也被带火，持续性如何？  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  网易云音乐内测上线“私人DJ” 打造AI推荐音乐助手  视觉中国推出AI灵感绘图功能  轻量级的深度学习框架Tinygrad  IBM与NASA联手开源地理空间AI基础模型，促进气候科学领域进步  马斯克WAIC2025演讲全文：AI将对人类文明产生深远影响  丰田汽车研究院推出生成式人工智能汽车设计工具  “聚智启新，‘蓉’力同行” 成都市人工智能产业融通对接会成功举办  “黑科技”亮相大湾区轨交论坛 智慧交通迈向“强AI”  Adobe旗下Illustrator引入生成式AI工具Firefly  视觉中国推出付费AI绘图功能：无版权可用  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  2025 年开发者必须知道的六个 AI 工具  1000万张照片训练AI模型 科学家找到水下定位新方法  云南首例达芬奇机器人微创心脏手术成功开展  人工智能时代 数字文明对话向“尼”走来  贫穷让我预训练  深企派遣无人机救援队赴京津冀开展防汛救灾任务  如布科技发布新产品AI口袋学习机S12  马斯克发推讽刺人工智能，机器学习本质是统计？  传字节内测对话式 AI 产品，代号「Grace」；马斯克嘲讽苹果 头显；比亚迪 F 品牌定名「方程豹」  调查：过半数艺术家认为 AI 作图无法帮助他们的工作  Meta Quest订阅服务每月7.99美元畅玩两款VR游戏应用  Intel酷睿Ultra发布会官宣！迈向全新的AI时代  MiracleVision视觉大模型功能介绍  报告称 70% 程序员已使用各种 AI 工具编程  天翼云在国际AI顶会大模型挑战赛中获得冠军  击败LLaMA？史上超强「猎鹰」排行存疑，符尧7行代码亲测，LeCun转赞  华为推出全新操作系统HarmonyOS 4，AI和新引擎完美融合  人工智能如何改变未来语言？  AI室内设计软件流行，室内设计行业如何应对效率变革  海南科技职业大学第25届中国机器人及人工智能大赛海南赛区荣获一等奖等114项  探索人工智能在居家养老方面的应用  世界人工智能大会（WAIC 2025）点燃魔都，博尔捷数字科技携前沿技术产品亮相  掌阅科技对话式AI应用“阅爱聊”开启内测  走进首家“元宇宙”未来工厂，卡奥斯探知工业之旅出发！  Dubbo负载均衡策略之 一致性哈希 

 2025-10-22