Self Forcing— Adobe联合德克萨斯大学推出的视频生成模型

---

self forcing 是由 adobe research 联合德克萨斯大学奥斯汀分校推出的全新自回归视频生成算法，旨在解决传统生成模型在训练与测试阶段存在的暴露偏差问题。该方法通过在训练过程中模拟自生成机制，以先前生成的帧作为条件生成后续帧，而非依赖真实帧，从而有效缩小了训练与测试分布之间的差异。self forcing 引入了一种滚动 kv 缓存机制，支持理论上无限长度的视频生成，并能在单个 h100 gpu 上实现每秒 17 帧的实时生成速度，延迟控制在一秒以内。这项技术突破为|直播|、游戏及实时交互应用带来了新的可能性，例如可实时生成虚拟背景或特效内容。其高效性和低延迟特性使其成为未来多模态内容创作的重要工具。

Writer

企业级AI内容创作工具

220 查看详情

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Self Forcing的核心功能

• 实时高效视频生成：Self Forcing 可在单个 GPU 上实现高效的实时视频输出，帧率可达 17 FPS，整体延迟低于一秒。
• 无限长度视频生成：借助滚动 KV 缓存机制，Self Forcing 支持理论上无限长的视频生成。能够持续产出视频内容而不会因长度限制中断，为动态视频创作提供强大支撑。
• 缩小训练与测试差距：在训练阶段，Self Forcing 模拟自生成流程，以模型自身生成的帧为条件继续生成后续帧，而不是使用真实帧。这种方式有效缓解了自回归生成中的暴露偏差问题，提升生成视频的质量和稳定性。
• 低资源消耗：Self Forcing 在计算资源利用方面进行了优化，可在单张 RTX 4090 显卡上实现流式视频生成，降低了对高性能硬件的依赖，便于在普通设备上部署。
• 支持多模态创作：Self Forcing 的高效率与实时性为多模态内容创作提供了便利，例如可在游戏|直播|中实时生成背景或特效，或在虚拟现实场景中动态构建视觉内容，拓展了创作者的应用边界。

Self Forcing的技术解析

• 自回归展开与全局损失监督：Self Forcing 在训练过程中模拟推理时的自回归生成方式，每一帧都基于模型之前生成的画面进行推导，而非真实画面。通过视频级别的整体分布匹配损失函数对整个序列进行监督，不仅限于逐帧评估。这使得模型能从自身的预测错误中学习，有效缓解暴露偏差。
• 滚动 KV 缓存机制：为实现长视频生成，Self Forcing 引入滚动键值（KV）缓存机制。该机制维护一个固定大小的缓存区，记录最近几帧的 KV 嵌入信息。当生成新帧时，缓存区会自动移除最旧条目并加入最新嵌入。
• 少量步数扩散模型与梯度截断策略：为了提高训练效率，Self Forcing 采用少步扩散模型，并结合随机梯度截断策略。具体而言，在训练过程中模型会随机选择去噪步骤数量，并仅对最终去噪步骤执行反向传播。
• 动态条件生成机制：在生成每一帧时，Self Forcing 动态融合两类条件输入：已生成的历史清晰帧与当前噪声帧。通过迭代去噪过程完成生成，确保生成结果连贯自然。

Self Forcing的项目链接

• 官方网站：https://www.php.cn/link/3065e37608eff557bbbd771c9c0fb34b
• Github仓库地址：https://www.php.cn/link/8153efae49e1b88abeaaef5a05ae14bb
• arXiv论文链接：https://www.php.cn/link/d737189c860997de183e19bea00ade7b

Self Forcing的实际应用场景

• |直播|与实时视频流：Self Forcing 能在单个 GPU 上实现 17 FPS 的实时视频生成，延迟低于一秒。适用于|直播|场景，如实时生成虚拟背景、特效或动态场景，为观众带来全新的视觉体验。
• 游戏开发领域：在游戏开发中，Self Forcing 可用于实时生成游戏环境和特效，无需预先制作大量视频素材。可根据玩家操作动态生成环境变化或特效，增强沉浸感和互动性。
• 虚拟现实与增强现实应用：Self Forcing 的低延迟与高效生成能力可为 VR 和 AR 提供实时视觉内容。例如在 VR 场景中实时构建逼真虚拟世界，或在 AR 应用中叠加虚拟元素。
• 内容创作与视频编辑工具：Self Forcing 可集成至短视频创作平台，帮助创作者快速生成高质量视频内容。
• 世界模拟与训练用途：可用于构建世界模拟系统，例如生成逼真的自然景观或城市环境，服务于军事训练、城市规划或环境研究等领域。

以上就是Self Forcing— Adobe联合德克萨斯大学推出的视频生成模型的详细内容，更多请关注其它相关文章！

# 一键  # 如何推广苏宁网站论文  # 武汉网站建设鱼刺系统  # 永泰公司数字化营销推广  # 上海发型师推广招聘网站  # 沙河专业外贸网站推广  # 常州正规seo优化价格  # 怎么用营销号推广产品呢  # seo站内优化包括什么优化  # 上海时尚关键词排名  # 淮北抖音优化招聘网站  # git  # 理论上  # 而非  # 奥斯汀  # 多模  # 能在  # 过程中  # 可在  # 德克萨斯  # 视频编辑  # 工具 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 13 个提高生产力的 AI 工具  智能技术提高现代商业运营的7七种方式  华为即将推出HarmonyOS 4，再度领先行业的AI技术  普林斯顿大学推出 Infinigen AI 模型，生成真实自然环境 3D 场景  如何用AI重塑你的工作流（一）  麦肯锡：到 2045 年左右，将有 50% 工作被 AI 接管  AI大模型紫东太初已被注册商标 中科院已注册紫东太初大模型商标  Meta发布语音AI模型 Voicebox 助虚拟助手与NPC对话  美图设计室2.0新增哪些功能  人工智能加速走进百姓生活：从2025全球人工智能技术大会看行业新趋势  阿里云AI绘画创作大模型通义万相发布 已开启定向邀测  人工智能在商业中的风险和局限性  【|直播|预告】人工智能高峰论坛将于7月2日13:30准时开播！  人工智能助力精准学习，猿辅导小猿学练机满足学生个性化学习需求  眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷  复盘MWC上海：AI大模型时代到来 通信网络将会怎样改变？  V社悄悄封禁使用AI生成美术素材的游戏  2025世界人工智能大会（上海）开幕式纪要  Meta开源文本生成音乐大模型，我们用《七里香》歌词试了下  贫穷让我预训练  亚太地区 70% 的企业高管正探索生成式 AI 应用或已经进行投资  AI时代，企业需要什么样的员工？  BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」  软通动力多项AI创新产品及应用亮相2025世界人工智能大会  AI绘画，还需要懂数学？  CharacterAI - 也许会成为会话人工智能的未来  AI大模型，将为智慧城市带来哪些新变化？  参考封面|人工智能“淘金热”  小岛秀夫不反对使用AI 但认为人类应该凌驾于AI  飒智智能机器人核心技术与应用论坛暨一体化控制器发布会成功举办  真全息产品，亮相深圳文博会——dipal数伴拓展元宇宙非沉浸式体验  浪潮KaiwuDB：“快人一步” - 打造更懂物联网的数据库  爱设计PPT发布第二代AI一键生成PPT产品：智能、个性化、自动化  网易数帆以AI融合创新引领数据分析与软件开发新趋势  苹果机器学习关键人物 Ali Farhadi 离职，回归 AI2 担任 CEO  从数据中心到发电站：人工智能对能源使用的影响  Bing Chat 和 Bing Search 正式引入深色模式  如何利用AI工具写好本科论文：科技助你一臂之力  人工智能快速发展 打开就业新空间  腾讯AI首次模拟拼接三星堆文物，工作取得阶段性的成果  人脸识别+全景双摄+AI算法 萤石推动智能锁行业革新  360发布数字安全和人工智能的强大结合：360安全大模型  管提需求，大模型解决问题：图表处理神器SheetCopilot上线  “世界人工智能之都”的新烦恼：AI热潮无法拉动大量就业  “直击”AI新世界，智能机器人再次“火出圈”了  华为昇腾AI原生支持30多种基础大模型，包括GPT  构建数字文旅新高地！洛阳涧西区开启元宇宙时代  AI大模型时代，数据存储新基座助推教科研数智化跃迁  国内首家，360智脑通过中国信通院可信AIGC大语言模型功能评估  抛媚眼给瞎子看？微软、谷歌的AI广告被广告主抵制 

 2025-06-21