上海 AI 实验室发布首个视频转网页评测基准 IWR-Bench

---

上海人工智能实验室联合浙江大学等单位近日发布了iwr-bench，这是全球首个专注于评估大语言模型将视频内容转化为可交互网页代码能力的基准测试。该评测体系旨在更真实地衡量多模态大语言模型（lvlm）在动态网页重建任务中的表现，填补了ai前端开发领域在动态交互能力评估方面的空白。

与传统的图像到代码（Image-to-Code）任务不同，IWR-Bench要求模型通过观看记录完整用户操作流程的视频，并结合网页所需的全部静态资源，复现网页的动态交互行为。其任务范围广泛，涵盖从基础浏览功能到复杂逻辑重建，如2048游戏实现、机票预订系统等多种实际应用场景。

测试结果揭示了当前主流AI模型在此类任务上的明显不足。在对28个前沿模型的评估中，表现最优的GPT-5综合得分为36.35分，其中交互功能正确性（IFS）仅为24.39%，视觉保真度（VFS）为64.25%。这一数据表明，尽管模型在还原页面外观方面具备一定能力，但在处理事件驱动机制和动态交互逻辑上仍存在严重缺陷。

IWR-Bench的评测机制不仅关注生成页面与原页面的视觉一致性，还引入自动化代理来验证交互功能的准确性。每个测试任务均提供完整的静态资源包，且所有文件名经过匿名化处理，迫使模型依赖视觉线索而非语义推测进行资源匹配。这种设计更贴近真实开发环境，要求模型能够理解视频中的因果关系与状态演变，并将其映射为可执行的程序结构。

研究团队还观察到若干有趣现象：具备“思维链”或“推理过程”的模型版本在部分任务中略有提升，但整体改善有限，说明底层模型的理解能力仍是关键瓶颈。此外，专为视频理解优化的模型并未展现出明显优势，反而通用多模态模型表现更佳，反映出视频转网页任务与传统视频理解任务的本质差异——前者不仅需要感知动作，更需将动态行为抽象为编程逻辑。

从技术角度看，视频到网页转换面临多重挑战。首先是时序建模，即从连续帧中识别关键交互节点和状态切换；其次是逻辑抽象，需将观察到的操作模式转化为事件监听、条件判断和状态管理等编程范式；第三是资源关联，在无命名提示的情况下准确匹配图片、样式表等静态资产；最后是代码生成质量，输出符合语法规范且结构合理的HTML、CSS与J*aScript代码。

N世界

一分钟搭建会展元宇宙

138 查看详情

GPT-5仅获得36.35分的结果说明，即便是最先进的多模态系统，在将动态行为转化为功能性代码方面仍有巨大进步空间。交互功能正确率不足25%意味着超过七成生成的交互模块存在错误，可能表现为按钮响应异常、状态更新失败、流程跳转错乱或核心业务逻辑缺失等问题。

IWR-Bench的发布对学术研究与产业应用均具有深远意义。在科研层面，它为多模态模型的能力评估提供了新的维度，有助于明确当前技术在动态理解与程序生成上的短板。在实用层面，若该能力得以成熟，将极大降低前端开发门槛，使非技术人员可通过简单录制操作视频即可生成具备基本交互功能的网页原型。

然而也应清醒认识到，即使模型在该基准上取得高分，距离实际工程落地仍有差距。真实网页开发涉及性能调优、跨浏览器兼容、安全性设计、代码可维护性等多方面考量，这些信息难以通过操作视频完全传递。同时，复杂的业务规则、边界情况处理以及用户体验细节也无法仅凭视觉演示充分推断。

从发展趋势看，IWR-Bench标志着AI代码生成正从静态描述向动态演示演进，从单帧图像理解迈向多帧时序建模，体现了“所见即所得”智能开发工具的发展方向。这与当前主流编码助手依赖文本指令的方式形成鲜明对比，为未来人机协作开发提供了新路径。一旦模型在此类任务上实现突破，或将催生新一代原型设计工具，让产品经理或设计师通过一段操作录像就能自动生成可运行的交互式页面。

目前来看，AI模型在理解复杂动态交互方面仍处于初级阶段。64.25%的视觉保真度表明其已能较好还原界面布局与样式，但24.39%的交互正确率暴露出其在程序逻辑转化上的根本性局限，凸显出“看得懂”不等于“做得对”的现实挑战。

以上就是上海 AI 实验室发布首个视频转网页评测基准 IWR-Bench的详细内容，更多请关注其它相关文章！

# seo品牌调性  # 是指  # 样式表  # 此类  # 仍有  # 开发工具  # 浙江大学  # 宁夏seo教程哪个便宜  # 广州抖音搜索流量seo  # 多模  # 天门seo优化网址  # 网站建设公司怎么谈单  # 文创产品的营销推广案例  # 兴宁响应式网站建设  # 辽宁b站关键词排名公司  # 网络推广营销话术范文  # 湖南网站建设费  # css  # 转化为  # 上海  # 首个  # gpt-5  # gpt  # ai  # 前端开发  # 工具  # 浏览器  # 人工智能  # 编码  # 前端  # html  # java  # javascript 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： AI绘画，还需要懂数学？  WHEE上线时间介绍  美踏控股推出创新人工智能大数据模型“心乐舞河”：虚拟人音舞社交的新体验  张朝阳与陆川谈AI：ChatGPT是鹦鹉学舌思维，不可能取代人类 | 把脉AI大模型  对Hugging Face开源模型精准投毒！LLM切脑后变身PoisonGPT，用虚假事实洗脑60亿人  海南省公安机关警用无人机培训班结业并举行警航比武演练  【|直播|预告】人工智能高峰论坛将于7月2日13:30准时开播！  大模型新品出现井喷，AI产业迎来新时代  新华社联合北大发布AI大模型评测：安全可靠成重点，360智脑表现优异  塑造全能智能管家：华为小艺AI加成应对大模型挑战  MetaGPT开源框架爆红 GitHub，达到1.1万星，模拟软件开发流程  华为将于 7 月发布面向 AI 大模型的新款存储产品  GPT-4使用混合大模型？研究证明MoE+指令调优确实让大模型性能超群  AI 模型 Stable Diffusion 升级：正常生成五指、图像更逼真  人工智能写作检测工具不靠谱，美国宪法竟被认为是机器人写的  人工智能产业竞跑“未来赛道” 创新发展放大“赋能”效应  面向AI大模型，腾讯云首次完整披露自研星脉高性能计算网络  字节团队提出猞猁Lynx模型：多模态LLMs理解认知生成类榜单SoTA  让AI助手带您轻松愉快地享受写作之旅  谷歌StyleDrop在可控性上卷翻MidJourney，前GitHub CTO用AI颠覆编程  ​日媒：AI高效解析纳斯卡地画  央视报道！星纪魅族集团车载人机交互技术成世界移动通信大会焦点  【原创】奥比中光：与英伟达合作开发的3D开发套件正式发布 连接英伟达AI应用生态  调研海尔智家：AI名，家电命？  Snow Kylin登陆中国列车，打造全球首条元宇宙专列  实现人工智能和物联网的协同运作  2025年深圳举办的SUSECON 创新峰会开始接受报名  无需照相馆，AI证件照生成软件即将推出  花16000元买四款扫拖机器人！科沃斯追觅石头小米谁能笑到最后？  “踩油门，也要会踩刹车” 互联网企业高管谈人工智能发展  Valve Index VR 头显销量下滑，上市四年的长青树渐失光彩  意大利警察拟用AI预测犯罪 该算法被指种族歧视严重  揭秘AI数字人语录：抖音AI小和尚、老者语录能赚钱吗？  百度创始人、董事长兼首席执行官李彦宏：AI原生应用比大模型数量更重要  B站内测 AI 搜索功能，输入“？”即可体验  ChatGPT会成为你家新的语音助手吗？  马斯克称人类是半机器人，记忆外包给了电脑  建立元宇宙产业联盟：移动、咪咕、华为、小米等加入  全媒封面丨⑤商汤科技：原创AI算法“发电厂”  厂商陆续公布AI进展 完美世界游戏展示复合应用AI in GamePlay  上新7款产品，美图继续“蹭”AI  放弃自动驾驶，也是一种和解  AI数字人业务频频获点赞，谦寻积极引领示范作用  石头扫拖机器人 G20 618 福利来袭：4999 元，超值配件领到手软  剧透！蜜小豆@2025世界人工智能大会多个亮点曝光  苹果在韩举办首届中小企业智能制造论坛，加速推动工业4.0发展  猿辅导发布最新SaaS业务进展公告：Motiff UI设计工具推出三项新的AI功能  MetaGPT AI 模型开源：可模拟软件公司开发过程，生成高质量代码  赋能金融新生态，多家银行创新应用成果亮相世界人工智能大会  无人机自主巡检为高海拔输电线路运维添“新彩” 

 2025-10-21