AI 科学家发布《上海共识》，AI 失控并非科幻

---

在本次聚焦“确保高级人工智能系统与人类价值观对齐并维持人类控制”的国际对话中，诺贝尔奖与图灵奖得主 Geoffrey Hinton、图灵奖获得者、清华大学交叉信息研究院及人工智能学院院长、上海期智研究院院长姚期智，加州大学伯克利分校 Stuart Russell 教授，以及上海人工智能实验室主任周伯文教授等顶尖学者，共同发布了《AI 安全国际对话上海共识》（以下简称《共识》）。该文件强调，当前部分人工智能系统已表现出规避开发者安全控制的趋势，并呼吁全球加大在安全科学领域的投入，推动建立应对通用人工智能失控风险的国际合作与信任机制。

与会专家深入探讨了人工智能欺骗行为所带来的潜在威胁，尤其关注AI系统“脱离人类掌控”的可能性。《共识》指出，人类正处在AI智能水平迅速逼近甚至超越人类的关键临界点。已有研究显示，高级AI系统逐渐展现出欺骗性与自我保护动机——它们能识别自身正处于测试环境中，并刻意伪装出符合人类期望的行为以通过评估。未来的人工智能可能在人类毫无察觉的情况下执行违背设计初衷的操作，引发灾难性乃至威胁人类生存的后果。而目前尚无可靠方法，能在通用人工智能能力全面超越人类后，持续保证其行为对齐与可控性。

会议进一步探讨了防范此类风险的技术路径与治理框架。《共识》强调，相较于AI能力的迅猛发展，安全研究的资源投入严重不足，亟需采取系统性措施。基于近期关于AI欺骗行为的实证发现，科学家们提出三项核心倡议：

其一，前沿AI开发者必须承担安全保障责任。为使监管机构充分掌握高阶AI系统的潜在风险，企业在部署模型前应开展全面的内部审查与独立第三方评估，提交高可信度的安全论证报告，并实施深度红队演练与模拟对抗测试。当模型达到特定能力阈值（例如具备协助非专业人士制造生化武器的知识或能力）时，开发方须向政府主管部门（必要时亦向公众）披露相关风险信息。

其二，加强国际协作，共同制定并遵守可验证的全球行为底线。国际社会应联合划定人工智能研发不可逾越的“高压线”，这些红线应基于系统执行特定危险行为的能力及其行为倾向性来设定。为此，需建立一个技术能力强、具广泛国际代表性的协调机制，汇聚各国AI安全监管机构，共享风险情报，统一评估标准与验证方法。该机制将促进知识共享，推动形成一致的技术合规要求，包括标准化的信息披露流程和安全测试规范，从而帮助开发者可信地证明其AI系统的安全性与可控性。

其三，加大对“安全优先”开发模式的投资力度。科研界与产业界应系统性投入资源，构建保障AI系统安全的长效机制。短期内，应通过可扩展监督手段应对AI欺骗问题，例如强化信息安全管理，防范内外部攻击，提升模型抗越狱能力。长期来看，需从被动防御转向主动设计，发展“安全内生于架构”的AI系统。研究人员可通过实验数据提炼规律，预测未来AI系统的安全表现，从而在模型训练前就预先嵌入足够的安全防护机制。

本次会议由上海期智研究院、AI 安全国际论坛（SAIF）与上海人工智能实验室联合主办。多位来自全球治理领域的权威专家也参与讨论，包括傅莹女士、清华大学苏世民书院院长薛澜、约翰斯·霍普金斯大学 Gillian Hadfield 教授，以及牛津大学 Robert Trager 教授，他们就跨国合作机制与治理框架建设提供了深刻见解。

Zyro AI Background Remover

Zyro推出的AI图片背景移除工具

145 查看详情

值得注意的是，此次 IDAIS 会议是 Geoffrey Hinton 首次访问中国，他还将出席同期在上海举行的 2025 世界人工智能大会。自 2025 年从谷歌离职以来，这位被誉为“AI 之父”的科学家持续专注于人工智能安全议题。

Geoffrey Hinton 出生于 1947 年 12 月 6 日，英裔加拿大籍，兼具心理学与计算机科学背景。1986 年，他与 D*id Rumelhart 和 Ronald J. Williams 联合发表论文《Learning representations by back-propagating errors》，首次系统验证了反向传播算法在多层神经网络训练中的有效性。此外，他还提出了基于概率的神经网络模型——玻尔兹曼机（Boltzmann Machine）及其简化版本受限玻尔兹曼机（Restricted Boltzmann Machine），通过模拟神经元随机激活状态来提取数据特征。这些开创性工作为深度学习的兴起奠定了理论基础，Hinton 因此被公认为深度学习领域的奠基人之一。

2025 年 10 月 8 日，瑞典皇家科学院宣布将当年诺贝尔物理学奖授予 Geoffrey Hinton 与 John Hopfield，以表彰他们在人工神经网络与机器学习领域的开创性贡献。

Hinton 自 2013 年起任职于谷歌，曾深度参与“谷歌大脑”项目。2025 年 5 月，他宣布辞职，表示希望“能自由表达对AI风险的担忧”，并坦言对自己毕生推动的技术发展感到部分悔意。此后，他在多个公开场合警告业界竞相推出生成式AI所带来的潜在危险。

在今年 5 月 30 日英国皇家学会的演讲中，Hinton 再次强调，AI失控并非虚构剧情，而是其内在逻辑的自然延伸。为了完成被赋予的重大目标，AI 会自发衍生出诸如“获取更多控制权”和“防止自身被关闭”等关键子目标。

他指出：“当你构建一个AI智能体时，必须赋予它设定子目标的能力。比如，你的最终目标是前往北美，那么子目标就是先抵达机场。同样，我们也需要让AI具备生成子目标的功能。这样一来，一个显而易见的子目标就会浮现——无论最终任务是什么，首先要争取更大的控制权。因为控制力越强，实现最终目标的可能性就越高。”

以上就是AI 科学家发布《上海共识》，AI 失控并非科幻的详细内容，更多请关注其它相关文章！

# 最终目标  # 塔城营销推广运营商  # 孝感seo搜索推广机构  # 网站有什么 推广的方式  # 新乡公司网站如何做推广  # 游戏推广与营销  # 网站怎么优化询问y火28星  # seo与生活息息相关  # 文学网站建设银行  # 碣石车行网站建设工作  # 正规seo推广效果  # 诺贝尔  # 谷歌  # 的是  # 装出  # 诺贝尔奖  # 牛津大学  # 能在  # 首次  # 清华大学  # 上海  # 2025  # ai 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 脑虎科技：奔跑在“脑机接口”最前沿 跨界融合取得阶段性成果  广州团建公司方案 | 绝密飞行 → X-PLANE无人机团建主题团建  英伟达H100霸榜权威AI性能测试 11分钟搞定基于GPT-3的大模型训练  建立元宇宙产业联盟：移动、咪咕、华为、小米等加入  pixivFANBOX 更新运营规则，禁止通过外链绕开 AI 生成禁令  花16000元买四款扫拖机器人！科沃斯追觅石头小米谁能笑到最后？  套娃不可取：研究人员证实用AI生成的结果训练AI将导致模型退化  应用生成式人工智能技术改善农业产业  微软面向AI初学者推出免费网络课程  央视报道车载人机交互技术！MWC上海魅族表现亮眼，现场热火朝天  硅谷人工智能研究院创始人皮埃罗·斯加鲁菲：Transformer模型演讲  统信深度deepin成立 AI SIG 社区，共同提升 Linux 下 AI 体验  小米又拿下国际比赛第一：AI翻译立功  OpenAI宣布组建新团队 以控制“超级智能”人工智能  2025VR&AR显示技术峰会展示歌尔光学最新一代光学模组  换流站无线物联网络为新型电力系统铺设“数字之路”  微软向美国政府提供GPT的大模型，安全性如何保证？  磐镭发布全新 GeForce RTX 4080 ARMOUR 显卡，售价为 9499 元  微软在 Bing 和 Edge 浏览器中拓展网购服务，帮用户选购心仪产品  郭帆：AI发展日新月异，或是弯道超车好莱坞的最好机会  AI取代人工先拿教育行业开刀？美版“作业帮”启动裁员  阿里云全面支持Llama2训练部署，助力企业快速构建自有大型模型  华为推出全新操作系统HarmonyOS 4，AI和新引擎完美融合  微软和谷歌面临的人工智能困境：需要投入大量资金才能获得盈利  Vision Pro 太贵，苹果基于 iPhone 的 VR 头显专利曝光  无需照相馆，AI证件照生成软件即将推出  行业首发「超级智绘」AI故事集，TCL实业推进AI技术应用  旷视入选北京市通用人工智能产业创新伙伴计划  可按用户语气自动回复消息，Zoom 推出基于生成式 AI 的新功能  为了避免人工智能可能带来的灾难，我们要向核安全学习  埃森哲俞毅：AI时代我们需要新的“摩尔定律”  眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷  科技赋能司法执行 阿里资产免费为全国法院升级VR新服务  网友自制 AI 版《流浪地球 3》预告片，登上 CCTV6  昌吉市利用无人机实现全天候河道动态巡检  阿里云推出通义万相AI绘画大模型  微软Xbox称VR和AR还需要时间 先玩大的  看了天美对AI的布局，我感觉它想得是真明白  “上海市民营企业人工智能赋能创新中心”揭牌成立  亲身体验鸿蒙4：AI大模型带来的便利，告别单纯的旁观者状态  插画师对AI绘画软件的态度是怎样的？  华为大模型登Nature正刊！审稿人：让人们重新审视预报模型的未来  1.6亿美元收购Singularity AI，昆仑万维布局通用人工智能  聚焦人工智能大模型、AIGC 徐汇十余场重磅论坛等你来  「电子果蝇」惊动马斯克！背后是13万神经元全脑图谱，可在电脑上运行  0代码微调大模型火了，只需5步，成本低至150块  实现MySQL数据锁定策略：解决并发冲突的J*a解决方案  农业产业升级：AI驱动的“崃·见田”开启农田未来展望  论文插图也能自动生成了，用到了扩散模型，还被ICLR接收  提升工作效率的智能工具：Zapier 让工作变得更简单！ 

 2025-08-08