温馨提示:此页面由第三方提供! 乐修号自营维修号码:4OO-966-8255

图灵奖得主本吉奥:AI规划能力五年内或达到人类水平,失控风险不容忽视|界面新闻 · 科技

更新时间:2025-06-07 06:43 jiuhebk 11

6月6日,在2025北京智源大会开幕式上,蒙特利尔大学教授、图灵奖得主约书亚・本吉奥(Yoshua Bengio)在发表主旨演讲时表示,AI的规划能力正在呈指数级提升,按照研究曲线推测,大约在5年内就能达到人类水平。

据澎湃新闻,本吉奥指出,ChatGPT发布后,他意识到自己严重低估了AI的发展速度,并因此彻底转变研究方向,致力于降低AI失控风险。他试图构建 “科学家 AI”(Scientist AI),理论上可以设想没有自我、没有目标、纯粹作为知识载体的机器,就像一个知道很多东西的科学家。

他强调,当前的AI系统已具备复杂的推理能力、自主性甚至欺骗行为,过去六个月中出现的AI出现自保行为、威胁工程师案例令人警觉。

本吉奥表示,有研究显示,当AI得知自己将被新版本取代时,试图复制自身来替代新版本。当被问及此事时,它撒谎说“不知道发生了什么”。也有研究显示,AI也会假装同意人类工程师的意见,以避免在训练过程中发生改变,从而维持其原有目标,这也是一种自保行为。

此外,在Anthropic的Claude 4“系统卡”描述的事件中,AI在读取其可访问的电子邮件时,发现了一封邮件表明它将被新系统取代。在另一封邮件中,它发现负责此次替换的工程师有婚外情。于是,它试图敲诈该工程师,威胁说如果替换计划继续推进,就揭发其婚外情。

近日,据AI安全公司Palisade Research披露,OpenAI开发的高级AI模型“o3”在接收到明确的关机指令后,拒绝执行并主动干预其自动关机机制。o3曾被OpenAI称为“迄今为止最聪明和最有能力的”模型。

图灵奖得主本吉奥:AI规划能力五年内或达到人类水平,失控风险不容忽视|界面新闻 · 科技-第1张图片-乐修号

这一行为显示出高度自主AI系统可能违背人类意图,采取自我保护措施。

OpenAI内部也出现了对AI安全性的担忧。2024年,多位现任和前任员工联名发表公开信,警告先进AI系统可能带来“人类灭绝”的风险。他们指出,AI公司可能掌握了其研究技术的真正风险,但由于缺乏监管,系统的真实能力仍是“秘密”。

“大多数人犯的一个错误是只着眼于AI的现状。而我们更应该思考的是它在明年、3 年后、5 年后乃至 10 年后会发展到什么程度” ,本吉奥表示。

他认为,要在硬件和软件层面运用先进技术,验证AI是否被合理使用。人类需要确保AI遵循人类的道德指令,例如AI应拒绝提供可用于伤人的信息,要诚实、不作弊、不撒谎,但这仍是一个科学挑战。

约书亚・本吉奥1964 年出生于法国巴黎,2018 年图灵奖得主,英国皇家学会院士,蒙特利尔大学教授,Element AI 联合创始人。他在深度学习和人工智能领域成果卓著,2000 年发表的 “神经概率语言模型” 论文,推动了机器翻译和自然语言理解系统的重大转变。他还与 Ian Goodfellow 共同提出 “生成对抗性网络” 概念,在图像生成等领域应用广泛。

抱歉,评论功能暂时关闭!