据 The Verge 报道,Anthropic 研究人员近日围绕自我改进型人工智能的安全风险公开表达担忧。曾在 Anthropic 训练 AI 系统、此前也曾参与 OpenAI 相关工作的 Jacob Coxon 宣布离职,并称两家公司正“竞相开发自我改进的超级智能”,是在拿人类的生命冒险。
Anthropic AI 安全团队负责人 Evan Hubinger 随后回应称,自我改进型 AI 的发展速度“比我们想象的更快”。他表示,自己确实认为 AI 可能杀死所有人,并估计这种情况在未来十年内发生的概率超过十分之一。Hubinger 同时说,Anthropic 目前还没有确保先进 AI 安全并与人类价值观保持一致的方案,也不能明确表示公司正朝着形成这类方案的方向前进。
这些说法是研究人员的风险判断和公开评论,并不代表相关结果已经发生。报道提到,业界长期担忧能够持续改进自身的 AI 系统可能失去人类控制,但目前尚无证据表明这种递归式自我改进已经实现。Coxon 还认为,AI 公司在竞争压力下继续推进先进系统开发,可能放大相关风险。
