北京
9月8日，一封来自AI行业内部的辞职信突然刷屏。
27岁的Jacob Coxon曾先后在OpenAI和Anthropic从事大模型预训练研究。他宣布离开Anthropic，并批评两家前沿AI公司正在竞相开发能够“自我改进”的超级智能，却没有把安全问题放在同等重要的位置。他形容这场竞赛是在“拿我们的生命冒险”。
这番话很快获得超过1.1亿次浏览，并引发多家媒体及美国议员关注。据Axios报道，Coxon距离获得Anthropic的首批股权归属只剩约两个月，但仍选择提前离职。不过，《华盛顿邮报》也指出，他仍持有此前在OpenAI获得的权益。因此，把他简单塑造成“不计利益的英雄”，或者认定整件事是一场炒作，都显得过早。
所谓“自我改进的AI”，通俗来说，就是让AI参与设计、训练和优化下一代更强的AI，从而让技术迭代不断加速。但这并不代表今天的AI已经能够脱离人类控制、自主进化。Coxon本人也承认，目前普通人使用的AI并没有立即失控。
Anthropic对齐研究负责人Evan Hubinger随后表示，他个人认为未来十年AI造成极端灾难的概率超过10%。需要注意，这只是研究人员的主观风险估计，不是Anthropic的官方结论，更不是经过验证的科学预测。“本十年末可能毁灭人类”也不应该被理解成一张确定的末日时间表。
我认为，这场争议真正值得关注的，不是AI究竟会不会在2030年前毁灭世界，而是当越来越多了解技术内部能力的人开始公开踩刹车时，社会有没有认真倾听。
我们不必把每一次警告都渲染成“人类末日”，但也不能用“科幻故事”四个字轻轻带过。比争论一个无法精确计算的概率更实际的，是推动AI公司公开安全测试结果、建立独立审查制度、保护内部举报者，并为高风险研发设置真正能够暂停的机制。
Coxon的辞职不能证明灾难一定会发生，却提醒了所有人：当技术的油门越来越灵敏，安全刹车就不能只掌握在少数公司手里。
同意知鹤观点的小伙伴欢迎点赞评论！
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
