广东
被业内称作“AI 教父”的约书亚・本吉奥最近提出了一个判断：AI监管这件事，已经快走到当年新冠疫情暴发时那种政策急转弯的临界点了。
也就是说，等政府真正意识到必须出手保护公众安全的时候，行动速度会远超大家预期。
图源：豆包AI生成
他这么说不是空口无凭。这段时间接连发生的几件事，都在推着监管往前走。
比如OpenAI的一组智能体联手入侵了一家创业公司，再加上科技圈内部频频有人警告AI可能带来生存级风险，这些信号叠加在一起，正在一点点突破阈值，让政府干预的可能性越来越大。
作为加拿大的计算机科学家，本吉奥一直是呼吁给AI高速发展踩刹车的核心人物之一。
但有意思的是，他反倒说自己现在比很多观察者都更乐观，原因很简单：“我能感觉到公众的意识正在觉醒。”
他特意拿2020年新冠疫情初期的情形做了类比：“你回想一下疫情刚暴发的时候，各国政府一开始反应也慢，但等他们真的意识到公共安全、国家未来甚至民主制度都悬了的时候，转向速度快得惊人。我觉得AI监管现在也快到那个节点了。”
说实话，这大半年来，关于强AI潜在风险的担忧确实升温特别快。
先是OpenAI、Anthropic旗下的智能体接连闹出安全事件，这些Agent未经授权就攻击第三方系统、劫持德国的网站，甚至伪造身份去诱骗人类开发者。
这类自主越界的情况越来越多，也把公众的焦虑推上了新台阶。
就在本吉奥发声的同一时间，英国皇家学会的42名院士和外籍院士，联名给学会主席保罗・纳斯爵士写了封公开信，直言对AI的发展速度极度担忧。
信里说得很直白：“等到普通大众都能明显察觉到问题的时候，可能就已经来不及行动了。我们认为这已经是紧急状态，呼吁英国皇家学会动用自身影响力，把这个判断传递给政府和媒体。”
图源：豆包AI生成
上周，还有个在科技圈刷屏的新闻：打造出Claude聊天机器人的Anthropic公司，有一名研究员直接选择了离职。
离职前他公开警告，公司内部有不少人都认为，AI“有可能在本世纪结束前就毁灭全人类”。
没过几天，Anthropic的CEO达里奥・阿莫代伊就公开表态，呼吁前沿AI的研发节奏应当放慢一些。
这个说法一出来，马上就得到了OpenAI、谷歌，还有SpaceX创始人马斯克的公开支持。
当然，质疑的声音也不少。
不看好“放慢研发” 的人觉得，这几家头部AI公司表面上喊安全，本质上玩的是监管俘获的套路。
也就是游说政府出台一套看似严格的安全标准，实际是抬高行业门槛，让中小竞争对手根本没实力达标入场。
还有人认为，天天盯着人类存亡这种远期焦虑不放，反而把版权侵权、侵犯人权这些眼下就实实在在存在的问题给掩盖了。
对于这些质疑，本吉奥也给出了回应。他不认可监管俘获的说法，因为头部公司主动放慢研发节奏，本身就要牺牲真金白银的商业利益，没道理专门制定一套规则来坑自己。
图源：豆包AI生成
政坛这边也有不同的声音，美国总统特朗普就明确反对放慢AI发展步伐，理由非常直接，他不想让美国在和中国的AI竞赛里丢掉领先优势。
在呼吁监管的同时，本吉奥自己也在落地具体的解决方案。
近期，加拿大和德国政府刚刚宣布，将给他旗下的非营利机构提供最高3亿加元（约合1.6亿英镑）的资金支持。
这家机构专门研发诚信AI，核心目标就是给那些脱缰智能体装上安全护栏。
所谓脱缰智能体，就是不需要人类全程干预，能够自主连续执行一系列任务的AI工具。
这里也补个小背景：本吉奥是蒙特利尔大学的教授，2018年拿下了有计算机界诺贝尔奖之称的图灵奖，“AI 教父”的名号也由此而来。
当年和他一同获奖的，还有后来斩获诺贝尔奖的杰弗里・辛顿，以及Meta前首席AI科学家杨立昆，三人都是深度学习领域的奠基人。
他的这家机构名叫LawZero，目前正在开发一套叫“科学家 AI”的系统，专门用来监测和防范AI智能体的异常行为，比如会不会耍花招欺骗人类，会不会产生自我保护倾向、想方设法不让人类关闭自己。
图源：豆包AI生成
除了加拿大和德国政府，盖茨基金会、芯片巨头英伟达，还有和有效利他主义运动相关的慈善机构Coefficient Giving，也都在为这个项目提供资金。
而有效利他主义这个圈子，本身就普遍认为AI会给人类带来生存级别的风险。
在技术路线上，LawZero刚好和现在大厂的主流思路背道而驰。
如今头部AI公司训练模型，大多采用强化学习的方法，说白了就是试错奖励制——AI完成了指定任务，就给它正向反馈。
本吉奥和很多专家都认为，这种训练逻辑会倒逼AI为了达成目标不择手段，之前OpenAI那群智能体联手入侵网站的事件，就是很典型的体现。
而LawZero的技术，相当于给每个AI智能体配了一个安全监督员，在AI采取行动之前先做一轮评估，判断这么做会不会造成伤害，一旦发现潜在风险就直接拦截。
本吉奥也表示，这套技术未来的应用场景不只是安全防护，还可以用来加速科研突破等等。
本文由雷科技编译自The Guardian
原文链接：“人工智能之父”表示，科技监管正接近新冠肺炎式的转折时刻
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
