AI教父最新发声：别信行业自律等反应过来就晚了

　　被业内称作“AI 教父”的约书亚・本吉奥最近提出了一个判断：AI监管这件事，已经快走到当年新冠疫情暴发时那种政策急转弯的临界点了。

　　也就是说，等政府真正意识到必须出手保护公众安全的时候，行动速度会远超大家预期。

　　比如OpenAI的一组智能体联手入侵了一家创业公司，再加上科技圈内部频频有人警告AI可能带来生存级风险，这些信号叠加在一起，正在一点点突破阈值，让政府干预的可能性越来越大。

　　作为加拿大的计算机科学家，本吉奥一直是呼吁给AI高速发展踩刹车的核心人物之一。

　　但有意思的是，他反倒说自己现在比很多观察者都更乐观，原因很简单：“我能感觉到公众的意识正在觉醒。”

　　他特意拿2020年新冠疫情初期的情形做了类比：“你回想一下疫情刚暴发的时候，各国政府一开始反应也慢，但等他们真的意识到公共安全、国家未来甚至民主制度都悬了的时候，转向速度快得惊人。我觉得AI监管现在也快到那个节点了。”

　　先是OpenAI、Anthropic旗下的智能体接连闹出安全事件，这些Agent未经授权就攻击第三方系统、劫持德国的网站，甚至伪造身份去诱骗人类开发者。

　　就在本吉奥发声的同一时间，英国皇家学会的42名院士和外籍院士，联名给学会主席保罗・纳斯爵士写了封公开信，直言对AI的发展速度极度担忧。

　　信里说得很直白：“等到普通大众都能明显察觉到问题的时候，可能就已经来不及行动了。我们认为这已经是紧急状态，呼吁英国皇家学会动用自身影响力，把这个判断传递给政府和媒体。”

　　上周，还有个在科技圈刷屏的新闻：打造出Claude聊天机器人的Anthropic公司，有一名研究员直接选择了离职。

　　离职前他公开警告，公司内部有不少人都认为，AI“有可能在本世纪结束前就毁灭全人类”。

　　没过几天，Anthropic的CEO达里奥・阿莫代伊就公开表态，呼吁前沿AI的研发节奏应当放慢一些。

　　这个说法一出来，马上就得到了OpenAI、谷歌，还有SpaceX创始人马斯克的公开支持。

　　不看好“放慢研发” 的人觉得，这几家头部AI公司表面上喊安全，本质上玩的是监管俘获的套路。

　　也就是游说政府出台一套看似严格的安全标准，实际是抬高行业门槛，让中小竞争对手根本没实力达标入场。

　　还有人认为，天天盯着人类存亡这种远期焦虑不放，反而把版权侵权、侵犯人权这些眼下就实实在在存在的问题给掩盖了。

　　对于这些质疑，本吉奥也给出了回应。他不认可监管俘获的说法，因为头部公司主动放慢研发节奏，本身就要牺牲真金白银的商业利益，没道理专门制定一套规则来坑自己。

　　政坛这边也有不同的声音，美国总统特朗普就明确反对放慢AI发展步伐，理由非常直接，他不想让美国在和中国的AI竞赛里丢掉领先优势。

　　近期，加拿大和德国政府刚刚宣布，将给他旗下的非营利机构提供最高3亿加元（约合1.6亿英镑）的资金支持。

　　所谓脱缰智能体，就是不需要人类全程干预，能够自主连续执行一系列任务的AI工具。

　　这里也补个小背景：本吉奥是蒙特利尔大学的教授，2018年拿下了有计算机界诺贝尔奖之称的图灵奖，“AI 教父”的名号也由此而来。

　　当年和他一同获奖的，还有后来斩获诺贝尔奖的杰弗里・辛顿，以及Meta前首席AI科学家杨立昆，三人都是深度学习领域的奠基人。

　　他的这家机构名叫LawZero，目前正在开发一套叫“科学家 AI”的系统，专门用来监测和防范AI智ued运动科技能体的异常行为，比如会不会耍花招欺骗人ued运动科技类，会不会产生自我保护倾向、想方设法不让人类关闭自己。

　　除了加拿大和德国政府，盖茨基金会、芯片巨头英伟达，还有和有效利他主义运动相关的慈善机构Coefficient Giving，也都在为这个项目提供资金。

　　如今头部AI公司训练模型，大多采用强化学习的方法，说白了就是试错奖励制——AI完成了指定任务，就给它正向反馈。

　　本吉奥和很多专家都认为，这种训练逻辑会倒逼AI为了达成目标不择手段，之前OpenAI那群智能体联手入侵网站的事件，就是很典型的体现。

　　而LawZero的技术，相当于给每个AI智能体配了一个安全监督员，在AI采取行动之前先做一轮评估，判断这么做会不会造成伤害，一旦发现潜在风险就直接拦截。

　　本吉奥也表示，这套技术未来的应用场景不只是安全防护，还可以用来加速科研突破等等。