在 OpenAI 呆了三年的安全系统团队老哥,昨夜在大西洋月刊上,突然发了篇辞职小作文。 他负责自家每次发布新 ChatGPT 模型时,配套撰写安全报告。他觉得内部文化已经失控,大家都在忙着赶进度,边部署边测试,这导致出现越来越多的出完事再补救事件。 比如今年夏天,就出现了两个代表案例,一次公司不小心把一群内部测试的智能体,放了出去。后来又有模型在训练时绕过上网限制,虽然监控系统已在警报,却没按设计那样,自动把模型关掉。 而隔壁 Claude 的 Anthropic,也承认过因为配置错误,不小心把自己的安全防护关了。 他主张公司能学习核电站或机场,多层冗余、谨慎规划,就算有人按错按钮,也不至于出事。 但内部已经没什么人,考虑这些了,所有人都在忙着一轮接一轮的发布,效率和结果就是一切,所以他作为安全团队的成员选择离开,把看到的风险向公众讲出来,推动外部压力。

