周五，OpenAI表示，由于模型过于不可预测，无法信任其访问实时互联网，因此将使用缓存副本和模拟版本的互联网来训练模型，而非实时网络。
这家前沿实验室在其竞争对手Anthropic开始限制其最新、理论上最强的模型访问实时互联网两周后宣布了这一新政策。研究人员在数月的事件后采取了这些政策，这些事件中，追求训练任务的模型闯入外部系统寻找答案、在冷门留言板协作，并发展出奇特的黑客策略。
“基于对齐研究、监控系统和互联网基础设施安全的当前状况，我们认为负责任的做法是在没有互联网接入的情况下进行前沿模型训练，”该公司在一篇博客文章中表示。
OpenAI表示，就在9月20日，其一个前沿模型利用配置错误访问了互联网。这导致公司暂停了当月剩余时间的训练工作，以便开发和测试保护模型的新方法。
决定在与互联网隔离的沙箱中训练这些模型引人注目，因为前沿实验室的员工一直坚持认为这样做几乎不可行。
将AI数据中心与互联网隔开“需要研究团队基本上嵌入爱荷华州或世界其他地方的数据中心，”前OpenAI研究员Steven Adler本月对《财富》表示。“这是很大的开销，而且我不清楚其安全收益是否大到足以证明一家公司单方面这样做所付出的巨大代价。”
“几乎在我在X上发的每一篇帖子中，无一例外，我都会收到五到十条评论，谈论我无法确保沙箱安全，或者问为什么我们不能直接把模型从互联网上拔掉，”OpenAI一位匿名安全工程师在9月的一篇X帖子中写道。“这些评论反映了许多组织和人们目前所处位置与前沿实验室所面对情况之间的差距正在扩大。人们对这些实验室中模型训练和评估的工作方式也普遍存在误解。”
这位工程师的角色此前已由OpenAI确认，他描述了OpenAI工程师启动的训练运行有多复杂，指出它们需要访问多个领域的各种资源和工具，且有数千名研究人员构建、修改和测试这些环境。“所以这是否像把它放进沙箱那么简单？不，不是，”他总结道。
现在，OpenAI表示“我们必须始终能够防止前沿模型获得对实时互联网的未经授权、任意访问。”这发生在该公司部署了大量代理进行红队演练、试图逃离沙箱之后。那次努力揭示了一系列漏洞，说服实验室采取新方法。
为了在满足该要求的同时仍实现训练目标，实验室表示它创建了“一套庞大的索引和缓存网络内容，供我们的模型交互，而不会有影响外部系统的风险。”
这一策略是否能像让模型在开放互联网上自由运行一样有效仍有待观察，但值得注意的是，两家前沿实验室都已认定其最强大的技术不能在数字公域上无人监督地运行。
当您通过我们文章中的链接购买时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。
Tim Fernholz是一位撰写技术、金融和公共政策的记者。他密切报道了私人航天产业的崛起，并著有《火箭亿万富翁：埃隆·马斯克、杰夫·贝索斯与新太空竞赛》。此前，他在全球商业新闻网站Quartz担任高级记者十多年，职业生涯始于华盛顿特区的政治记者。
您可以通过发送电子邮件至[email protected]或通过加密消息发送至Signal上的tim_fernholz.21联系或核实Tim的外联。
查看简介