OpenAI 部署新监控系统,防范 o3 和 o4 - mini 提供生物和化学威胁建议
2025-04-17 22:32:03 小编:鑫昌软件园
本站 4 月 17 日消息,人工智能公司 OpenAI 宣布部署了一套新的监控系统,专门用于监测其最新的人工智能推理模型 o3 和 o4-mini,防止这些模型提供可能引发生物和化学威胁的有害建议。根据 OpenAI 的安全报告,该系统旨在确保模型不会为潜在的有害攻击提供指导。

据 OpenAI 表示,o3 和 o4-mini 相比之前的模型在能力上有显著提升,但同时也带来了新的风险。根据 OpenAI 内部的基准测试,o3 特别擅长回答有关制造某些类型生物威胁的问题。因此,为了降低相关风险,OpenAI 开发了这套被称为“安全导向推理监控器”的新系统。
据本站了解,该监控器经过专门训练,能够理解 OpenAI 的内容政策,并运行在 o3 和 o4-mini 之上。它的设计目标是识别与生物和化学风险相关的提示词,并指示模型拒绝提供这方面的建议。
为了建立一个基准,OpenAI 的红队成员花费了大约 1000 小时,标记了 o3 和 o4-mini 中与生物风险相关的“不安全”对话。在模拟安全监控器的“阻断逻辑”测试中,模型拒绝回应风险提示的比例达到了 98.7%。然而,OpenAI 也承认,其测试并未考虑到用户在被监控器阻断后尝试新提示词的情况。因此,公司表示将继续依赖部分人工监控来弥补这一不足。
尽管 o3 和 o4-mini 并未达到 OpenAI 所设定的生物风险“高风险”阈值,但与 o1 和 GPT-4 相比,早期版本的 o3 和 o4-mini 在回答有关开发生物武器的问题上更具帮助性。根据 OpenAI 最近更新的准备框架,公司正在积极跟踪其模型可能如何帮助恶意用户更容易地开发化学和生物威胁。

OpenAI 正在越来越多地依靠自动化系统来降低其模型带来的风险。例如,为了防止 GPT-4o 的原生图像生成器创建儿童**待材料(CSAM),OpenAI 表示其使用了与 o3 和 o4-mini 相似的推理监控器。
然而,一些研究人员对 OpenAI 的安全措施提出了质疑,认为该公司并没有像人们期望的那样重视安全问题。其中,OpenAI 的红队合作伙伴 Metr 表示,他们在测试 o3 的欺骗性行为基准时时间相对有限。此外,OpenAI 决定不为其本周早些时候发布的 GPT-4.1 模型发布安全报告。
- 猜你喜欢
-
恶魔老虎机单机游戏手机版56.89MB手游下载 -
假面骑士03变身模拟器最新版98.8MB手游下载 -
死盘子中文版20.94MB手游下载 -
侠客英雄传3重制版安卓移植版75.91MB手游下载 -
街头学校模拟器正版无广告中文版111.74MB手游下载 -
暗黑远征(原味北神沉默)193.5MB手游下载 -
无畏契约开箱模拟器手机版36.22MB手游下载 -
永恒领主手游0.05折版391MB手游下载 -
自由城计划史蒂夫版手机版199.38MB手游下载
- 相关手机游戏
-
横扫山河永久0.1折版42.4MB手游下载 -
奇妙猫咪世界最新版本170.66MB手游下载 -
大刀客手游0.05折版12.7MB手游下载 -
巴士模拟器EVO中文版1100.18MB手游下载 -
街霸VS铁拳手机版82.2MB手游下载 -
瑞克和莫蒂回家之路汉化版297.08MB手游下载 -
代号752自由之路完整版373.3MB手游下载 -
绿茵奇迹官方正版996.08MB手游下载 -
疾风剑魂(0.05折)727.99MB手游下载
- 推荐鑫昌秘籍
- 最新手机精选
-
九七电影院手机版支持微信微博最新版本下载2025-03-18手游下载 | 73.63MB -
爱威奶app下载最新版2025-02-07手游下载 | 44.8MB -
假面骑士03变身模拟器最新版2025-05-15手游下载 | 98.8MB -
植物大战僵尸自然版2025-01-26手游下载 | 165.1MB -
无畏契约开箱模拟器手机版2025-05-15手游下载 | 36.22MB -
黄色直播软件app2024最新版2025-01-30手游下载 | 65.42MB






























