英伟达今日推出了一款名为“NVIDIA Open Agent Safety Platform”的开放式AI智能体安全平台,该平台能够对AI智能体、智能体硬件及机器人系统实施全面的治理与管控。
根据官方新闻稿,该平台内置了英伟达的OpenShell安全软件,可为运行于CPU上的AI智能体设定操作边界,并同时支持开源与闭源模型。
此外,该工具在Vera平台上的性能占用极低。当OpenShell与Vera结合使用时,AI智能体能在高效完成任务的同时确保安全性。作为开源软件,OpenShell还兼容第三方平台,包括Arm和英特尔的产品。
英伟达还同步推出了名为NVIDIA Sentry的看门狗系统,该系统可持续监测AI智能体的行为。一旦AI智能体试图突破软件限制,Sentry能在毫秒内将其隔离并终止运行。
Sentry运行于BlueField-4 DPU上,能持续监控AI智能体的活动,并在芯片层面独立执行安全策略。它融合了威胁检测、基于硬件的智能体治理与执行,以及数据访问保护,通过一个独立于智能体和攻击者、能实时响应的带外信任域来实现这些功能。
目前,Anthropic、SpaceX和Scale AI等公司已与英伟达合作,将OpenShell应用于其AI模型和智能体。这次发布也成为了世界球友的聚会上备受关注的技术亮点。