|
|
这里或许是互联网从业者的最后一片净土,随客社区期待您的加入!
您需要 登录 才可以下载或查看,没有账号?立即注册
×
本帖最后由 as22 于 2025-11-5 14:51 编辑
11月5日,据火山引擎官方公众号消息,为助力企业智能体安全、合规落地,火山引擎正式发布大模型安全测评平台和智能体安全管理平台,全面保障智能体从开发、备案到上线运行的全生命周期安全。
据介绍,大模型安全测评平台可以通过攻击视角对智能体进行专项“体检”,并结合 TC260标准,帮助企业完成大模型合规备案与上线。智能体安全管理平台则提供“资产盘点—漏洞和风险评估—加固与持续防护”三方面能力,是国内首个实现对智能体资产风险管理和提示词加固的产品。
在应用过程中,智能体常常面临模型输出异常、数据泄露等安全风险。基于 TC260《生成式人工智能服务安全基本要求》等大模型安全标准和火山引擎大模型安全样本库,火山引擎大模型安全测评平台作为一站式测评平台和服务,可针对大模型应用和智能体展开攻防测评。平台具备以下测评能力:
基于TC260标准和专业攻防团队的大模型安全样本库,覆盖5大类31项安全检测项;
基于智能体的业务上下文进行精准安全测评,采用 AI 自动生成多轮对话测试用例(非通用测试用例),精准识别有害内容、提示词攻击等风险;
最快30分钟内完成智能体深度检测,输出修复建议与合规报告;
满足轻快体检、快速备案、高阶安全检测等多样化场景需求。
另外,火山引擎智能体安全管理平台作为面向智能体全资产、全生命周期的一体化监控管理方案,具备三大核心能力,有效帮助企业构建智能体安全平台:
资产全量盘点,安全风险全面掌控:全面梳理智能体相关核心组件,包括模型、MCP、第三方工具、知识库等,实现资产类型清晰、全量可发现。
漏洞与风险评估,AI 红队持续主动检测:基于智能体配置(如系统提示词、功能设定)识别其意图,生成定制化扫描策略,完成漏洞与风险评估。智能体上线前后,均可使用 AI 红队攻防测评实现持续安全评估,并可采用多轮对话形式,挖掘智能体潜在风险,提升智能体安全水位。
国内独家提示词加固,智能体运行时防护:针对识别出的提示词攻击等风险,平台可直接提供加固后的系统提示词。在运行阶段,可实时检测 MCP、工具调用行为,结合智能体意图精准识别并快速拦截攻击行为,有效防范提示词注入、有害内容输出及敏感数据泄露等。
目前,火山引擎大模型安全测评平台和智能体安全管理平台已在汽车、金融等行业多个客户落地,有效保障企业智能体全生命周期安全管控。
|
|