SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment

基于大语言模型（LLM）的智能体在执行多步任务时，不仅面临最终响应的安全性风险，还容易在执行过程中受到环境注入（environment injection）或恶意查询的影响。现有的安全对齐方法通常将重点放在更新外部执行框架（harness）或优化模型策略（policy）上，但这种孤立的范式难以在运行时控制与模型内在安全性之间建立持久的协同效应。SafeEvolve 旨在通过一种经验驱动的自进化框架，将 harness 优化与策略更新紧密耦合，实现持续的安全改进。

SafeEvolve 的核心是一个 harness-policy 协同进化循环，主要包含两个关键过程：

1. 可观测性驱动的 Harness 进化：该框架将智能体与环境交互产生的轨迹转化为结构化的安全证据。通过一个门控机制，将这些证据编译为对安全提示词（safety prompt）和分层技能库（hierarchical skills）的边界化更新。这些更新是可审计且可回滚的，确保了安全规则的演进具有可追溯性。

2. Harness 增强的策略优化：为了将外部 harness 的指导转化为内在的安全行为，SafeEvolve 采用了两阶段的 SFT-RL 范式。首先，通过“Harness-use SFT”引导模型学会如何利用演进后的 harness 组件；随后，通过“Harness-augmented RL”利用验证器分解的奖励（verifier-decomposed rewards）进一步塑造模型在多步探索中的自主安全决策能力。

实验结果表明，SafeEvolve 在 AgentDojo、AgentDyn 和 AgentHarm 等多个智能体安全基准测试中，实现了比现有基线方法更优的安全-效用权衡。以 Qwen3.5-4B 模型为例，SafeEvolve 在 AgentDojo 上将攻击成功率（ASR）降低了约 3 倍，同时提升了良性任务的完成效用。该研究证明了将 harness 演进与策略优化相结合，能够有效防御 indirect prompt injection 和恶意查询，同时避免了传统安全对齐方法中常见的“安全税”问题，即在提升安全性的同时保持了智能体的工具使用能力。