安全与治理
安全是系统设计，不是后处理
OpenAI 安全实践指南建议把安全措施前置到系统设计：
- Moderation
- 对抗测试（red-teaming）
- 人在回路（HITL）
- 输入约束与输出限制
OWASP LLM Top 10 v1.1 进一步提供了威胁分类（如 Prompt Injection、Insecure Output Handling 等），适合直接映射到你的安全测试用例。
组织级治理框架
- NIST AI RMF 1.0：提供风险管理总框架（Govern/Map/Measure/Manage）
- NIST GenAI Profile（2024-07-26 发布）：补齐生成式 AI 特有风险
建议做法：把团队内部控制点映射到 NIST 控制项，形成统一审计语言。
法规与合规时间点（EU 例）
根据欧盟官方页面（截至 2026-03-03 可见信息）：
- AI Act 生效：2024-08-01
- 首批条款适用：2025-02-02
- GPAI 与治理义务适用：2025-08-02
- 多数高风险规则适用：2026-08-02
- 部分嵌入式高风险系统延后到：2027-08-02
如果你的产品覆盖欧盟用户，必须把这些时间点纳入发布与合同节奏。
最小安全基线
- 上线前：完成对抗测试与滥用场景测试
- 上线中：监控异常输入模式与拒绝率
- 上线后：保留审计日志与可追溯证据
- 高风险场景：强制人工复核
角色动作卡
开发者
- 在网关层实现输入过滤、注入检测、输出校验。
- 为高风险调用建立审计链路，支持问题追踪。
- 演练事故响应流程，验证降级和封禁策略有效性。
产品经理
- 定义高风险任务白名单与黑名单。
- 设定“必须人工复核”的业务场景。
- 对齐法务、合规、客服的话术与升级路径。
开发者与产品经理交接件
- 风险分级清单与对应处理策略。
- 安全测试报告与修复状态。
- 合规时间线对产品发布计划的影响说明。