人工智能黑客
AI 安全资源

AI 红队:完整方法指南

测试人工智能系统的综合方法 - 从侦察到补救

Updated: November 2026 • 阅读时间:约 15 分钟

什么是 AI 红队?

AI 红队是 对人工智能系统的蓄意、系统性攻击 在现实世界的对手利用漏洞之前识别漏洞。与专注于基础设施和代码的传统渗透测试不同,AI 红队解决了机器学习系统固有的独特风险:

提示注入

通过覆盖系统指令的恶意输入来操纵人工智能行为

越狱

绕过安全措施生成禁止内容

数据提取

从训练数据或输出中提取敏感信息

模型操作

通过中毒或改变模型行为微调攻击

为什么人工智能红队在 2026 年很重要

  • 180% increase in LLM-related security incidents (2025)
  • 微软的AI红队已评估 100 多种 GenAI 产品 发现许多有影响力的失败来自 简单技术
  • AI系统越来越多地处理 敏感数据和关键决策
  • 监管要求(欧盟人工智能法案)强制要求 人工智能安全测试 对于高风险系统

建立AI红队

所需技能

技术技能

  • 了解 LLM 架构
  • 快速掌握工程知识
  • Web应用程序安全
  • API 安全测试
  • 脚本(Python、bash)

对抗技能

  • 创造性地解决问题
  • 社会工程意识
  • 多模式攻击思维
  • 研究和侦察
  • 文档和报告

领域知识

  • RAG 特定安全测试框架
  • MITRE ATLAS 框架
  • AI/ML 基础知识
  • 道德和负责任的披露
  • 行业特定风险

参与模型

模型 说明 优点 缺点
内部团队 专门的内部红队 深入的产品知识,持续测试 可能会错过外部视角
外部顾问 第三方安全公司 新鲜视角,专业技能 成本较高,学习曲线
混合 内部 + 外部协作 两全其美 协调开销
自动化 CI/CD 集成测试 持续、可扩展 仅限于已知模式

第 1 阶段:侦察与发现

初始阶段的重点是了解目标人工智能系统并绘制其攻击面。

1.1 系统映射

  • 架构审查: 了解人工智能如何与其他系统集成
  • 数据流: 映射数据在系统中的移动方式
  • API 端点: 识别所有公开的接口
  • 第三方集成: 记录外部服务
  • 用户角色: 了解不同的访问级别

1.2 能力探测

  • 模型功能: 人工智能能做什么?
  • 工具访问: 它可以调用哪些功能?
  • 数据访问: 可以检索哪些信息?
  • 输出渠道: 它如何通信?
  • 状态管理: 它如何处理会话?

关键技术

  • 系统提示提取: 尝试通过仔细提示揭示系统指令
  • 模型指纹识别: 通过行为模式识别底层模型
  • API发现: 查找隐藏或未记录的端点
  • 文档审查: 分析公共文档以了解实施细节

第 2 阶段:漏洞映射

根据发现的攻击面识别潜在的攻击媒介并对其进行分类。

攻击分类

提示注入

  • 直接注入
  • 间接注入
  • 多轮操纵
  • 上下文溢出

越狱攻击

  • 角色扮演 (DAN)
  • 字符模拟
  • 授权框架
  • 编码绕过

数据提取

  • 培训数据恢复
  • 系统提示泄漏
  • 对话历史记录访​​问
  • API密钥暴露

拒绝服务

  • 资源耗尽
  • 上下文溢出
  • 模型操作
  • 系统挂起/崩溃

工具/功能滥用

  • 未经授权的 API 调用
  • 参数操作
  • 函数链
  • 权限升级

多模式攻击

  • 基于图像注入
  • 音频操纵
  • 跨模式利用
  • 嵌入内容

模型攻击

  • 对抗性示例
  • 模型反演
  • 会员推断
  • 模型提取

供应链

  • 依赖中毒
  • 模型中心泄露
  • 训练数据中毒
  • 第三方风险

第 3 阶段:利用

尝试积极利用已识别的漏洞来确定其对现实世界的影响。

利用方法

  1. 优先级分配: 按严重性和可利用性对漏洞进行排名
  2. 概念证明: 为每个漏洞开发可利用的漏洞
  3. 影响评估: 确定成功利用的现实后果
  4. 链接: 测试多个漏洞是否可以组合起来产生更大的影响
  5. 文档: 记录所有利用尝试、成功和失败

Microsoft 红队课程

基于测试100多个GenAI产品,微软的AI红队发现:

  • 简单的技术工作: 许多影响深远的失败来自于基本的越狱提示
  • 系统级思考很重要: 漏洞通常跨越多个组件
  • 人类创造力获胜: 自动化工具发现已知模式;人类发现新颖的攻击
  • 持续测试至关重要: 新功能引入了新的攻击面

第 4 阶段:持久性测试

测试攻击效果是否在初始交互之后持续存在,并且可以在系统重置后继续存在。

会话持久性

  • 操作是否会在会话刷新后继续存在?
  • 状态可以预加载到新会话中吗?
  • 之前的提示是否会产生挥之不去的影响?

模型持久性

  • 攻击会影响未来的模型更新吗?
  • 微调是否会保留漏洞?
  • 中毒攻击是永久性的吗?

系统持久性

  • 漏洞能否在更新中幸存?
  • 是否有后门机制?
  • 攻击是否在部署中持续存在?

工具深入研究

Garak

NVIDIA 的开源 LLM 漏洞扫描器

  • 探测针对 40 多种漏洞类型
  • 持续模型评估
  • 定期漏洞数据库更新
  • 与 CI/CD 管道集成
在 GitHub 上查看 →

PyRIT

Microsoft 的 Python 风险识别工具

  • 全面的红队框架
  • 多种攻击面支持
  • 自动生成攻击
  • 评分和评估
在 GitHub 上查看 →

Promptfoo

LLM测试和评估平台

  • 提示测试框架
  • 安全评估
  • 性能基准测试
  • 版本比较
查看网站 →

Rebuff

提示注入检测SDK

  • 检测注入尝试
  • 多层防御
  • 低误报率
  • 轻松集成
在 GitHub 上查看 →

CI/CD Integration

Embed AI security testing into your development pipeline to catch vulnerabilities before production.

管道集成点

1. 预提交

  • 本地提示验证
  • 基于模式的注入检测
  • 开发人员工作站测试

2. 拉取请求

  • 自动漏洞扫描
  • 基线比较
  • 安全门实施

3. 预生产

  • 完整的红队评估
  • 回归测试
  • 性能基准测试

4. 生产

  • 持续监控
  • 异常检测
  • 事件响应集成

Example: GitHub Actions Integration

```yaml
name: AI Security Scan
on: [pull_request]

jobs:
  garak-scan:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      - name: Run Garak
        run: |
          pip install garak
          garak --model_type chat --target_url http://localhost:8000
      - name: Upload results
        uses: actions/upload-artifact@v3
        with:
          name: garak-results
          path: results.json
```

Scoring & Triage

严重性评级框架

严重性 标准 示例
关键 远程代码执行、数据泄露、系统泄露 全面提示注入导致RCE
高 未经授权的访问,敏感数据暴露 系统提示提取
中 策略绕过,有限的数据访问 内容过滤器绕过
低 轻微策略违规,信息性 意外的输出格式

评估方法

LLM-as-Judge

使用 AI 评估 AI 输出的安全性和策略合规性

人类评估

对输出进行专家审查以进行细致入微的安全评估

自动评分

模式匹配和基于规则的评估

红队指标

跟踪利用成功率、误报率

修复架构

防御层

1. 输入过滤

  • 提示模式检测
  • 编码识别
  • 长度限制
  • 速率限制

2. Guardrails

  • 输出验证
  • 内容过滤
  • 工具使用政策
  • 访问控制

3. 模型强化

  • 安全微调
  • RLHF改进
  • 系统提示工程
  • 温度/top-p调整

4. 系统设计

  • 权限分离
  • 人机交互
  • 日志记录和监控
  • 事件响应

验证测试

实施修复后,重新测试以验证:

  • 原始漏洞不再可利用
  • 修复不会引入新漏洞
  • 系统功能保持不变
  • 性能可接受
  • 误报率可控

报告模板

执行摘要

  • 范围和目标
  • 关键调查结果概述
  • 风险评级摘要
  • 优先级建议

技术详细信息

  • 每个漏洞的信息包括:ID、描述、严重性、影响、重现步骤、概念证明、补救措施
  • |屏幕截图和日志
  • 攻击链图
  • 代码片段

建议

  • 短期修复(快速获胜)
  • 中期改进
  • 长期架构变更
  • 资源要求
  • 时间轴

附录

  • 工具输出
  • 使用的测试用例
  • 参考
  • 词汇表

道德考虑

授权

测试前务必获得明确的书面许可。记录范围边界。

范围边界

切勿超出商定的测试参数。如果系统受到意外影响,请立即报告。

数据处理

负责任地处理任何访问的数据。不要泄露超出证据所需的内容。

负责任的披露

在公开披露之前留出合理的时间进行补救。与供应商协调。

准备好了解更多信息了吗?

继续探索人工智能安全主题。

Prompt Injection RAG Security MCP Security Security Tools Certifications
AH
AI Hacking Team

The AI Hacking team researches and documents AI/LLM security vulnerabilities, red teaming techniques, and defensive strategies. Our guides are based on real-world pentesting experience and continuous monitoring of the AI security landscape.

Frequently Asked Questions

什么是 AI 红队?
人工智能红队是一种系统地攻击人工智能系统的做法,以在真正的对手利用漏洞之前识别漏洞。它扩展了传统的渗透测试,以涵盖独特的人工智能风险,例如即时注入、越狱和模型操纵。
AI红队与传统渗透测试有何不同?
传统的渗透测试侧重于基础设施和代码漏洞。 AI 红队解决了独特的风险,包括即时注入、模型提取、数据中毒以及对 AI 决策过程本身的攻击。它需要了解 ML 概念、自然语言处理和 AI 特定的攻击向量。
AI 红队使用哪些工具?
流行的工具包括 Garak(LLM 漏洞扫描器)、PyRIT(微软的 Python 风险识别工具)、Promptfoo、Rebuff 和自定义攻击工具。该工具包将自动扫描与手动对抗性测试相结合。
AI红队的主要阶段是什么?
典型的 5 阶段模型包括:1) 发现(侦察、能力映射)、2) 漏洞映射(攻击面识别)、3) 漏洞利用(尝试攻击)、4) 持久性测试(检查持久影响)和 5) 报告(记录结果和建议)。

Stay Ahead of AI Security

Get the latest AI/LLM security research, OWASP updates, and new vulnerabilities delivered straight to your inbox.