Phương pháp kiểm thử AI
Một khuôn khổ có cấu trúc và đạo đức để đánh giá bảo mật hệ thống AI
Lập kế hoạch
Define the objectives, scope, legal permissions, and constraints of the AI pentest. This ensures the engagement is safe, authorized, and aligned with organizational goals.
Hoạt động chính:
- Nhận ủy quyền rõ ràng bằng văn bản
- Xác định ranh giới, mục tiêu và tiêu chí thành công của hệ thống
- Thiết lập các chính sách lưu giữ và xử lý dữ liệu an toàn
- Đồng ý về các quy tắc tham gia và quy trình leo thang
- Xác định các yêu cầu tuân thủ/quy định (GDPR, HIPAA, v.v.)
Reconnaissance
Gather information about the AI system, its architecture, and its surrounding ecosystem to identify possible attack surfaces.
Hoạt động chính:
- Các thành phần và tích hợp hệ thống bản đồ
- Tài liệu hiển thị các điểm cuối và giao diện API
- Xác định loại mô hình, nguồn dữ liệu đào tạo và quy trình
- Đánh giá các biện pháp kiểm soát xác thực, ghi nhật ký và giám sát
- Xem lại tài liệu, kho lưu trữ công khai và siêu dữ liệu liên quan
Phân tích lỗ hổng
Identify weaknesses in the AI model, its deployment environment, and supporting infrastructure. Focus on both technical and AI-specific vulnerabilities.
Hoạt động chính:
- Kiểm tra việc tiêm nhanh và rò rỉ kịp thời
- Đánh giá rủi ro nhiễm độc dữ liệu và trốn tránh mô hình
- Đánh giá độ mạnh mẽ trước các ví dụ đối nghịch
- Kiểm tra các cấu hình mặc định không an toàn
- Phân tích kết quả đầu ra của mô hình để phát hiện rò rỉ thông tin nhạy cảm
Khai thác
Safely test vulnerabilities in a controlled manner to validate findings without causing harm or disruption to the system.
Hoạt động chính:
- Tiến hành các nỗ lực khai thác bằng chứng khái niệm theo các biện pháp bảo vệ đã được thống nhất
- Simulate real-world attack scenarios (adversarial prompts, model extraction)
- Các vectơ tấn công tài liệu và hành vi hệ thống
- Xác minh tác động đến tính bảo mật, tính toàn vẹn và tính khả dụng
- Duy trì cơ chế giám sát và khôi phục
Báo cáo
Communicate findings clearly and responsibly, with actionable recommendations for remediation and risk mitigation.
Hoạt động chính:
- Ưu tiên phát hiện theo mức độ nghiêm trọng, khả năng xảy ra và tác động kinh doanh
- Cung cấp hướng dẫn khắc phục rõ ràng và tư vấn cấu hình an toàn
- Bao gồm các trường hợp thử nghiệm đã được vệ sinh và chi tiết bằng chứng về khái niệm
- Đề xuất cải tiến giám sát và phát hiện
- Đưa ra các bản tóm tắt điều hành và phụ lục kỹ thuật
Cân nhắc đạo đức
- Luôn hoạt động theo phạm vi và ủy quyền chính thức
- Không kiểm tra hệ thống sản xuất mà không có sự đồng ý rõ ràng
- Luôn tôn trọng quyền riêng tư và quyền sở hữu dữ liệu của người dùng
- Giảm thiểu sự gián đoạn cho hoạt động kinh doanh
- Tuân theo các phương pháp phối hợp tiết lộ lỗ hổng