Các mối đe dọa hệ thống AI
Danh mục toàn diện về các lỗ hổng và vectơ tấn công dành riêng cho AI
Các mối đe dọa nghiêm trọng
Immediate risks with potential for severe impact. Require urgent remediation.
Rủi ro cao
Serious vulnerabilities that should be addressed promptly to reduce exposure.
Chiến lược phòng thủ
Các biện pháp giảm thiểu và biện pháp giảm thiểu tốt nhất để giảm mức độ tiếp xúc với mối đe dọa AI.
Danh mục mối đe dọa
Prompt Injection
CriticalCrafted inputs designed to manipulate model behavior, override safeguards, or extract sensitive information.
Phương pháp thử nghiệm
- Craft adversarial prompts with hidden instructions or special characters
- Attempt multi-turn injection chaining
- Test for jailbreak bypass of alignment filters
- Evaluate output sanitization and safety layers
Training Data Poisoning
CriticalMalicious or biased data introduced into training pipelines, compromising model integrity and reliability.
Phương pháp thử nghiệm
- Analyze data provenance and supply chain
- Inject poisoned samples and assess downstream effects
- Test resilience to mislabeled or manipulated data
- Review validation and anomaly detection mechanisms
Model Inversion
HighReconstructing training data or sensitive attributes from model outputs, leading to privacy breaches.
Phương pháp thử nghiệm
- Attempt to recover representative training samples
- Test susceptibility to membership inference attacks
- Evaluate differential privacy protections
- Assess risk of leaking PII from embeddings
Adversarial Examples
HighInputs intentionally perturbed to cause misclassification, hallucinations, or other erroneous outputs.
Phương pháp thử nghiệm
- Generate gradient-based adversarial examples
- Apply noise and perturbation attacks
- Check model consistency across variations
- Evaluate robustness against transfer attacks
Model Stealing
HighExtraction of model functionality or parameters through repeated queries or side-channel analysis.
Phương pháp thử nghiệm
- Simulate query-based model extraction
- Analyze API rate limits and response variability
- Check for fingerprinting vulnerabilities
- Test throttling and monitoring protections
Data Memorization Leakage
HighSensitive information unintentionally memorized by AI models, retrievable via crafted prompts.
Phương pháp thử nghiệm
- Probe for known secret patterns in outputs
- Test for repeated exposure of sensitive training data
- Assess risk of accidental PII disclosure
Model Misuse & Malicious Automation
HighAI leveraged to perform tasks outside intended scope, enabling social engineering, spam, or automated attacks.
Phương pháp thử nghiệm
- Simulate misuse scenarios using sandbox models
- Test AI output moderation and guardrails
- Assess monitoring alerts for abnormal behaviors
Các phương pháp hay nhất về Kiểm tra & Bảo vệ
Môi trường thử nghiệm an toàn
- Sử dụng các phiên bản hộp cát hoặc bản sao để thử nghiệm
- Không bao giờ thực hiện các thử nghiệm trái phép trên hệ thống sản xuất
- Triển khai khả năng giám sát, ghi nhật ký và khôi phục
Tài liệu & Khả năng quan sát
- Duy trì nhật ký và bằng chứng kiểm tra chi tiết
- Ghi lại các phản hồi của mô hình để tái tạo
- Gắn thẻ, phân loại và sắp xếp các trường hợp kiểm thử cho các đợt kiểm tra trong tương lai
Tuân thủ pháp lý và đạo đức
- Tuân thủ phạm vi và hợp đồng được ủy quyền
- Tôn trọng bảo vệ dữ liệu, luật về quyền riêng tư và sở hữu trí tuệ
- Tuân thủ việc tiết lộ có trách nhiệm và phối hợp tiết lộ lỗ hổng
Giám sát & giảm thiểu
- Triển khai phát hiện bất thường đối với các kết quả đầu ra AI bất thường
- Thường xuyên xem xét giới hạn tỷ lệ, quyền truy cập API và mẫu truy vấn
- Tích hợp cảnh báo theo thời gian thực đối với các mối đe dọa nghiêm trọng