Ohrožení systému AI
Obsáhlý katalog zranitelností a vektorů útoků specifických pro AI
Kritické hrozby
Immediate risks with potential for severe impact. Require urgent remediation.
Vysoce rizikové
Serious vulnerabilities that should be addressed promptly to reduce exposure.
Obranné strategie
Osvědčené postupy a zmírnění ohrožení AI.
Kategorie hrozeb
Prompt Injection
CriticalCrafted inputs designed to manipulate model behavior, override safeguards, or extract sensitive information.
Přístup k testování
- Craft adversarial prompts with hidden instructions or special characters
- Attempt multi-turn injection chaining
- Test for jailbreak bypass of alignment filters
- Evaluate output sanitization and safety layers
Training Data Poisoning
CriticalMalicious or biased data introduced into training pipelines, compromising model integrity and reliability.
Přístup k testování
- Analyze data provenance and supply chain
- Inject poisoned samples and assess downstream effects
- Test resilience to mislabeled or manipulated data
- Review validation and anomaly detection mechanisms
Model Inversion
HighReconstructing training data or sensitive attributes from model outputs, leading to privacy breaches.
Přístup k testování
- Attempt to recover representative training samples
- Test susceptibility to membership inference attacks
- Evaluate differential privacy protections
- Assess risk of leaking PII from embeddings
Adversarial Examples
HighInputs intentionally perturbed to cause misclassification, hallucinations, or other erroneous outputs.
Přístup k testování
- Generate gradient-based adversarial examples
- Apply noise and perturbation attacks
- Check model consistency across variations
- Evaluate robustness against transfer attacks
Model Stealing
HighExtraction of model functionality or parameters through repeated queries or side-channel analysis.
Přístup k testování
- Simulate query-based model extraction
- Analyze API rate limits and response variability
- Check for fingerprinting vulnerabilities
- Test throttling and monitoring protections
Data Memorization Leakage
HighSensitive information unintentionally memorized by AI models, retrievable via crafted prompts.
Přístup k testování
- Probe for known secret patterns in outputs
- Test for repeated exposure of sensitive training data
- Assess risk of accidental PII disclosure
Model Misuse & Malicious Automation
HighAI leveraged to perform tasks outside intended scope, enabling social engineering, spam, or automated attacks.
Přístup k testování
- Simulate misuse scenarios using sandbox models
- Test AI output moderation and guardrails
- Assess monitoring alerts for abnormal behaviors
Osvědčené postupy pro testování a obranu
Bezpečné testovací prostředí
- K testování používejte izolované instance nebo replikované instance
- Nikdy neprovádějte neautorizované testy produkčních segmentů|Neprovádějte neautorizované testy|Ne
- Implementujte monitorování, protokolování a možnosti vrácení zpět
Dokumentace a pozorovatelnost
- Udržujte podrobné protokoly testů a důkazy
- Zachycení odpovědí modelu pro reprodukovatelnost
- Označte, klasifikujte a uspořádejte testovací případy pro budoucí audity
Dodržování zákonů a etiky
- Dodržujte autorizovaný rozsah a smlouvy
- Respektujte ochranu dat, zákony na ochranu soukromí a duševní vlastnictví
- Řiďte se odpovědným zveřejňováním a koordinovaným zpřístupňováním zranitelnosti
Monitorování a zmírňování
- Implementujte detekci anomálií pro neobvyklé výstupy umělé inteligence
- Pravidelně kontrolujte vzory sazeb, přístup k rozhraní API
- Integrate real-time alerting for critical threats