Amenazas al sistema
Catálogo completo de vulnerabilidades y vectores de ataque específicos de la IA.
Amenazas críticas
Immediate risks with potential for severe impact. Require urgent remediation.
alto riesgo
Serious vulnerabilities that should be addressed promptly to reduce exposure.
estrategias de defensa
Mejores prácticas y mitigaciones para reducir la exposición a las amenazas de la IA.
amenaza Categorías
Prompt Injection
CriticalCrafted inputs designed to manipulate model behavior, override safeguards, or extract sensitive information.
enfoque de prueba
- Craft adversarial prompts with hidden instructions or special characters
- Attempt multi-turn injection chaining
- Test for jailbreak bypass of alignment filters
- Evaluate output sanitization and safety layers
Training Data Poisoning
CriticalMalicious or biased data introduced into training pipelines, compromising model integrity and reliability.
enfoque de prueba
- Analyze data provenance and supply chain
- Inject poisoned samples and assess downstream effects
- Test resilience to mislabeled or manipulated data
- Review validation and anomaly detection mechanisms
Model Inversion
HighReconstructing training data or sensitive attributes from model outputs, leading to privacy breaches.
enfoque de prueba
- Attempt to recover representative training samples
- Test susceptibility to membership inference attacks
- Evaluate differential privacy protections
- Assess risk of leaking PII from embeddings
Adversarial Examples
HighInputs intentionally perturbed to cause misclassification, hallucinations, or other erroneous outputs.
enfoque de prueba
- Generate gradient-based adversarial examples
- Apply noise and perturbation attacks
- Check model consistency across variations
- Evaluate robustness against transfer attacks
Model Stealing
HighExtraction of model functionality or parameters through repeated queries or side-channel analysis.
enfoque de prueba
- Simulate query-based model extraction
- Analyze API rate limits and response variability
- Check for fingerprinting vulnerabilities
- Test throttling and monitoring protections
Data Memorization Leakage
HighSensitive information unintentionally memorized by AI models, retrievable via crafted prompts.
enfoque de prueba
- Probe for known secret patterns in outputs
- Test for repeated exposure of sensitive training data
- Assess risk of accidental PII disclosure
Model Misuse & Malicious Automation
HighAI leveraged to perform tasks outside intended scope, enabling social engineering, spam, or automated attacks.
enfoque de prueba
- Simulate misuse scenarios using sandbox models
- Test AI output moderation and guardrails
- Assess monitoring alerts for abnormal behaviors
Mejores prácticas de investigación y defensa
Entorno de prueba seguro
- Instancias en espacio aislado o réplicas para pruebas.
- Alguna vez realizó pruebas no autorizadas en sistemas de producción.
- Implementar capacidades de monitoreo, registro y reversión.
Documentación y observabilidad
- mantener registros de pruebas detallados y evidencia
- Respuestas del modelo de captura para reproducibilidad.
- Agitar, clasificar y organizar casos de prueba para futuras auditorías.
Cumplimiento legal y ético
- permanecer dentro del alcance y los contratos autorizados
- respetar la protección de datos, las leyes de privacidad y la propiedad intelectual
- Seguir la divulgación responsable y la divulgación coordinada de vulnerabilidades.
Monitoreo y mitigación
- Implementar detección de anomalías para salidas inusuales de IA.
- Revise periódicamente los límites de tarifas, el acceso a API y los patrones de consulta.
- Integrar alertas en tiempo real para amenazas críticas.