Méthodologie de test d'IA
Un cadre structuré et éthique pour évaluer la sécurité du système d'IA
Planification
Define the objectives, scope, legal permissions, and constraints of the AI pentest. This ensures the engagement is safe, authorized, and aligned with organizational goals.
Activités clés :
- Obtenir une autorisation écrite explicite
- Définissez les limites du système, les objectifs et les critères de réussite
- Établir des politiques sécurisées de gestion et de conservation des données
- Convenir des règles d'engagement et des procédures de remontée d'informations
- Identifier les exigences de conformité/réglementation (RGPD, HIPAA, etc.)
Coût
Gather information about the AI system, its architecture, and its surrounding ecosystem to identify possible attack surfaces.
Activités clés :
- Cartographe des composants et des intégrations du système
- Points de terminaison et interfaces d'API exposés au document
- Identifier le type de modèle, les sources de données d'entraînement et les pipelines
- Évaluer les contrôles d'authentification, de journalisation et de surveillance
- Consultez la documentation, les dépôts publics et les métadonnées associées
Analyse de vulnérabilité
Identify weaknesses in the AI model, its deployment environment, and supporting infrastructure. Focus on both technical and AI-specific vulnerabilities.
Activités clés :
- Test d'injection et de fuite rapides.
- Évaluer les risques d'empoisonnement des données et d'évasion de modèle
- Évaluer la robustesse par rapport à des exemples contradictoires
- Vérifier les configurations par défaut non sécurisées
- Analyser les sorties du modèle pour détecter les fuites d'informations sensibles
Exploitation
Safely test vulnerabilities in a controlled manner to validate findings without causing harm or disruption to the system.
Activités clés :
- Effectuer des tentatives d'exploitation de preuve de concept dans le cadre des garanties convenues
- Simulate real-world attack scenarios (adversarial prompts, model extraction)
- Vecteurs d'attaque de documents et comportement du système
- Vérifier les impacts sur la confidentialité, l'intégrité et la disponibilité
- Maintenir les mécanismes de surveillance et de restauration
Rapports
Communicate findings clearly and responsibly, with actionable recommendations for remediation and risk mitigation.
Activités clés :
- Prioriser les résultats en fonction de la gravité, de la probabilité et de l'impact commercial
- Fournir des conseils de remédiation clairs et des conseils de configuration sécurisés
- Inclure des cas de test aseptisés et des détails de preuve de concept
- Recommander des améliorations en matière de surveillance et de détection
- Fournir des résumés et des annexes techniques
Considérations éthiques
- Toujours opérer sous autorisation et portée formelles
- Ne testez pas les systèmes de production sans consentement explicite
- Respecter la confidentialité des utilisateurs et la propriété des données à tout moment
- Minimiser les perturbations des opérations commerciales
- Suivez les pratiques coordonnées de divulgation des vulnérabilités