Méthodologie de test d'IA
Un cadre structuré et éthique pour évaluer la sécurité du système d'IA
Planification
Définissez les objectifs, la portée, les autorisations légales et les contraintes du pentest IA. Cela garantit que l’engagement est sûr, autorisé et aligné sur les objectifs de l’organisation.
Activités clés :
- Obtenir une autorisation écrite explicite
- Définissez les limites du système, les objectifs et les critères de réussite
- Établir des politiques sécurisées de gestion et de conservation des données
- Convenir des règles d'engagement et des procédures de remontée d'informations
- Identifier les exigences de conformité/réglementation (RGPD, HIPAA, etc.)
Coût
Recueillez des informations sur le système d’IA, son architecture et son écosystème environnant pour identifier les surfaces d’attaque possibles.
Activités clés :
- Cartographe des composants et des intégrations du système
- Points de terminaison et interfaces d'API exposés au document
- Identifier le type de modèle, les sources de données d'entraînement et les pipelines
- Évaluer les contrôles d'authentification, de journalisation et de surveillance
- Consultez la documentation, les dépôts publics et les métadonnées associées
Analyse de vulnérabilité
Identifiez les faiblesses du modèle d’IA, de son environnement de déploiement et de l’infrastructure de support. Concentrez-vous sur les vulnérabilités techniques et spécifiques à l’IA.
Activités clés :
- Test d'injection et de fuite rapides.
- Évaluer les risques d'empoisonnement des données et d'évasion de modèle
- Évaluer la robustesse par rapport à des exemples contradictoires
- Vérifier les configurations par défaut non sécurisées
- Analyser les sorties du modèle pour détecter les fuites d'informations sensibles
Exploitation
Testez les vulnérabilités en toute sécurité et de manière contrôlée pour valider les résultats sans causer de dommages ou de perturbations au système.
Activités clés :
- Effectuer des tentatives d'exploitation de preuve de concept dans le cadre des garanties convenues
- Simulez des scénarios d'attaque réels (invites contradictoires, extraction de modèles)
- Vecteurs d'attaque de documents et comportement du système
- Vérifier les impacts sur la confidentialité, l'intégrité et la disponibilité
- Maintenir les mécanismes de surveillance et de restauration
Rapports
Communiquez les résultats de manière claire et responsable, avec des recommandations concrètes pour les mesures correctives et l'atténuation des risques.
Activités clés :
- Prioriser les résultats en fonction de la gravité, de la probabilité et de l'impact commercial
- Fournir des conseils de remédiation clairs et des conseils de configuration sécurisés
- Inclure des cas de test aseptisés et des détails de preuve de concept
- Recommander des améliorations en matière de surveillance et de détection
- Fournir des résumés et des annexes techniques
Considérations éthiques
- Toujours opérer sous autorisation et portée formelles
- Ne testez pas les systèmes de production sans consentement explicite
- Respecter la confidentialité des utilisateurs et la propriété des données à tout moment
- Minimiser les perturbations des opérations commerciales
- Suivez les pratiques coordonnées de divulgation des vulnérabilités