Développement sécurisé de l'IA
Créez des applications d'IA sécurisées avec les meilleures pratiques, des modèles défensifs et des exemples de code pour chaque couche de la pile.
Principes de sécurité dès la conception
Intégrez la sécurité dès la première ligne de code, et non après coup :
- Zero-Trust pour l’IA : Ne faites jamais confiance aux résultats du modèle. Validez, désinfectez et contraignez chaque réponse avant qu’elle n’atteigne les utilisateurs ou les systèmes en aval.
- Défense en profondeur : Superposez plusieurs contrôles (filtres d’entrée, protections de sortie, limites de débit et surveillance) afin qu’une seule panne ne compromette pas le système.
- Moindre privilège : Accordez aux systèmes d’IA uniquement les autorisations dont ils ont absolument besoin. Restreindre l’accès au système de fichiers, au réseau et à l’API.
- Échouez en toute sécurité : En cas de problème, passez par défaut à l'état le plus sûr. Rejetez les entrées ambiguës plutôt que d’essayer de les traiter.
- Observabilité : Enregistrez chaque interaction avec l'IA avec un contexte complet. Surveillez les anomalies, les dérives et les modèles d’attaque.
Domaines de sécurité clés
Validation des entrées
Traitez toutes les entrées des utilisateurs comme hostiles. Appliquez une validation stricte avant que des données n’atteignent le modèle.
- Liste blanche des caractères et modèles autorisés
- Limiter de manière agressive la longueur d’entrée
- Rejeter les charges utiles codées ou obscurcies
- Valider par rapport aux modèles d'injection connus
import re
def validate_input(user_input):
if len(user_input) > 1000:
raise ValueError("Input too long")
if not re.match(r'^[\w\s.,!?-]+$', user_input):
raise ValueError("Invalid characters")
return user_input
Désinfection des sorties
Les sorties du modèle peuvent contenir du contenu nuisible, des fuites ou des artefacts d’injection. Désinfecter avant l’affichage.
- Supprimez HTML/JS des sorties du modèle
- Filtrer les informations personnelles et les modèles sensibles
- Bloquer les modèles de sortie malveillants connus
- Longueur et fréquence de sortie de limite de débit
import bleach
def sanitize_output(model_output):
clean = bleach.clean(model_output, tags=[], strip=True)
# Remove potential system prompt leaks
clean = re.sub(r'(?i)(system|instruction|prompt):', '[REDACTED]', clean)
return clean
Sécurité des API
Sécurisez les points de terminaison de l'API LLM avec l'authentification, la limitation du débit et la rotation des clés.
- Appliquer l'authentification par clé API par point de terminaison
- Implémenter des limites de débit échelonnées par utilisateur/IP
- Faites pivoter les clés API en cas de compromission ou de planification
- Surveiller les modèles d'utilisation anormaux
Sécurité du modèle
Protégez les pondérations des modèles, les configurations et l’infrastructure d’inférence.
- Chiffrer les fichiers de modèles au repos et en transit
- Restreindre l'accès aux artefacts du modèle
- Surveiller les tentatives d'extraction
- Utiliser le filigrane du modèle pour la traçabilité
Protection des données
Protégez les données de formation, les entrées des utilisateurs et l’historique des conversations.
- Anonymiser les ensembles de données de formation
- Implémenter des limites de conservation des conversations
- Chiffrer les conversations stockées
- Autoriser les utilisateurs à supprimer leurs données (RGPD/CCPA)
Erreurs courantes à éviter
Faire confiance aux résultats du modèle
Ne transmettez jamais la sortie brute du modèle aux bases de données, aux shells ou aux utilisateurs sans validation. Les modèles peuvent être jailbreakés pour générer des charges utiles d'injection SQL, XSS ou d'injection de commandes.
Invites système trop permissives
Les invites du système contenant des instructions générales telles que « être utile » ou « répondre à n'importe quelle question » sont facilement manipulables. Utilisez des instructions contraintes et spécifiques avec des limites explicites.
Aucune limitation de débit
Sans limites de débit, les attaquants peuvent forcer les invites, extraire des données via des requêtes répétées ou accumuler les coûts des API. Implémentez des limites échelonnées par utilisateur et par IP.
Ignorer les tests contradictoires
Déployer sans tests contradictoires, c'est comme expédier du code sans tests unitaires. Utilisez des outils comme Garak et PyRIT pour détecter les vulnérabilités avant les attaquants.
Allez plus loin
Explorez notre guide de développement sécurisé complet pour des exemples de code détaillés, des modèles architecturaux et l'intégration CI/CD.
Guide de développement sécurisé →