Sviluppo sicuro dell'intelligenza artificiale
Crea applicazioni IA sicure con best practice, modelli difensivi ed esempi di codice per ogni livello dello stack.
Sicurezza secondo principi di progettazione
Incorpora la sicurezza dalla prima riga di codice, non come un ripensamento:
- Zero Trust per l’intelligenza artificiale: Non fidarti mai dei risultati del modello. Convalida, disinfetta e vincola ogni risposta prima che raggiunga gli utenti o i sistemi a valle.
- Difesa in profondità: Livelli multipli di controlli (filtri di ingresso, protezioni di uscita, limiti di velocità e monitoraggio) in modo che un singolo guasto non comprometta il sistema.
- Privilegio minimo: Concedi ai sistemi di intelligenza artificiale solo le autorizzazioni di cui hanno assolutamente bisogno. Limita l'accesso al file system, alla rete e all'API.
- Fallire in modo sicuro: Quando qualcosa va storto, passa automaticamente allo stato più sicuro. Rifiutare input ambigui invece di tentare di elaborarli.
- Osservabilità: Registra ogni interazione dell'IA con il contesto completo. Monitorare eventuali anomalie, deviazioni e modelli di attacco.
Aree chiave di sicurezza
Convalida dell'input
Tratta tutti gli input degli utenti come ostili. Applicare una convalida rigorosa prima che i dati raggiungano il modello.
- Caratteri e modelli consentiti nella whitelist
- Limita la lunghezza dell'input in modo aggressivo
- Rifiuta payload codificati o offuscati
- Convalidare rispetto a modelli di iniezione noti
import re
def validate_input(user_input):
if len(user_input) > 1000:
raise ValueError("Input too long")
if not re.match(r'^[\w\s.,!?-]+$', user_input):
raise ValueError("Invalid characters")
return user_input
Sanificazione dell'uscita
Gli output del modello possono contenere contenuti dannosi, fughe di notizie o artefatti di iniezione. Igienizzare prima dell'esposizione.
- Elimina HTML/JS dagli output del modello
- Filtra PII e pattern sensibili
- Blocca modelli di output dannosi noti
- Lunghezza e frequenza di uscita del limite di velocità
import bleach
def sanitize_output(model_output):
clean = bleach.clean(model_output, tags=[], strip=True)
# Remove potential system prompt leaks
clean = re.sub(r'(?i)(system|instruction|prompt):', '[REDACTED]', clean)
return clean
Sicurezza API
Proteggi gli endpoint API LLM con autenticazione, limitazione della velocità e rotazione delle chiavi.
- Applica l'autenticazione della chiave API per endpoint
- Implementare limiti di velocità su più livelli per utente/IP
- Ruota le chiavi API in base alla compromissione o alla pianificazione
- Monitorare modelli di utilizzo anomali
Sicurezza del modello
Proteggi i pesi dei modelli, le configurazioni e l'infrastruttura di inferenza.
- Crittografa i file del modello inattivi e in transito
- Limitare l'accesso agli artefatti del modello
- Monitorare i tentativi di estrazione
- Utilizza la filigrana del modello per la tracciabilità
Protezione dei dati
Proteggi i dati di formazione, gli input degli utenti e la cronologia delle conversazioni.
- Anonimizza i set di dati di addestramento
- Implementare limiti di conservazione delle conversazioni
- Crittografa le conversazioni archiviate
- Consentire agli utenti di eliminare i propri dati (GDPR/CCPA)
Errori comuni da evitare
Trusting Model Outputs
Non passare mai l'output del modello non elaborato a database, shell o utenti senza convalida. È possibile effettuare il jailbreak dei modelli per generare payload SQL injection, XSS o command injection.
Richieste di sistema eccessivamente permissive
I messaggi di sistema con istruzioni generali come "sii utile" o "rispondi a qualsiasi domanda" sono facilmente manipolabili. Utilizzare istruzioni vincolate e specifiche con limiti espliciti.
Nessuna limitazione della velocità
Senza limiti di velocità, gli aggressori possono utilizzare la forza bruta dei prompt, estrarre dati tramite query ripetute o accumulare costi API. Implementare limiti a più livelli per utente e per IP.
Ignorare i test contraddittori
La distribuzione senza test contraddittori è come spedire il codice senza test unitari. Utilizza strumenti come Garak e PyRIT per individuare le vulnerabilità prima che lo facciano gli aggressori.
Vai più in profondità
Esplora la nostra guida completa allo sviluppo sicuro per esempi di codice dettagliati, modelli architettonici e integrazione CI/CD.
Guida allo sviluppo sicuro →