Metodologia di pentest AI
Un quadro strutturato ed etico per valutare la sicurezza del sistema IA
Pianificazione
Definire gli obiettivi, l'ambito, le autorizzazioni legali e i vincoli del pentest AI. Ciò garantisce che l’impegno sia sicuro, autorizzato e in linea con gli obiettivi organizzativi.
Attività principali:
- Ottieni un'autorizzazione scritta esplicita
- Definisci i limiti del sistema, gli obiettivi e i criteri di successo
- Stabilire politiche sicure di gestione e conservazione dei dati
- Concordare le regole di ingaggio e le procedure di escalation
- Identificare requisiti di conformità/normativi (GDPR, HIPAA, ecc.)
Riconoscimento
Raccogli informazioni sul sistema di intelligenza artificiale, sulla sua architettura e sull'ecosistema circostante per identificare possibili superfici di attacco.
Attività principali:
- Mappatura dei componenti e delle integrazioni del sistema
- Endpoint e interfacce API esposti ai documenti
- Identificazione del tipo di modello, origini dati di addestramento e pipeline
- Valutare i controlli di autenticazione, registrazione e monitoraggio
- Esamina documentazione, repository pubblici e metadati correlati
Analisi delle vulnerabilità
Identificare i punti deboli nel modello di intelligenza artificiale, nel suo ambiente di implementazione e nell’infrastruttura di supporto. Concentrarsi sulle vulnerabilità sia tecniche che specifiche dell’intelligenza artificiale.
Attività principali:
- Test per l'inserimento tempestivo e la perdita immediata
- Valuta il rischio di avvelenamento dei dati e di evasione del modello
- Valutare la robustezza rispetto agli esempi degli avversari
- Verifica configurazioni predefinite non sicure
- Analizzare gli output del modello per rilevare eventuali fughe di informazioni sensibili
Sfruttamento
Testare in modo sicuro le vulnerabilità in modo controllato per convalidare i risultati senza causare danni o interruzioni al sistema.
Attività principali:
- Condurre tentativi di exploit proof-of-concept rispettando le misure di sicurezza concordate
- Simulare scenari di attacco nel mondo reale (prompt dell'avversario, estrazione del modello)
- Vettore di attacco al documento e comportamento del sistema
- Verifica gli impatti su riservatezza, integrità e disponibilità
- Mantieni meccanismi di monitoraggio e rollback
Rapporti
Comunicare i risultati in modo chiaro e responsabile, con raccomandazioni attuabili per la correzione e la mitigazione del rischio.
Attività principali:
- Dai priorità ai risultati in base a gravità, probabilità e impatto aziendale
- Fornire indicazioni chiare per la risoluzione dei problemi e consigli sulla configurazione sicura
- Includi casi di test sterilizzati e dettagli di prova
- Consiglia miglioramenti al monitoraggio e al rilevamento
- Fornisci riepiloghi esecutivi e appendici tecniche
Considerazioni etiche
- Operare sempre con autorizzazione e ambito formali
- Non testare i sistemi di produzione senza consenso esplicito
- Rispettare la privacy dell'utente e la proprietà dei dati in ogni momento
- Riduci al minimo le interruzioni delle operazioni aziendali
- Segui pratiche coordinate di divulgazione delle vulnerabilità