AI Hacking
Risorse per la sicurezza AI

Sviluppo sicuro dell'intelligenza artificiale

Crea applicazioni IA sicure con best practice, modelli difensivi ed esempi di codice per ogni livello dello stack.

Sicurezza secondo principi di progettazione

Incorpora la sicurezza dalla prima riga di codice, non come un ripensamento:

  • Zero Trust per l’intelligenza artificiale: Non fidarti mai dei risultati del modello. Convalida, disinfetta e vincola ogni risposta prima che raggiunga gli utenti o i sistemi a valle.
  • Difesa in profondità: Livelli multipli di controlli (filtri di ingresso, protezioni di uscita, limiti di velocità e monitoraggio) in modo che un singolo guasto non comprometta il sistema.
  • Privilegio minimo: Concedi ai sistemi di intelligenza artificiale solo le autorizzazioni di cui hanno assolutamente bisogno. Limita l'accesso al file system, alla rete e all'API.
  • Fallire in modo sicuro: Quando qualcosa va storto, passa automaticamente allo stato più sicuro. Rifiutare input ambigui invece di tentare di elaborarli.
  • Osservabilità: Registra ogni interazione dell'IA con il contesto completo. Monitorare eventuali anomalie, deviazioni e modelli di attacco.

Aree chiave di sicurezza

Convalida dell'input

Tratta tutti gli input degli utenti come ostili. Applicare una convalida rigorosa prima che i dati raggiungano il modello.

  • Caratteri e modelli consentiti nella whitelist
  • Limita la lunghezza dell'input in modo aggressivo
  • Rifiuta payload codificati o offuscati
  • Convalidare rispetto a modelli di iniezione noti
# Python: strict input validation
import re
def validate_input(user_input):
    if len(user_input) > 1000:
        raise ValueError("Input too long")
    if not re.match(r'^[\w\s.,!?-]+$', user_input):
        raise ValueError("Invalid characters")
    return user_input

Sanificazione dell'uscita

Gli output del modello possono contenere contenuti dannosi, fughe di notizie o artefatti di iniezione. Igienizzare prima dell'esposizione.

  • Elimina HTML/JS dagli output del modello
  • Filtra PII e pattern sensibili
  • Blocca modelli di output dannosi noti
  • Lunghezza e frequenza di uscita del limite di velocità
# Python: output sanitization
import bleach
def sanitize_output(model_output):
    clean = bleach.clean(model_output, tags=[], strip=True)
    # Remove potential system prompt leaks
    clean = re.sub(r'(?i)(system|instruction|prompt):', '[REDACTED]', clean)
    return clean

Sicurezza API

Proteggi gli endpoint API LLM con autenticazione, limitazione della velocità e rotazione delle chiavi.

  • Applica l'autenticazione della chiave API per endpoint
  • Implementare limiti di velocità su più livelli per utente/IP
  • Ruota le chiavi API in base alla compromissione o alla pianificazione
  • Monitorare modelli di utilizzo anomali
Guida all'immersione profonda →

Sicurezza del modello

Proteggi i pesi dei modelli, le configurazioni e l'infrastruttura di inferenza.

  • Crittografa i file del modello inattivi e in transito
  • Limitare l'accesso agli artefatti del modello
  • Monitorare i tentativi di estrazione
  • Utilizza la filigrana del modello per la tracciabilità

Protezione dei dati

Proteggi i dati di formazione, gli input degli utenti e la cronologia delle conversazioni.

  • Anonimizza i set di dati di addestramento
  • Implementare limiti di conservazione delle conversazioni
  • Crittografa le conversazioni archiviate
  • Consentire agli utenti di eliminare i propri dati (GDPR/CCPA)

Errori comuni da evitare

Trusting Model Outputs

Non passare mai l'output del modello non elaborato a database, shell o utenti senza convalida. È possibile effettuare il jailbreak dei modelli per generare payload SQL injection, XSS o command injection.

Richieste di sistema eccessivamente permissive

I messaggi di sistema con istruzioni generali come "sii utile" o "rispondi a qualsiasi domanda" sono facilmente manipolabili. Utilizzare istruzioni vincolate e specifiche con limiti espliciti.

Nessuna limitazione della velocità

Senza limiti di velocità, gli aggressori possono utilizzare la forza bruta dei prompt, estrarre dati tramite query ripetute o accumulare costi API. Implementare limiti a più livelli per utente e per IP.

Ignorare i test contraddittori

La distribuzione senza test contraddittori è come spedire il codice senza test unitari. Utilizza strumenti come Garak e PyRIT per individuare le vulnerabilità prima che lo facciano gli aggressori.

Vai più in profondità

Esplora la nostra guida completa allo sviluppo sicuro per esempi di codice dettagliati, modelli architettonici e integrazione CI/CD.

Guida allo sviluppo sicuro →

Frequently Asked Questions

What are the best practices for secure AI development?
Best practices for secure AI development include: validating and sanitizing all LLM inputs, implementing strict output filtering, using parameterized prompts to prevent injection, applying least privilege to MCP tool access, encrypting sensitive data, performing regular security testing, and maintaining a secure software supply chain for AI dependencies.
How do I validate and sanitize LLM inputs?
Validate LLM inputs by implementing allowlists for expected formats, enforcing input length limits, stripping control characters and special delimiters, using content security policies, and applying rate limiting. Sanitize by encoding potentially dangerous characters and using structured data formats instead of raw text where possible.
How should I handle API keys and secrets in AI applications?
Never hardcode API keys or secrets in application code or system prompts. Use environment variables, secret management services (Vault, AWS Secrets Manager), and implement scoped API tokens with minimal permissions. Ensure LLM system prompts never expose internal credentials or connection strings.
What are the key security considerations when deploying LLM models?
Key deployment security considerations include: running models in isolated containers with minimal privileges, implementing robust output filtering to prevent data leakage, monitoring inference requests for abuse patterns, using model watermarking for intellectual property protection, and maintaining an audit log of all AI system interactions.

Stay Ahead of AI Security

Get the latest AI/LLM security research, OWASP updates, and new vulnerabilities delivered straight to your inbox.