Yo hackeo
Recursos de seguridad

Desarrollo seguro de IA

Cree aplicaciones de IA seguras con mejores prácticas, patrones defensivos y ejemplos de código para cada capa de la pila.

Principios de seguridad por diseño

Incorpore la seguridad desde la primera línea de código, no como una ocurrencia tardía:

  • Confianza cero para la IA: Nunca confíes en los resultados del modelo. Valide, desinfecte y limite cada respuesta antes de que llegue a los usuarios o sistemas posteriores.
  • Defensa en profundidad: Coloque múltiples controles en capas (filtros de entrada, protecciones de salida, límites de velocidad y monitoreo) para que una sola falla no comprometa el sistema.
  • Mínimo privilegio: Otorgue a los sistemas de IA solo los permisos que sean absolutamente necesarios. Restrinja el acceso al sistema de archivos, la red y la API.
  • Fallar de forma segura: Cuando algo sale mal, pasa al estado más seguro de forma predeterminada. Rechace las entradas ambiguas en lugar de intentar procesarlas.
  • Observabilidad: Registre cada interacción de IA con contexto completo. Supervise anomalías, derivas y patrones de ataque.

Áreas clave de seguridad

Validación de entrada

Trate todas las entradas del usuario como hostiles. Aplique una validación estricta antes de que los datos lleguen al modelo.

  • Lista blanca de caracteres y patrones permitidos
  • Limite agresivamente la longitud de entrada
  • Rechazar cargas útiles codificadas u ofuscadas
  • Validar contra patrones de inyección conocidos
# Python: strict input validation
import re
def validate_input(user_input):
    if len(user_input) > 1000:
        raise ValueError("Input too long")
    if not re.match(r'^[\w\s.,!?-]+$', user_input):
        raise ValueError("Invalid characters")
    return user_input

Sanitización de salida

Los resultados del modelo pueden contener contenido dañino, fugas o artefactos de inyección. Desinfectar antes de exhibir.

  • Eliminar HTML/JS de las salidas del modelo
  • Filtrar PII y patrones sensibles
  • Bloquear patrones de salida maliciosos conocidos
  • Longitud y frecuencia de salida de límite de velocidad
# Python: output sanitization
import bleach
def sanitize_output(model_output):
    clean = bleach.clean(model_output, tags=[], strip=True)
    # Remove potential system prompt leaks
    clean = re.sub(r'(?i)(system|instruction|prompt):', '[REDACTED]', clean)
    return clean

Seguridad PI

Proteja los puntos finales de la API de LLM con autenticación, limitación de velocidad y rotación de claves.

  • Aplicar la autenticación de clave API por punto final
  • Implementar límites de tarifas escalonados por usuario/IP
  • Rotar claves API según compromiso o programación
  • Monitorear patrones de uso anómalos
Guía de buceo profundo →

Seguridad del modelo

Proteja los pesos de los modelos, las configuraciones y la infraestructura de inferencia.

  • Cifrar archivos de modelo en reposo y en tránsito
  • Restringir el acceso a los artefactos del modelo
  • Monitorear intentos de extracción
  • Utilice marcas de agua de modelo para la trazabilidad

Protección de datos

Proteja los datos de capacitación, las entradas de los usuarios y el historial de conversaciones.

  • Anonimizar conjuntos de datos de entrenamiento
  • Implementar límites de retención de conversaciones
  • Cifrar conversaciones almacenadas
  • Permitir a los usuarios eliminar sus datos (GDPR/CCPA)

Errores comunes a evitar

Confiar en los resultados del modelo

Nunca pase la salida del modelo sin procesar a bases de datos, shells o usuarios sin validación. Los modelos pueden ser liberados para generar cargas útiles de inyección SQL, XSS o inyección de comandos.

Avisos del sistema demasiado permisivos

Los mensajes del sistema con instrucciones amplias como "sé útil" o "responde cualquier pregunta" se manipulan fácilmente. Utilice instrucciones restringidas y específicas con límites explícitos.

Sin límite de tarifa

Sin límites de velocidad, los atacantes pueden utilizar la fuerza bruta, extraer datos mediante consultas repetidas o acumular costos de API. Implementar límites escalonados por usuario y por IP.

Ignorar las pruebas adversas

La implementación sin pruebas adversas es como enviar un código sin pruebas unitarias. Utilice herramientas como Garak y PyRIT para encontrar vulnerabilidades antes de que lo hagan los atacantes.

Ir más profundo

Explore nuestra guía completa de desarrollo seguro para obtener ejemplos de código detallados, patrones arquitectónicos e integración de CI/CD.

Guía de desarrollo seguro →

Frequently Asked Questions

What are the best practices for secure AI development?
Best practices for secure AI development include: validating and sanitizing all LLM inputs, implementing strict output filtering, using parameterized prompts to prevent injection, applying least privilege to MCP tool access, encrypting sensitive data, performing regular security testing, and maintaining a secure software supply chain for AI dependencies.
How do I validate and sanitize LLM inputs?
Validate LLM inputs by implementing allowlists for expected formats, enforcing input length limits, stripping control characters and special delimiters, using content security policies, and applying rate limiting. Sanitize by encoding potentially dangerous characters and using structured data formats instead of raw text where possible.
How should I handle API keys and secrets in AI applications?
Never hardcode API keys or secrets in application code or system prompts. Use environment variables, secret management services (Vault, AWS Secrets Manager), and implement scoped API tokens with minimal permissions. Ensure LLM system prompts never expose internal credentials or connection strings.
What are the key security considerations when deploying LLM models?
Key deployment security considerations include: running models in isolated containers with minimal privileges, implementing robust output filtering to prevent data leakage, monitoring inference requests for abuse patterns, using model watermarking for intellectual property protection, and maintaining an audit log of all AI system interactions.

Stay Ahead of AI Security

Get the latest AI/LLM security research, OWASP updates, and new vulnerabilities delivered straight to your inbox.