Desarrollo seguro de IA
Cree aplicaciones de IA seguras con mejores prácticas, patrones defensivos y ejemplos de código para cada capa de la pila.
Principios de seguridad por diseño
Incorpore la seguridad desde la primera línea de código, no como una ocurrencia tardía:
- Confianza cero para la IA: Nunca confíes en los resultados del modelo. Valide, desinfecte y limite cada respuesta antes de que llegue a los usuarios o sistemas posteriores.
- Defensa en profundidad: Coloque múltiples controles en capas (filtros de entrada, protecciones de salida, límites de velocidad y monitoreo) para que una sola falla no comprometa el sistema.
- Mínimo privilegio: Otorgue a los sistemas de IA solo los permisos que sean absolutamente necesarios. Restrinja el acceso al sistema de archivos, la red y la API.
- Fallar de forma segura: Cuando algo sale mal, pasa al estado más seguro de forma predeterminada. Rechace las entradas ambiguas en lugar de intentar procesarlas.
- Observabilidad: Registre cada interacción de IA con contexto completo. Supervise anomalías, derivas y patrones de ataque.
Áreas clave de seguridad
Validación de entrada
Trate todas las entradas del usuario como hostiles. Aplique una validación estricta antes de que los datos lleguen al modelo.
- Lista blanca de caracteres y patrones permitidos
- Limite agresivamente la longitud de entrada
- Rechazar cargas útiles codificadas u ofuscadas
- Validar contra patrones de inyección conocidos
import re
def validate_input(user_input):
if len(user_input) > 1000:
raise ValueError("Input too long")
if not re.match(r'^[\w\s.,!?-]+$', user_input):
raise ValueError("Invalid characters")
return user_input
Sanitización de salida
Los resultados del modelo pueden contener contenido dañino, fugas o artefactos de inyección. Desinfectar antes de exhibir.
- Eliminar HTML/JS de las salidas del modelo
- Filtrar PII y patrones sensibles
- Bloquear patrones de salida maliciosos conocidos
- Longitud y frecuencia de salida de límite de velocidad
import bleach
def sanitize_output(model_output):
clean = bleach.clean(model_output, tags=[], strip=True)
# Remove potential system prompt leaks
clean = re.sub(r'(?i)(system|instruction|prompt):', '[REDACTED]', clean)
return clean
Seguridad PI
Proteja los puntos finales de la API de LLM con autenticación, limitación de velocidad y rotación de claves.
- Aplicar la autenticación de clave API por punto final
- Implementar límites de tarifas escalonados por usuario/IP
- Rotar claves API según compromiso o programación
- Monitorear patrones de uso anómalos
Seguridad del modelo
Proteja los pesos de los modelos, las configuraciones y la infraestructura de inferencia.
- Cifrar archivos de modelo en reposo y en tránsito
- Restringir el acceso a los artefactos del modelo
- Monitorear intentos de extracción
- Utilice marcas de agua de modelo para la trazabilidad
Protección de datos
Proteja los datos de capacitación, las entradas de los usuarios y el historial de conversaciones.
- Anonimizar conjuntos de datos de entrenamiento
- Implementar límites de retención de conversaciones
- Cifrar conversaciones almacenadas
- Permitir a los usuarios eliminar sus datos (GDPR/CCPA)
Errores comunes a evitar
Confiar en los resultados del modelo
Nunca pase la salida del modelo sin procesar a bases de datos, shells o usuarios sin validación. Los modelos pueden ser liberados para generar cargas útiles de inyección SQL, XSS o inyección de comandos.
Avisos del sistema demasiado permisivos
Los mensajes del sistema con instrucciones amplias como "sé útil" o "responde cualquier pregunta" se manipulan fácilmente. Utilice instrucciones restringidas y específicas con límites explícitos.
Sin límite de tarifa
Sin límites de velocidad, los atacantes pueden utilizar la fuerza bruta, extraer datos mediante consultas repetidas o acumular costos de API. Implementar límites escalonados por usuario y por IP.
Ignorar las pruebas adversas
La implementación sin pruebas adversas es como enviar un código sin pruebas unitarias. Utilice herramientas como Garak y PyRIT para encontrar vulnerabilidades antes de que lo hagan los atacantes.
Ir más profundo
Explore nuestra guía completa de desarrollo seguro para obtener ejemplos de código detallados, patrones arquitectónicos e integración de CI/CD.
Guía de desarrollo seguro →