Desenvolvimento seguro de IA
Crie aplicativos de IA seguros com práticas recomendadas, padrões defensivos e exemplos de código para cada camada da pilha.
Princípios de segurança por design
Incorpore a segurança desde a primeira linha do código, não como uma reflexão tardia:
- Confiança zero para IA: Nunca confie nos resultados do modelo. Valide, higienize e restrinja cada resposta antes que ela chegue aos usuários ou aos sistemas downstream.
- Defesa em profundidade: Coloque vários controles em camadas — filtros de entrada, proteções de saída, limites de taxa e monitoramento — para que uma única falha não comprometa o sistema.
- Menor privilégio: Conceda aos sistemas de IA apenas as permissões de que eles realmente precisam. Restrinja o acesso ao sistema de arquivos, à rede e à API.
- Falhar com segurança: Quando algo dá errado, o padrão é o estado mais seguro. Rejeite entradas ambíguas em vez de tentar processá-las.
- Observabilidade: Registre cada interação de IA com contexto completo. Monitore anomalias, desvios e padrões de ataque.
Principais áreas de segurança
Validação de entrada
Trate todas as entradas do usuário como hostis. Aplique validação estrita antes que qualquer dado chegue ao modelo.
- Lista de permissões de caracteres e padrões permitidos
- Limite o comprimento da entrada agressivamente
- Rejeitar cargas codificadas ou ofuscadas
- Validar em relação a padrões de injeção conhecidos
import re
def validate_input(user_input):
if len(user_input) > 1000:
raise ValueError("Input too long")
if not re.match(r'^[\w\s.,!?-]+$', user_input):
raise ValueError("Invalid characters")
return user_input
Sanitização de Saída
As saídas do modelo podem conter conteúdo prejudicial, vazamentos ou artefatos de injeção. Higienize antes da exibição.
- Retirar HTML/JS das saídas do modelo
- Filtrar PII e padrões confidenciais
- Bloqueie padrões de saída maliciosos conhecidos
- Comprimento e frequência de saída com limite de taxa
import bleach
def sanitize_output(model_output):
clean = bleach.clean(model_output, tags=[], strip=True)
# Remove potential system prompt leaks
clean = re.sub(r'(?i)(system|instruction|prompt):', '[REDACTED]', clean)
return clean
Segurança de API
Endpoints seguros da API LLM com autenticação, limitação de taxa e rotação de chaves.
- Aplicar autenticação de chave de API por endpoint
- Implementar limites de taxa escalonados por usuário/IP
- Alternar chaves de API mediante comprometimento ou agendamento
- Monitore padrões de uso anômalos
Segurança do modelo
Proteja pesos de modelos, configurações e infraestrutura de inferência.
- Criptografe arquivos de modelo em repouso e em trânsito
- Restringir o acesso aos artefatos do modelo
- Monitore tentativas de extração
- Use marca d'água do modelo para rastreabilidade
Proteção de Dados
Proteja os dados de treinamento, as entradas do usuário e o histórico de conversas.
- Anonimizar conjuntos de dados de treinamento
- Implementar limites de retenção de conversas
- Criptografe conversas armazenadas
- Permitir que os usuários excluam seus dados (GDPR/CCPA)
Erros comuns a evitar
Confiando nas saídas do modelo
Nunca passe a saída bruta do modelo para bancos de dados, shells ou usuários sem validação. Os modelos podem ser desbloqueados para gerar cargas úteis de injeção de SQL, XSS ou injeção de comando.
Prompts de sistema excessivamente permissivos
Prompts do sistema com instruções amplas como “seja útil” ou “responda a qualquer pergunta” são facilmente manipulados. Use instruções restritas e específicas com limites explícitos.
Sem limitação de taxa
Sem limites de taxa, os invasores podem usar solicitações de força bruta, extrair dados por meio de consultas repetidas ou acumular custos de API. Implemente limites escalonados por usuário e por IP.
Ignorando testes adversários
A implantação sem testes adversários é como enviar código sem testes unitários. Use ferramentas como Garak e PyRIT para encontrar vulnerabilidades antes que os invasores o façam.
Vá mais fundo
Explore nosso guia abrangente de desenvolvimento seguro para obter exemplos de código detalhados, padrões de arquitetura e integração de CI/CD.
Guia de desenvolvimento seguro →