AI Hacking
Recursos de segurança de IA

Desenvolvimento seguro de IA

Crie aplicativos de IA seguros com práticas recomendadas, padrões defensivos e exemplos de código para cada camada da pilha.

Princípios de segurança por design

Incorpore a segurança desde a primeira linha do código, não como uma reflexão tardia:

  • Confiança zero para IA: Nunca confie nos resultados do modelo. Valide, higienize e restrinja cada resposta antes que ela chegue aos usuários ou aos sistemas downstream.
  • Defesa em profundidade: Coloque vários controles em camadas — filtros de entrada, proteções de saída, limites de taxa e monitoramento — para que uma única falha não comprometa o sistema.
  • Menor privilégio: Conceda aos sistemas de IA apenas as permissões de que eles realmente precisam. Restrinja o acesso ao sistema de arquivos, à rede e à API.
  • Falhar com segurança: Quando algo dá errado, o padrão é o estado mais seguro. Rejeite entradas ambíguas em vez de tentar processá-las.
  • Observabilidade: Registre cada interação de IA com contexto completo. Monitore anomalias, desvios e padrões de ataque.

Principais áreas de segurança

Validação de entrada

Trate todas as entradas do usuário como hostis. Aplique validação estrita antes que qualquer dado chegue ao modelo.

  • Lista de permissões de caracteres e padrões permitidos
  • Limite o comprimento da entrada agressivamente
  • Rejeitar cargas codificadas ou ofuscadas
  • Validar em relação a padrões de injeção conhecidos
# Python: strict input validation
import re
def validate_input(user_input):
    if len(user_input) > 1000:
        raise ValueError("Input too long")
    if not re.match(r'^[\w\s.,!?-]+$', user_input):
        raise ValueError("Invalid characters")
    return user_input

Sanitização de Saída

As saídas do modelo podem conter conteúdo prejudicial, vazamentos ou artefatos de injeção. Higienize antes da exibição.

  • Retirar HTML/JS das saídas do modelo
  • Filtrar PII e padrões confidenciais
  • Bloqueie padrões de saída maliciosos conhecidos
  • Comprimento e frequência de saída com limite de taxa
# Python: output sanitization
import bleach
def sanitize_output(model_output):
    clean = bleach.clean(model_output, tags=[], strip=True)
    # Remove potential system prompt leaks
    clean = re.sub(r'(?i)(system|instruction|prompt):', '[REDACTED]', clean)
    return clean

Segurança de API

Endpoints seguros da API LLM com autenticação, limitação de taxa e rotação de chaves.

  • Aplicar autenticação de chave de API por endpoint
  • Implementar limites de taxa escalonados por usuário/IP
  • Alternar chaves de API mediante comprometimento ou agendamento
  • Monitore padrões de uso anômalos
Guia de mergulho profundo →

Segurança do modelo

Proteja pesos de modelos, configurações e infraestrutura de inferência.

  • Criptografe arquivos de modelo em repouso e em trânsito
  • Restringir o acesso aos artefatos do modelo
  • Monitore tentativas de extração
  • Use marca d'água do modelo para rastreabilidade

Proteção de Dados

Proteja os dados de treinamento, as entradas do usuário e o histórico de conversas.

  • Anonimizar conjuntos de dados de treinamento
  • Implementar limites de retenção de conversas
  • Criptografe conversas armazenadas
  • Permitir que os usuários excluam seus dados (GDPR/CCPA)

Erros comuns a evitar

Confiando nas saídas do modelo

Nunca passe a saída bruta do modelo para bancos de dados, shells ou usuários sem validação. Os modelos podem ser desbloqueados para gerar cargas úteis de injeção de SQL, XSS ou injeção de comando.

Prompts de sistema excessivamente permissivos

Prompts do sistema com instruções amplas como “seja útil” ou “responda a qualquer pergunta” são facilmente manipulados. Use instruções restritas e específicas com limites explícitos.

Sem limitação de taxa

Sem limites de taxa, os invasores podem usar solicitações de força bruta, extrair dados por meio de consultas repetidas ou acumular custos de API. Implemente limites escalonados por usuário e por IP.

Ignorando testes adversários

A implantação sem testes adversários é como enviar código sem testes unitários. Use ferramentas como Garak e PyRIT para encontrar vulnerabilidades antes que os invasores o façam.

Vá mais fundo

Explore nosso guia abrangente de desenvolvimento seguro para obter exemplos de código detalhados, padrões de arquitetura e integração de CI/CD.

Guia de desenvolvimento seguro →

Frequently Asked Questions

What are the best practices for secure AI development?
Best practices for secure AI development include: validating and sanitizing all LLM inputs, implementing strict output filtering, using parameterized prompts to prevent injection, applying least privilege to MCP tool access, encrypting sensitive data, performing regular security testing, and maintaining a secure software supply chain for AI dependencies.
How do I validate and sanitize LLM inputs?
Validate LLM inputs by implementing allowlists for expected formats, enforcing input length limits, stripping control characters and special delimiters, using content security policies, and applying rate limiting. Sanitize by encoding potentially dangerous characters and using structured data formats instead of raw text where possible.
How should I handle API keys and secrets in AI applications?
Never hardcode API keys or secrets in application code or system prompts. Use environment variables, secret management services (Vault, AWS Secrets Manager), and implement scoped API tokens with minimal permissions. Ensure LLM system prompts never expose internal credentials or connection strings.
What are the key security considerations when deploying LLM models?
Key deployment security considerations include: running models in isolated containers with minimal privileges, implementing robust output filtering to prevent data leakage, monitoring inference requests for abuse patterns, using model watermarking for intellectual property protection, and maintaining an audit log of all AI system interactions.

Stay Ahead of AI Security

Get the latest AI/LLM security research, OWASP updates, and new vulnerabilities delivered straight to your inbox.