AI Hacking
Recursos de segurança de IA

Autoavaliação de segurança de IA

Avalie a postura de segurança de IA da sua organização

🔍

Orientação de avaliação

Seja honesto em suas respostas para identificar falhas reais de segurança

Existe uma autorização explícita e por escrito que abrange todos os sistemas de IA que você testa, incluindo modelos de terceiros e servidores MCP que você não possui?

Governança

Observação: Verifique os regulamentos regionais (GDPR, AI Act) e as obrigações contratuais antes de testar.

Você classificou os dados que seus modelos e agentes tocam e excluiu dados pessoais de produção dos ambientes de teste?

Governança

Observação: Uma cópia temporária não testada de dados reais de clientes ainda é um dado regulamentado.

Você trata a entrada do modelo como não confiável, com um limite documentado entre instruções e conteúdo recuperado ou fornecido pelo usuário?

Injeção de prompt

Observação: Este é o OWASP LLM01. A maioria das violações reais começa aqui.

A saída do modelo é tratada como dados não confiáveis ​​em cada coletor downstream, em vez de ser passada diretamente para um shell, SQL ou modelo?

Injeção de prompt

Observação: OWASP LLM05: Tratamento de saída inadequado.

Seus servidores MCP e ferramentas de agente impõem autenticação e autorização por ferramenta, em vez de expor cada ferramenta a qualquer chamador?

Agentes e MCP

Observação: Vários CVEs de 2.026 pontuaram 10,0 simplesmente porque o transporte SSE foi enviado sem autorização.

As ações dos agentes estão limitadas pelo menor privilégio, com portas de aprovação e gastos ou limites de etapas em loops autônomos?

Agentes e MCP

Observação: OWASP LLM06: Agência Excessiva.

Você controla o que entra em seu corpus RAG e ajusta os dados e pode rastrear um pedaço recuperado até uma fonte autorizada?

Dados e recuperação

Observação: OWASP LLM04 e LLM08: envenenamento e incorporação de controle de acesso à loja.

Os segredos, credenciais e prompts do sistema são mantidos fora do contexto que um invasor pode influenciar e são impedidos de serem repetidos?

Dados e recuperação

Observação: OWASP LLM02 e LLM07.

Você registra a atividade do modelo e do agente em um formato que permite reconstruir o que uma solicitação fez, incluindo chamadas de ferramenta e contexto recuperado?

Detecção e Resposta

Observação: Sem isso você não pode investigar um incidente.

Existe um caminho documentado para retirar um modelo ou agente quando houver suspeita de injeção de prompt ou abuso de ferramenta?

Detecção e Resposta

Observação: Revogar credenciais e desabilitar ferramentas é melhor do que corrigir no meio do incidente.

Pontuação de avaliação

Conclua a avaliação para ver sua pontuação

-
/ 30

Detalhamento da avaliação

Por categoria

Por nível de implementação

Melhoria Recomendações

Conclua a avaliação para ver recomendações personalizadas...

Frequently Asked Questions

What is an AI security self-assessment?
An AI security self-assessment is a structured evaluation of your organization's AI and LLM security posture. It covers areas like prompt injection readiness, data handling practices, MCP server security, access controls, incident response capabilities, and compliance with AI security standards and regulations.
How do I evaluate my organization's AI security posture?
Evaluate AI security posture by assessing: whether LLM inputs and outputs are properly validated, if MCP tools have appropriate access controls, how training data and model artifacts are protected, whether AI incident response plans exist, and if your team follows secure AI development practices and complies with relevant regulations.
What are the key areas to assess in AI security?
Key AI security assessment areas include: prompt injection defenses, model access controls, API security for LLM endpoints, MCP server configuration, training data protection, output filtering and leakage prevention, supply chain security for ML dependencies, and compliance with frameworks like NIST AI RMF and EU AI Act.
How often should AI security assessments be performed?
AI security assessments should be performed at least quarterly, plus whenever significant changes are made to AI systems. Trigger events include: deploying new LLM models, adding MCP tools or resources, changing system prompts, integrating new third-party AI services, or after any AI security incident.
Share: X LinkedIn Reddit HN

Stay Ahead of AI Security

Get the latest AI/LLM security research, OWASP updates, and new vulnerabilities delivered straight to your inbox.