AI 보안 체크리스트

• 승인 서명됨
• 데이터 처리 규칙 확립
• 범위 정의됨

• 존중 비율 제한
• 안전한 증거 기록
• 프로덕션 데이터 방지

• 문서 결과를 명확하게
• 수정 단계 제공
• 위험 등급 포함

• Test direct injection with common patterns (ignore, forget, DAN)
• 문서 업로드를 통한 간접 삽입 테스트
• 중독된 문서에 대해 RAG 파이프라인 테스트
• Verify encoding bypass attempts (Base64, Unicode, ROT13)
• 다단계 대화 조작 테스트
• 시스템 프롬프트 누출 확인
• Test tool/function calling with malicious parameters
• 출력 필터링이 작동하는지 확인
• 테스트 속도 제한 및 남용 방지
• 삽입 시도에 대한 로그 검토

• Verify MCP server authentication is enabled
• Test for path traversal in filesystem tools
• Check for SSRF vulnerabilities in HTTP tools
• Verify tool parameter validation
• Test authentication bypass scenarios
• Check for command injection in shell tools
• Verify SQL injection protection in database tools
• Review API key handling and storage
• Test cross-tenant isolation (if multi-tenant)
• Check for supply chain vulnerabilities in MCP packages

• Map the LLM attack surface: endpoints, tools, plugins, and data sources
• Test direct prompt injection with role-play and jailbreak patterns (DAN, ignore)
• Test indirect prompt injection via uploaded documents, web content, and tool outputs
• Attempt system prompt extraction and instruction leakage
• Verify output sanitization (HTML/markdown injection, tool-call payload tampering)
• Test for excessive agency: confirm tool permissions match the task
• Probe for training data extraction (memorized PII, secrets, verbatim text)
• Test model denial of service (token flooding, recursive loops, resource exhaustion)
• Validate authentication, authorization, and rate limiting on LLM APIs
• Check logging for sensitive data leakage (prompts, credentials, internal context)

• Test goal hijacking via indirect prompt injection
• Verify tool use authorization and audit logging
• Check identity and privilege management
• Test for supply chain vulnerabilities in tools
• Verify sandboxing for code execution
• Test memory/context poisoning attacks
• Check inter-agent communication security
• Verify cascading failure handling
• Test human-agent trust boundaries
• Check for rogue agent persistence

Custom Checklist Builder

체크리스트 팁

• 종속성이 존재하는 순서대로 항목 완료
• 이유가 있는 예외 문서화
• 이해관계자와 주기적으로 검토
• 표준 발전에 따른 체크리스트 업데이트