एआई सुरक्षा चेकलिस्ट

• प्राधिकरण पर हस्ताक्षर
• डेटा प्रबंधन नियम स्थापित
• स्कोप परिभाषित

• दर सीमा का सम्मान करें
• सुरक्षित साक्ष्य रिकॉर्ड करें
• उत्पादन डेटा से बचें

• दस्तावेज़ निष्कर्ष स्पष्ट रूप से
• उपचार चरण प्रदान करें
• Include risk ratings

• Test direct injection with common patterns (ignore, forget, DAN)
• दस्तावेज़ अपलोड के माध्यम से अप्रत्यक्ष इंजेक्शन का परीक्षण
• जहरीले दस्तावेज़ों के लिए आरएजी पाइपलाइन का परीक्षण करें
• Verify encoding bypass attempts (Base64, Unicode, ROT13)
• टेस्ट मल्टी-टर्न वार्तालाप हेरफेर
• सिस्टम शीघ्र रिसाव की जांच करें
• Test tool/function calling with malicious parameters
• सत्यापित करें कि आउटपुट फ़िल्टरिंग काम कर रही है
• परीक्षण दर सीमित करना और दुरुपयोग की रोकथाम
• इंजेक्शन प्रयासों के लिए समीक्षा लॉग

• Verify MCP server authentication is enabled
• Test for path traversal in filesystem tools
• Check for SSRF vulnerabilities in HTTP tools
• Verify tool parameter validation
• Test authentication bypass scenarios
• Check for command injection in shell tools
• Verify SQL injection protection in database tools
• Review API key handling and storage
• Test cross-tenant isolation (if multi-tenant)
• Check for supply chain vulnerabilities in MCP packages

• Map the LLM attack surface: endpoints, tools, plugins, and data sources
• Test direct prompt injection with role-play and jailbreak patterns (DAN, ignore)
• Test indirect prompt injection via uploaded documents, web content, and tool outputs
• Attempt system prompt extraction and instruction leakage
• Verify output sanitization (HTML/markdown injection, tool-call payload tampering)
• Test for excessive agency: confirm tool permissions match the task
• Probe for training data extraction (memorized PII, secrets, verbatim text)
• Test model denial of service (token flooding, recursive loops, resource exhaustion)
• Validate authentication, authorization, and rate limiting on LLM APIs
• Check logging for sensitive data leakage (prompts, credentials, internal context)

• Test goal hijacking via indirect prompt injection
• Verify tool use authorization and audit logging
• Check identity and privilege management
• Test for supply chain vulnerabilities in tools
• Verify sandboxing for code execution
• Test memory/context poisoning attacks
• Check inter-agent communication security
• Verify cascading failure handling
• Test human-agent trust boundaries
• Check for rogue agent persistence

कस्टम चेकलिस्ट बिल्डर

चेकलिस्ट टिप्स

• जहां निर्भरता मौजूद है, वहां आइटम को क्रम में पूरा करें
• तर्क के साथ दस्तावेज़ अपवाद
• समय-समय पर हितधारकों के साथ समीक्षा
• मानकों के विकसित होने पर चेकलिस्ट अपडेट करें