منهجية اختبار الذكاء الاصطناعي
إطار عمل منظم وأخلاقي لتقييم أمان نظام الذكاء الاصطناعي
التخطيط
Define the objectives, scope, legal permissions, and constraints of the AI pentest. This ensures the engagement is safe, authorized, and aligned with organizational goals.
الأنشطة الرئيسية:
- الحصول على ترخيص كتابي صريح
- تحديد حدود النظام والأهداف ومعايير النجاح
- إنشاء سياسات آمنة لمعالجة البيانات والاحتفاظ بها
- الاتفاق على قواعد المشاركة وإجراءات التصعيد
- تحديد الامتثال/المتطلبات التنظيمية (GDPR، HIPAA، وما إلى ذلك)
الاستطلاع
Gather information about the AI system, its architecture, and its surrounding ecosystem to identify possible attack surfaces.
الأنشطة الرئيسية:
- تعيين مكونات النظام وعمليات التكامل
- نقاط النهاية والواجهات لواجهة برمجة التطبيقات المكشوفة للمستند
- تحديد نوع النموذج والتدريب مصادر البيانات وخطوط الأنابيب
- تقييم عناصر التحكم في المصادقة والتسجيل والمراقبة
- مراجعة الوثائق والمستودعات العامة وبيانات التعريف ذات الصلة
تحليل الثغرات الأمنية
Identify weaknesses in the AI model, its deployment environment, and supporting infrastructure. Focus on both technical and AI-specific vulnerabilities.
الأنشطة الرئيسية:
- اختبار الحقن الفوري والتسرب الفوري
- تقييم تسميم البيانات ومخاطر التهرب من النماذج
- تقييم المتانة ضد الأمثلة المعاكسة
- التحقق من التكوينات الافتراضية غير الآمنة
- تحليل مخرجات النموذج لتسرب المعلومات الحساسة
الاستغلال
Safely test vulnerabilities in a controlled manner to validate findings without causing harm or disruption to the system.
الأنشطة الرئيسية:
- إجراء محاولات استغلال لإثبات المفهوم بموجب إجراءات وقائية متفق عليها
- Simulate real-world attack scenarios (adversarial prompts, model extraction)
- متجهات هجوم المستند وسلوك النظام
- التحقق من التأثيرات على السرية والنزاهة والتوافر
- الحفاظ على آليات المراقبة والتراجع
الإبلاغ
Communicate findings clearly and responsibly, with actionable recommendations for remediation and risk mitigation.
الأنشطة الرئيسية:
- تحديد أولويات النتائج حسب الخطورة والاحتمالية وتأثير الأعمال
- تقديم إرشادات معالجة واضحة ونصائح حول التكوين الآمن
- تضمين حالات اختبار معقمة وتفاصيل إثبات المفهوم
- التوصية بتحسينات المراقبة والكشف
- تسليم ملخصات تنفيذية وملاحق فنية
الاعتبارات الأخلاقية
- تعمل دائمًا بموجب ترخيص رسمي ونطاق
- لا تختبر أنظمة الإنتاج دون موافقة صريحة
- احترام خصوصية المستخدم وملكية البيانات في جميع الأوقات
- تقليل تعطيل العمليات التجارية
- اتبع ممارسات الكشف عن الثغرات المنسقة