วิธีการ Pentesting ของ AI
กรอบงานที่มีโครงสร้างและจริยธรรมสำหรับการประเมินความปลอดภัยของระบบ AI
การวางแผน
Define the objectives, scope, legal permissions, and constraints of the AI pentest. This ensures the engagement is safe, authorized, and aligned with organizational goals.
กิจกรรมหลัก:
- ขอรับการอนุญาตเป็นลายลักษณ์อักษรอย่างชัดเจน
- กำหนดขอบเขตของระบบ เป้าหมาย และเกณฑ์ความสำเร็จ
- สร้างนโยบายการจัดการและการเก็บรักษาข้อมูลที่ปลอดภัย
- ตกลงเกี่ยวกับกฎการมีส่วนร่วมและขั้นตอนการยกระดับ
- ระบุการปฏิบัติตามข้อกำหนด/ข้อกำหนดด้านกฎระเบียบ (GDPR, HIPAA ฯลฯ)
การลาดตระเวน
Gather information about the AI system, its architecture, and its surrounding ecosystem to identify possible attack surfaces.
กิจกรรมหลัก:
- แมปส่วนประกอบของระบบและการบูรณาการ
- เอกสารเปิดเผยจุดสิ้นสุดและอินเทอร์เฟซ API
- ระบุประเภทโมเดล แหล่งข้อมูลการฝึกอบรม และไปป์ไลน์
- ประเมินการตรวจสอบสิทธิ์ การบันทึก และการควบคุมการตรวจสอบ
- ตรวจสอบเอกสาร ที่เก็บสาธารณะ และข้อมูลเมตาที่เกี่ยวข้อง
การวิเคราะห์ช่องโหว่
Identify weaknesses in the AI model, its deployment environment, and supporting infrastructure. Focus on both technical and AI-specific vulnerabilities.
กิจกรรมหลัก:
- ทดสอบเพื่อการฉีดทันทีและการรั่วไหลทันที
- ประเมินข้อมูลเป็นพิษและความเสี่ยงในการหลีกเลี่ยงแบบจำลอง
- ประเมินความทนทานต่อตัวอย่างที่ขัดแย้งกัน
- ตรวจสอบการกำหนดค่าเริ่มต้นที่ไม่ปลอดภัย
- วิเคราะห์เอาต์พุตของแบบจำลองสำหรับการรั่วไหลของข้อมูลที่ละเอียดอ่อน
การแสวงหาประโยชน์
Safely test vulnerabilities in a controlled manner to validate findings without causing harm or disruption to the system.
กิจกรรมหลัก:
- ดำเนินการพยายามหาประโยชน์แบบพิสูจน์แนวคิดภายใต้การป้องกันที่ตกลงกันไว้
- Simulate real-world attack scenarios (adversarial prompts, model extraction)
- พาหะของการโจมตีเอกสารและพฤติกรรมของระบบ
- ตรวจสอบผลกระทบต่อการรักษาความลับ ความสมบูรณ์ และความพร้อมใช้งาน
- รักษากลไกการตรวจสอบและการย้อนกลับ
การรายงาน
Communicate findings clearly and responsibly, with actionable recommendations for remediation and risk mitigation.
กิจกรรมหลัก:
- จัดลำดับความสำคัญของการค้นพบตามความรุนแรง แนวโน้ม และผลกระทบทางธุรกิจ
- ให้คำแนะนำการแก้ไขที่ชัดเจนและคำแนะนำในการกำหนดค่าที่ปลอดภัย
- รวมกรณีทดสอบที่ผ่านการฆ่าเชื้อและรายละเอียดการพิสูจน์แนวคิด
- แนะนำการปรับปรุงการตรวจสอบและการตรวจจับ
- ส่งมอบบทสรุปผู้บริหารและภาคผนวกทางเทคนิค
การพิจารณาด้านจริยธรรม
- ทำงานภายใต้การอนุญาตและขอบเขตอย่างเป็นทางการเสมอ||ตรวจสอบอินพุตทั้งหมด
- อย่าทดสอบระบบการผลิตโดยไม่ได้รับความยินยอมอย่างชัดแจ้ง
- เคารพความเป็นส่วนตัวของผู้ใช้และความเป็นเจ้าของข้อมูลตลอดเวลา
- ลดการหยุดชะงักในการดำเนินธุรกิจให้เหลือน้อยที่สุด
- ปฏิบัติตามแนวทางปฏิบัติในการเปิดเผยช่องโหว่ที่มีการประสานงาน