Μεθοδολογία εκκρεμούς δοκιμής AI
Ένα δομημένο και ηθικό πλαίσιο για την αξιολόγηση της ασφάλειας του συστήματος τεχνητής νοημοσύνης
Σχεδιασμός
Define the objectives, scope, legal permissions, and constraints of the AI pentest. This ensures the engagement is safe, authorized, and aligned with organizational goals.
Βασικές Δραστηριότητες:
- Λάβετε ρητή γραπτή εξουσιοδότηση
- Καθορίστε τα όρια συστήματος, τους στόχους και τα κριτήρια επιτυχίας
- Δημιουργία ασφαλούς χειρισμού και διατήρησης δεδομένων Πολιτικές ασφαλείας και μείωσης πρακτικών για την ασφάλεια των πρακτόρων
- Διαχείριση κλειδιών API
- Προσδιορίστε τις απαιτήσεις συμμόρφωσης/ρυθμιστικές απαιτήσεις (GDPR, HIPAA, κ.λπ.)
Reconnaissance
Gather information about the AI system, its architecture, and its surrounding ecosystem to identify possible attack surfaces.
Βασικές Δραστηριότητες:
- Στοιχεία και ενσωματώσεις συστήματος χάρτη
- Τελικά σημεία και διεπαφές API που εκτίθενται στο έγγραφο
- Προσδιορισμός του τύπου μοντέλου, των πηγών δεδομένων εκπαίδευσης και των αγωγών
- Ακεραιότητα δημιουργίας αντιγράφων ασφαλείας:
- Ελέγξτε την τεκμηρίωση, τα δημόσια repos και τα σχετικά μεταδεδομένα
Ανάλυση ευπάθειας
Identify weaknesses in the AI model, its deployment environment, and supporting infrastructure. Focus on both technical and AI-specific vulnerabilities.
Βασικές Δραστηριότητες:
- Δοκιμή άμεσης έγχυσης και άμεσης διαρροής
- Αξιολόγηση κινδύνου δηλητηρίασης δεδομένων και διαφυγής μοντέλων
- Εκτιμήστε την ευρωστία έναντι των αντίθετων παραδειγμάτων
- Έλεγχος για μη ασφαλείς προεπιλεγμένες διαμορφώσεις
- Ανάλυση των εξόδων του μοντέλου για διαρροή ευαίσθητων πληροφοριών
Εκμετάλλευση
Safely test vulnerabilities in a controlled manner to validate findings without causing harm or disruption to the system.
Βασικές Δραστηριότητες:
- Διεξαγωγή προσπαθειών εκμετάλλευσης απόδειξης της ιδέας σύμφωνα με συμφωνημένες διασφαλίσεις
- Simulate real-world attack scenarios (adversarial prompts, model extraction)
- Διανύσματα επίθεσης εγγράφου και συμπεριφορά συστήματος
- V. διαθεσιμότητα
- Διατήρηση μηχανισμών παρακολούθησης και επαναφοράς
Αναφορά
Communicate findings clearly and responsibly, with actionable recommendations for remediation and risk mitigation.
Βασικές Δραστηριότητες:
- Δώστε προτεραιότητα στα ευρήματα με βάση τη σοβαρότητα, την πιθανότητα και τον επιχειρηματικό αντίκτυπο
- Παρέχετε σαφείς οδηγίες αποκατάστασης και συμβουλές ασφαλούς διαμόρφωσης
- Συμπεριλάβετε απολυμανμένες περιπτώσεις δοκιμών και λεπτομέρειες απόδειξης ιδέας
- Προτείνετε βελτιώσεις παρακολούθησης και ανίχνευσης
- Προβολή εκτελεστικών περιλήψεων και τεχνικών παραρτημάτων
Ηθικά ζητήματα
- Να λειτουργούν πάντα υπό επίσημη εξουσιοδότηση και πεδίο επικοινωνίες πρακτόρων
- Μην δοκιμάζετε συστήματα παραγωγής χωρίς ρητές ρυθμίσεις PR|D. κ.λπ.)
- Σέβεστε το απόρρητο των χρηστών και την ιδιοκτησία των δεδομένων ανά πάσα στιγμή
- Ελαχιστοποίηση της διακοπής στις επιχειρηματικές λειτουργίες
- Ακολουθήστε τις συντονισμένες πρακτικές αποκάλυψης ευπάθειας