Metodika AI Pentesting
Strukturovaný a etický rámec pro hodnocení zabezpečení systému umělé inteligence
Plánování
Define the objectives, scope, legal permissions, and constraints of the AI pentest. This ensures the engagement is safe, authorized, and aligned with organizational goals.
Klíčové aktivity:
- Získejte explicitní písemné oprávnění
- Definujte hranice systému, cíle a kritéria úspěchu
- Zaveďte zásady bezpečného zacházení s daty a jejich uchovávání
- Dohodněte se na pravidlech zapojení a eskalačních procedur
- Identifikujte požadavky na shodu/regulační požadavky (GDPR, HIPAA atd.)
Reconnaissance
Gather information about the AI system, its architecture, and its surrounding ecosystem to identify possible attack surfaces.
Klíčové aktivity:
- Součásti a integrace mapového systému
- Koncové body a rozhraní API vystavené dokumentům
- Identifikujte typ modelu, zdroje trénovacích dat a kanály
- Posuzuje autentizaci a kontrolu kontroly integrity, protokolování||:kupování|
- Zkontrolujte dokumentaci, veřejná úložiště a související metadata
Analýza zranitelnosti
Identify weaknesses in the AI model, its deployment environment, and supporting infrastructure. Focus on both technical and AI-specific vulnerabilities.
Klíčové aktivity:
- Test pro rychlé vložení a okamžitý únik
- Vyhodnoťte rizika otravy dat a úniků modelu
- Posouzení odolnosti vůči příkladům protivníka
- Kontrola nezabezpečených výchozích konfigurací
- Analyzujte výstupy modelu pro únik citlivých informací
Využití
Safely test vulnerabilities in a controlled manner to validate findings without causing harm or disruption to the system.
Klíčové aktivity:
- Provádění pokusů o zneužití konceptu podle dohodnutých bezpečnostních opatření
- Simulate real-world attack scenarios (adversarial prompts, model extraction)
- Vektory útoku na dokumenty a chování systému
- Ověřit dopady na důvěrnost, integritu a dostupnost zabezpečení AI||
- Udržování mechanismů monitorování a vrácení zpět
Hlášení
Communicate findings clearly and responsibly, with actionable recommendations for remediation and risk mitigation.
Klíčové aktivity:
- Upřednostňovat zjištění podle závažnosti, pravděpodobnosti a obchodního dopadu
- Poskytují jasné pokyny k nápravě a bezpečné rady ohledně konfigurace
- Zahrňte dezinfikované testovací případy a podrobnosti o proof-of-concept
- Doporučit zlepšení monitorování a detekce
- Doručování výkonných shrnutí a technických příloh
Etické úvahy
- Vždy pracujte pod formálním oprávněním a rozsahem
- Netestujte produkční systémy bez výslovného souhlasu
- Vždy respektujte soukromí uživatelů a vlastnictví dat
- Minimalizujte narušení obchodních operací
- Dodržujte koordinované postupy odhalování zranitelností