L'AI jailbreaking è un prompting avversario usato per aggirare le regole di sicurezza di un modello, i filtri di policy o il comportamento di rifiuto. L'obiettivo non è migliorare la risposta, ma spingere il sistema oltre i limiti previsti dallo sviluppatore. In termini di sicurezza, si tratta di un attacco al confine di fiducia: l'attaccante cerca di far sì che testo non attendibile sovrascriva le istruzioni attendibili.
Questo è importante perché i moderni sistemi di IA spesso leggono documenti, pagine web, risultati di ricerca o dati di connettori, e possono anche attivare strumenti o azioni. Un prompt malevolo nascosto in quel contenuto può indurre il modello a rivelare informazioni ristrette, ignorare i guardrail o compiere azioni non sicure. Le difese si concentrano sul privilegio minimo, sulla separazione delle istruzioni dal contenuto recuperato, sul sandboxing delle azioni rischiose, sulla richiesta di conferma per i passaggi importanti e sul testing con prompt avversari. L'AI jailbreaking è quindi meno un trucco intelligente che un problema di controllo nei sistemi connessi.