La garanzia dell'IA è l'insieme di metodi usati per dimostrare che un sistema di IA rimane entro limiti di rischio accettabili. Combina test, valutazione, monitoraggio, documentazione e revisione umana per verificare se un modello si comporta come previsto nell'uso normale e sotto stress. L'obiettivo non è dimostrare che un'IA sia perfetta, ma costruire prove che il suo comportamento sia compreso e controllato.
Nella sicurezza informatica, la garanzia dell'IA è importante perché i sistemi di IA possono essere attaccati, manipolati o usati in modo improprio proprio come qualsiasi altro software. Il lavoro di garanzia può includere red teaming, test di prompt avversari, valutazione dei filtri di sicurezza e controlli sulla gestione dei dati e sui controlli di rilascio. Una garanzia solida aiuta i difensori a individuare modalità di guasto nascoste, mentre una garanzia debole può lasciare un falso senso di sicurezza. Se chi effettua la valutazione non può testare in profondità o riferire con onestà, il processo diventa una messinscena di conformità invece di una reale riduzione del rischio.