Un incidente grave è un evento dannoso collegato a un sistema di IA che va oltre un errore minore. Può includere lesioni, interruzioni significative, discriminazione, danni alla privacy o ai diritti, o altri danni regolamentati. Nella sicurezza e nella conformità dell'IA, la domanda chiave non è solo se il modello sia stato violato, ma se il suo output o la sua azione abbiano plausibilmente contribuito a un danno nel mondo reale.
Questo è importante perché la risposta agli incidenti deve tracciare la causalità, preservare i log, le versioni del modello, i prompt, gli output e le approvazioni umane, e decidere rapidamente se si applicano obblighi di segnalazione. In pratica, un reclamo, un esito di audit o un'anomalia aziendale possono essere il primo segnale. I difensori usano triage, rollback e conservazione delle prove per confermare l'ambito e limitare l'impatto. Negli attacchi, gli avversari possono sfruttare errori del modello, input avvelenati o l'integrazione nei flussi di lavoro per provocare esiti dannosi senza una violazione tradizionale.