L'opacità del modello è la condizione in cui il ragionamento di un sistema di IA è difficile da ispezionare, spiegare o verificare. Il modello può comunque produrre output utili, ma il percorso dall'input alla decisione non è abbastanza trasparente perché chi esamina il sistema possa capire perché sia stato scelto un determinato risultato. Nei sistemi sensibili alla sicurezza, questa mancanza di visibilità rende più difficile rilevare errori, bias nascosti, fuga di dati o comportamenti malevoli nascosti nel modello.
Nella sicurezza informatica, l'opacità conta perché i difensori hanno bisogno di prove, non solo di un punteggio. Un modello black-box usato per le assunzioni, il rilevamento delle frodi, il filtraggio del malware o il controllo degli accessi può essere difficile da contestare quando rifiuta un utente legittimo o segnala il bersaglio sbagliato. Gli attaccanti possono anche sfruttare sistemi opachi sondandoli alla ricerca di segnali deboli e poi eludendo il rilevamento. Per questo motivo, le organizzazioni affiancano l'IA a log, test, revisione umana e controlli di spiegabilità, in modo che le decisioni possano essere tracciate, convalidate e annullate quando necessario.