L'IA black box è un sistema di IA il cui processo decisionale interno non è pienamente visibile o facilmente interpretabile. Nel lavoro di sicurezza, questo è importante perché gli operatori possono sapere cosa produce il modello, ma non esattamente perché ha preso una certa decisione. Questo rende più difficile rilevare bias nascosti, fuga di dati, automazione non sicura o deriva del modello prima che questi problemi influenzino le decisioni di accesso, i punteggi di minaccia, i filtri antifrode o il triage degli incidenti.
Gli aggressori possono abusare dei sistemi black box sondandoli fino a rivelare schemi, oppure sfruttando le lacune tra il comportamento osservato e la logica compresa. I difensori rispondono con controlli che non dipendono dalla piena interpretabilità: registrazione dettagliata, casi d'uso limitati, revisione umana per le azioni ad alto impatto, test di red team e monitoraggio continuo per cambiamenti inattesi dell'output. In pratica, un'implementazione sicura dell'IA tratta il modello come un componente all'interno di un sistema governato, non come un decisore incontestabile.