L'AI affidabile si riferisce a sistemi di AI che sono affidabili, sicuri, spiegabili e appropriati per il compito che devono svolgere. In pratica, ciò significa che il modello si comporta in modo coerente, i suoi output possono essere esaminati e i suoi limiti sono compresi prima che venga utilizzato in produzione o in decisioni ad alto impatto.
Nella sicurezza informatica, l'affidabilità è importante perché l'AI spesso gestisce dati sensibili, automatizza flussi di lavoro o si collega a strumenti interni. Gli aggressori possono tentare prompt injection, data poisoning o istruzioni malevole per strumenti per indurre un modello a compiere azioni non sicure o a causare una fuga di dati. I difensori riducono questo rischio con controlli di accesso, filtraggio degli input, isolamento di retrieval e strumenti, registrazione dei log, monitoraggio del modello e revisione umana. L'AI affidabile non è una singola funzione; è un insieme di controlli che aiuta a mantenere l'AI utile senza trasformarla in una nuova superficie di attacco.