La sicurezza dell'IA è la disciplina che consiste nel mantenere i sistemi di IA affidabili, delimitati e sicuri quando passano dagli ambienti di test alle operazioni reali. Nella sicurezza informatica è importante perché un modello può essere accurato ma comunque pericoloso se può accedere a dati sensibili, attivare strumenti o prendere decisioni senza limiti chiari e senza revisione.
I difensori applicano la sicurezza dell'IA tramite autorizzazioni limitate allo scopo, registrazione delle attività, approvazione umana per le azioni ad alto rischio e test continui contro prompt injection, esfiltrazione di dati e automazione non sicura. Gli aggressori prendono di mira una sicurezza dell'IA debole manipolando i prompt, avvelenando i dati o sfruttando un accesso troppo ampio agli strumenti per indurre i sistemi difensivi a rivelare informazioni o a compiere azioni dannose. Una buona sicurezza dell'IA trasforma l'IA da superficie di controllo non verificata in una parte monitorata e reversibile dello stack di sicurezza.