L'allucinazione dell'LLM è una risposta sicura ma falsa o non supportata prodotta da un grande modello linguistico. Il modello può inventare fatti, citare male le fonti o colmare le lacune con ipotesi plausibili. Nella sicurezza informatica, questo è pericoloso perché i team possono affidarsi all'IA per il triage, la revisione del codice, la ricerca sulle minacce, la redazione di policy o i riepiloghi della risposta agli incidenti. Un comando allucinato, un indirizzo IP, una raccomandazione di controllo o un dettaglio di vulnerabilità possono portare a una remediation errata, a tempo sprecato nelle indagini o ad automazione non sicura.
Le allucinazioni si verificano quando i prompt sono ambigui, il modello manca del contesto rilevante o il sistema gli chiede di ragionare oltre le sue evidenze. Gli attaccanti possono anche sfruttare questa debolezza inserendo contenuti fuorvianti nei prompt, nei documenti o negli input della chat, così che il modello li ripeta come se fossero verificati. Le difese includono la generazione aumentata dal recupero, le citazioni delle fonti, la validazione degli schemi, limiti rigorosi ai compiti e la revisione umana per gli output ad alto impatto. L'obiettivo non è fidarsi meno del modello in ogni caso, ma verificarlo prima che la sua risposta influenzi le decisioni di sicurezza.