Gli output allucinati sono risposte del modello che sembrano sicure e plausibili ma sono errate, non supportate o del tutto fabbricate. In termini di sicurezza, sono pericolose perché un sistema di IA può presentare come fatto un'affermazione falsa, inventare una policy, interpretare male le prove o citare un risultato di uno strumento che non è mai esistito. Quando gli utenti si fidano dell'output, un piccolo errore può trasformarsi in una cattiva decisione di accesso, in un passaggio sbagliato nella risposta a un incidente o in un'azione automatizzata non sicura.
Questi errori contano soprattutto quando l'IA è collegata a sistemi aziendali, strumenti di ticketing o repository di codice e dati. Un attaccante può sfruttare quella fiducia inducendo un modello a produrre indicazioni fuorvianti, riepiloghi falsi o riferimenti fabbricati che nascondono attività malevole. I difensori riducono il rischio ancorando i modelli a fonti verificate, richiedendo citazioni, limitando l'uso degli strumenti, convalidando gli output prima dell'azione e mantenendo l'intervento umano per le decisioni ad alto impatto. Le allucinazioni non sono solo difetti di qualità; sono un problema di sicurezza e governance.