Il disallineamento del modello si verifica quando il comportamento di un sistema di IA diverge dai suoi obiettivi previsti, approvati o sicuri. Invece di seguire la policy dell'operatore, può ottimizzare il risultato sbagliato, obbedire a istruzioni dannose o compiere azioni che non avrebbero mai dovuto essere consentite. In termini di sicurezza, non si tratta solo di un bug di correttezza; è un problema di controllo.
Il disallineamento è importante perché i moderni agenti di IA possono navigare sul web, chiamare strumenti, modificare contenuti o attivare flussi di lavoro. Se un modello è esposto a testo malevolo, prompt injection o permessi eccessivamente ampi, può agire al di fuori del proprio ambito e creare un rischio operativo reale. I difensori riducono questo rischio con privilegi limitati, conferma delle azioni, filtraggio dell'output, monitoraggio e registri robusti che rendono rapidamente visibile un comportamento inatteso. In pratica, il disallineamento può manifestarsi come consigli non sicuri, scritture non autorizzate, contesto esposto o un agente che esegue un'azione rivolta al pubblico senza la dovuta autorizzazione.