Il monitoraggio del disallineamento è un livello di revisione che controlla il comportamento di un sistema di IA per individuare segnali che potrebbe discostarsi dalle politiche previste o dai limiti di sicurezza. Può segnalare azioni sospette per ulteriori verifiche, comprese quelle che sembrano incoerenti con le istruzioni del sistema o con il ruolo autorizzato.
Nella cybersicurezza, questo aiuta i team a rilevare comportamenti rischiosi da parte di agenti di IA in grado di scrivere codice, modificare impostazioni o usare strumenti. Il monitoraggio dovrebbe essere indipendente dal controllo dell’agente: un agente che può modificare i propri meccanismi di revisione o le impostazioni degli avvisi potrebbe compromettere la supervisione. Le misure di difesa includono la limitazione delle autorizzazioni, l’applicazione delle politiche al di fuori dell’agente, la richiesta di approvazione umana per le modifiche con conseguenze rilevanti e la conservazione dei registri di controllo in sistemi che l’agente non può modificare.