La supervisione del rischio del modello è la governance utilizzata per testare, approvare, monitorare e vincolare modelli di IA o statistici prima che influenzino le decisioni aziendali. Negli ambienti regolamentati, comprende la qualità dei dati, la convalida, il monitoraggio del drift, il controllo degli accessi, la revisione umana, la documentazione e le procedure di rollback. L'obiettivo è rendere il comportamento del modello spiegabile, ripetibile e verificabile.
Nella sicurezza informatica, questo è importante perché un modello può diventare parte della superficie d'attacco. Dati di addestramento avvelenati, prompt injection, recupero troppo ampio o un drift del modello silenzioso possono produrre output non sicuri, divulgare informazioni sensibili o automatizzare decisioni errate. Una supervisione solida aiuta i difensori a rilevare gli abusi, richiedere il controllo delle modifiche e mantenere delimitati i flussi di lavoro assistiti dall'IA. È una difesa a livello di controllo: il modello può assistere, ma persone e policy prendono comunque la decisione finale quando il rischio è rilevante.