Il rischio di inferenza è la possibilità che un modello di machine learning possa ricavare informazioni sensibili dai dati che vede, anche quando tali informazioni non sono mai state fornite esplicitamente. Il modello può rivelare indizi attraverso i suoi output, i punteggi di confidenza, gli embedding, i log o i metadati, e può anche memorizzare schemi dai dati di addestramento che in seguito espongono dettagli privati.
Nella sicurezza informatica, il rischio di inferenza è importante perché trasforma il comportamento del modello in un problema di privacy e di divulgazione. Gli attaccanti possono usare il probing dei prompt, l'inversione del modello, l'inferenza di appartenenza o l'analisi dei canali laterali per dedurre se una persona, un record o un segreto fosse presente nell'addestramento o nei dati di sistema circostanti. I difensori riducono questo rischio minimizzando gli input, limitando l'accesso ai dataset grezzi e ai log, usando l'anonimizzazione o la pseudonimizzazione dove possibile, limitando la conservazione e testando i modelli per individuare perdite di dati prima della distribuzione. Una buona governance considera il rischio di inferenza come parte dell'intero ciclo di vita dell'IA, non solo come un problema nel momento della raccolta dei dati.