La contaminazione è la presenza di contenuto di benchmark, o di materiale strettamente correlato, nei dati di addestramento o nella memoria di un modello. Nella sicurezza e nella valutazione dell'IA, questo è importante perché può far sembrare un sistema più capace di quanto non sia davvero: il modello potrebbe stare richiamando un'esposizione precedente invece di risolvere il compito da zero. Questo indebolisce il valore dei punteggi, soprattutto nei test statici che vengono riutilizzati ampiamente.
Nelle difese del mondo reale, la contaminazione viene trattata come un problema di misurazione e di integrità. I team cercano elementi duplicati o quasi duplicati, la fuga nascosta di prompt e la sovrapposizione con i dati di addestramento, così da separare la memorizzazione dal ragionamento generale. Gli aggressori possono sfruttare la contaminazione indirettamente seminando dati pubblici con contenuti simili a benchmark, oppure adattando eccessivamente i sistemi a schemi di test noti, cosa che può distorcere le valutazioni e nascondere vulnerabilità che sarebbero rilevanti in fase di distribuzione.