L'avvelenamento dei dati di addestramento è la corruzione deliberata o l'alterazione del bias dei dati usati per addestrare un modello di machine learning. Gli aggressori possono inserire esempi errati, modificare le etichette o inondare un dataset con record fuorvianti, in modo che il modello apprenda comportamenti non sicuri, inaccurati o favorevoli all'aggressore. Il risultato può essere sottile: il modello può ancora sembrare normale in test superficiali, pur fallendo su input mirati.
Questo è importante perché gli strumenti di sicurezza moderni si affidano sempre più a modelli addestrati per il rilevamento, il ranking e l'automazione. Dati avvelenati possono indebolire i classificatori di malware, distorcere il rilevamento delle frodi o creare backdoor che si attivano solo in presenza di schemi specifici. I difensori riducono il rischio controllando la provenienza dei dati, convalidando le fonti, filtrando le anomalie, rivedendo le etichette e testando i modelli per individuare comportamenti inattesi prima della distribuzione e dopo il riaddestramento.