L'AI red-teaming è un test strutturato di un sistema di IA per individuare comportamenti non sicuri, percorsi di abuso o fallimenti dei guardrail. L'obiettivo è comportarsi come un avversario determinato: mettere alla prova prompt, input, uso degli strumenti e regole del sistema per vedere dove il modello può essere indotto a divulgare dati, generare output dannosi, ignorare le policy o compiere azioni non intenzionali.
È importante perché i sistemi di IA sono usati sempre più spesso nell'assistenza clienti, nella generazione di codice, nella ricerca e nei flussi di lavoro agentici. Una debolezza nel modello o nei controlli che lo circondano può trasformarsi in un problema di sicurezza, di safety o di privacy. In pratica, i red teamer possono provare tecniche di prompt injection, jailbreak, esfiltrazione di dati o input avversari. I difensori usano i risultati per rafforzare i filtri, restringere le autorizzazioni, migliorare la registrazione degli eventi e aggiungere comportamenti di fallback più sicuri.