La valutazione dei sottogruppi è la pratica di testare un modello separatamente su gruppi demografici o contestuali invece di affidarsi a un unico punteggio complessivo. Un sistema può sembrare accurato in media ma avere prestazioni scadenti per lingue, regioni, tipi di utenti, dispositivi o popolazioni sensibili specifiche. Suddividendo i risultati in gruppi, i difensori possono individuare schemi di errore nascosti, bias e affidabilità disomogenea che le metriche aggregate non coglierebbero.
Nel campo della sicurezza informatica, questo è importante perché attaccanti e utenti non interagiscono con i modelli in modo uniforme. Un rilevatore di phishing, un sistema di scoring per le frodi, un filtro di moderazione o un assistente IA possono essere efficaci per prompt standard in inglese ma più deboli con slang, code-switching o lingue a basse risorse. Questo divario può creare punti ciechi che gli attaccanti sfruttano e può anche causare blocchi ingiusti, minacce non rilevate o indicazioni non sicure. I team di sicurezza utilizzano la valutazione dei sottogruppi durante il test dei modelli, il red-teaming e il monitoraggio continuo per confrontare falsi positivi, falsi negativi e comportamenti di rifiuto tra i gruppi. È un controllo pratico per costruire sistemi di IA più sicuri e affidabili.