Un classificatore di blocco è un filtro di policy automatizzato usato per decidere se un sistema di IA debba rispondere a una richiesta, rifiutarla o inoltrarla per revisione. In genere valuta il prompt, il contesto della conversazione e talvolta l'output previsto del modello rispetto a regole di sicurezza come la creazione di malware, il furto di credenziali, il phishing o le istruzioni per exploit.
Nella sicurezza informatica, i classificatori di blocco aiutano a creare un confine di fiducia attorno agli strumenti di IA ad alto rischio. Riduccono le fughe accidentali di istruzioni offensive, ma possono anche generare falsi positivi che interrompono attività difensive legittime. Per questo motivo, alcuni programmi approvati usano salvaguardie ridotte per utenti verificati, mantenendo comunque registrazione e supervisione. Gli aggressori possono tentare di eludere questi filtri con offuscamento, codifica, roleplay o prompt injection. I difensori rispondono rafforzando la logica delle policy, aggiungendo il monitoraggio degli abusi e rivedendo le richieste bloccate per migliorare il classificatore nel tempo.