Il filtraggio dei prompt è un controllo difensivo che ispeziona i prompt, le istruzioni degli strumenti o l'output generato alla ricerca di contenuti sospetti, non sicuri o che violano le policy. Nei sistemi di IA, viene usato per bloccare abusi evidenti come tentativi di jailbreak, richieste di segreti o comandi che cercano di indirizzare un agente verso azioni rischiose.
È importante perché gli agenti possono trasformare il testo in esecuzione. Se un attaccante inserisce istruzioni malevole in un prompt, un documento, un'email o una pagina web, l'agente potrebbe seguirle a meno che il sistema non filtri prima l'input. Il filtraggio può ridurre l'esposizione e intercettare attacchi poco sofisticati, ma non è autorizzazione. Una difesa solida abbina il filtraggio dei prompt al principio del privilegio minimo, al controllo degli accessi basato sull'identità e all'approvazione umana per le azioni ad alto impatto, così un prompt pericoloso non può diventare un'azione pericolosa.