I vincoli di sicurezza sono regole che limitano ciò che un modello può dire o fare quando un output potrebbe creare un rischio inaccettabile. Nella sicurezza informatica, vengono usati per impedire a un sistema AI di fornire istruzioni di sfruttamento, di aiutare nel furto di credenziali o di compiere azioni che passano dall'analisi difensiva all'abuso. Possono anche limitare l'uso degli strumenti, ridurre i permessi e richiedere l'approvazione umana prima che vengano intrapresi passaggi sensibili.
Nella pratica, i vincoli di sicurezza si presentano sotto forma di filtri di policy, comportamento di rifiuto, gate di approvazione e controlli di accesso attorno agli output del modello. I difensori li usano per mantenere l'AI utile per attività come test e analisi senza consentire una capacità operativa di attacco. Gli aggressori possono cercare di aggirarli con prompt injection o tecniche di jailbreak, quindi i sistemi robusti combinano i vincoli con monitoraggio, registrazione e progettazione secondo il principio del privilegio minimo.


