Un sistema ad alto rischio è un caso d'uso dell'IA che può influire in modo significativo su diritti, sicurezza o decisioni importanti, quindi deve soddisfare controlli legali e tecnici più rigorosi. In pratica, questo include i sistemi usati per l'assunzione, le decisioni di accesso, la gestione dei lavoratori, il credito, la salute o altri contesti sensibili in cui un output errato può causare un danno reale. L'etichetta non dipende solo dal modello in sé; dipende dall'uso previsto e dall'impatto della catena decisionale.
Per la sicurezza informatica, i sistemi ad alto rischio sono importanti perché di solito richiedono una governance più forte: controlli di accesso, registrazione degli eventi, tracciabilità, supervisione umana e verifiche della qualità dei dati. Gli attaccanti possono tentare di alterare gli input, riaddestrare un modello su dati avvelenati o abusare di flussi di revisione deboli per spingere decisioni dannose. I difensori trattano questi sistemi come asset controllati, non come semplice automazione. Ciò significa limitare chi può modificare prompt, soglie o dataset; mantenere tracce di audit; e garantire che una persona qualificata possa fermare o sovrascrivere gli output quando qualcosa sembra sbagliato.