Un sistema di controllo è qualsiasi configurazione software o hardware che riceve un input, prende una decisione e modifica il comportamento del mondo reale. L'idea chiave è che l'output non è solo informazione; può attivare un'azione, aggiornare un flusso di lavoro, aprire o bloccare l'accesso, instradare una richiesta o influenzare un processo fisico. Nella sicurezza, questo è importante perché una decisione errata può causare danni anche quando l'output testuale del sistema appare rifinito o convincente.
Gli aggressori prendono di mira i sistemi di controllo manipolando gli input su cui si basano, come prompt, letture dei sensori, log o risultati di classificazione, per provocare azioni non sicure o non autorizzate. I difensori trattano questi sistemi con cautela aggiuntiva: convalidano gli input, limitano ciò che il sistema è autorizzato a controllare, aggiungono passaggi di approvazione per azioni ad alto impatto e monitorano decisioni anomale. Quando un modello linguistico viene usato per classificare, ordinare o selezionare risultati, dovrebbe essere esaminato come un sistema di controllo, non come un chatbot, perché il rischio per la sicurezza deriva dall'azione che influenza.


