Venerdi 23 Ottobre 2026 00:31:22 GMT+02:00

Netcrook

HomeManifesto
News
Techcrook
Geocrook
WikicrookTeamAppContatti
ItalianoEnglish

WIKICROOK

Sistema di controllo

Un sistema che influenza il comportamento del mondo reale, in cui gli errori possono contare più della fluidità del linguaggio.

Un sistema di controllo è qualsiasi configurazione software o hardware che riceve un input, prende una decisione e modifica il comportamento del mondo reale. L'idea chiave è che l'output non è solo informazione; può attivare un'azione, aggiornare un flusso di lavoro, aprire o bloccare l'accesso, instradare una richiesta o influenzare un processo fisico. Nella sicurezza, questo è importante perché una decisione errata può causare danni anche quando l'output testuale del sistema appare rifinito o convincente.

Gli aggressori prendono di mira i sistemi di controllo manipolando gli input su cui si basano, come prompt, letture dei sensori, log o risultati di classificazione, per provocare azioni non sicure o non autorizzate. I difensori trattano questi sistemi con cautela aggiuntiva: convalidano gli input, limitano ciò che il sistema è autorizzato a controllare, aggiungono passaggi di approvazione per azioni ad alto impatto e monitorano decisioni anomale. Quando un modello linguistico viene usato per classificare, ordinare o selezionare risultati, dovrebbe essere esaminato come un sistema di controllo, non come un chatbot, perché il rischio per la sicurezza deriva dall'azione che influenza.

← indice WIKICROOK