Domenica 25 Ottobre 2026 01:27:47 GMT+02:00

Netcrook

HomeManifesto
News
Techcrook
Geocrook
WikicrookTeamAppContatti
ItalianoEnglish

WIKICROOK

Ciclo percezione-azione

Un ciclo in cui un sistema osserva lo stato, decide cosa fare e poi esegue un'azione.

Un ciclo percezione-azione è il ciclo di controllo usato da agenti e sistemi automatizzati: osservare lo stato corrente, decidere una risposta, quindi eseguire un'azione e osservarne il risultato. Nella sicurezza informatica, questo schema è importante ogni volta che a un modello, a un bot o a un flusso di lavoro è consentito interagire con sistemi esterni invece di limitarsi a generare testo.

I rischi per la sicurezza emergono quando contenuti non attendibili entrano nella fase di osservazione. Una pagina, un'email o un documento malevolo possono influenzare la decisione del modello, ed è per questo che la prompt injection è così efficace nelle configurazioni di tipo agente. I difensori riducono il rischio limitando lo spazio delle azioni, separando le istruzioni dalle osservazioni, convalidando gli output prima dell'esecuzione e richiedendo l'approvazione umana per le azioni sensibili. Lo stesso ciclo aiuta anche i difensori a costruire strumenti di monitoraggio e risposta che possono reagire rapidamente, ma solo se i confini di fiducia sono rigorosamente controllati.

← indice WIKICROOK