L'auto-miglioramento ricorsivo (RSI) è un ciclo di feedback in cui un sistema di IA cerca di migliorare le proprie prestazioni valutando gli output, generando revisioni e usando quei risultati per produrre la versione successiva. Nella pratica attuale, l'RSI è in genere vincolato: il sistema può autocontrollarsi, autotestarsi o affinare codice e prompt, ma non è una superintelligenza autonoma. Il valore per la sicurezza nel comprendere l'RSI è che ogni ciclo può anche amplificare gli errori.
Nella sicurezza informatica, l'RSI è importante perché valutatori deboli, dati di addestramento compromessi, prompt injection o output pericolosi degli strumenti possono peggiorare nel tempo il raffinamento automatizzato. Un attaccante può cercare di orientare il ciclo verso codice insicuro, cattive decisioni di policy o esfiltrazione di dati influenzando il canale di feedback del sistema. I difensori riducono questo rischio con sandboxing, gate di approvazione, tracciamento delle versioni, test indipendenti e revisione umana per le modifiche ad alto impatto. La lezione fondamentale è semplice: un sistema che si auto-migliora è sicuro solo quanto i controlli attorno al suo ciclo di feedback.