Quando le istruzioni nascoste viaggiano dentro i risultati di ricerca, la sicurezza dell’AI si complica

La generazione aumentata dal recupero, o RAG, è stata progettata per rendere le risposte dell’AI più utili abbinando un modello a documenti esterni. La stessa progettazione crea però un sottile problema di sicurezza. Se un sistema incorpora contenuti da pagine web, wiki interne, caricamenti o basi di conoscenza condivise, può anche inglobare istruzioni nascoste all’interno di quei contenuti. In termini di sicurezza dell’AI, questo è il rischio centrale dell’indirect prompt injection.

Questo tema conta perché la superficie d’attacco non è più solo il prompt dell’utente. Si estende a ingestione, recupero, suddivisione in chunk, ranking, generazione e, in alcune distribuzioni, uso degli strumenti. I metadati forniti non identificano una vittima o una violazione specifica, quindi questo testo va letto come analisi del rischio tecnico e non come prova di un sistema compromesso.

Fatti rapidi

• L’indirect prompt injection inserisce istruzioni malevole all’interno di contenuti che un sistema RAG potrebbe recuperare in seguito.
• RAG modifica il confine di fiducia mescolando istruzioni con contesto non attendibile.
• I rischi possono includere risposte distorte, aggiramento delle policy o comportamento insicuro degli strumenti, a seconda della configurazione.
• I team di sicurezza spesso si concentrano su provenienza, isolamento dei chunk e accesso agli strumenti con privilegi minimi.
• La lezione più ampia è che la sicurezza dell’AI dipende dalla gestione dei dati, non solo dai prompt del modello.

Perché la tecnica è così difficile da individuare

L’indirect prompt injection non è un exploit rumoroso. Può vivere dentro testo dall’aspetto ordinario e attivarsi solo quando un modello legge quel testo insieme a una richiesta dell’utente. Questo rende difficile il rilevamento per i team che trattano i documenti recuperati come semplice materiale di sfondo innocuo. In pratica, il modello potrebbe non sapere quali parti siano istruzioni e quali prove, a meno che il sistema non disponga di confini solidi.

Da un punto di vista difensivo, la domanda più importante è se lo stack di AI riesca a distinguere le istruzioni di sistema attendibili dal contenuto recuperato. Se non ci riesce, un documento apparentemente benigno può diventare un canale di controllo. Ciò è particolarmente rilevante nei sistemi agentici, dove il modello può compiere azioni tramite strumenti connessi. In questi casi, una cattiva istruzione non rischia solo di produrre una risposta errata. Può anche comportare un’azione non autorizzata se il livello degli strumenti non è strettamente limitato.

Come si presentano le buone difese

La sicurezza RAG di solito riguarda più livelli, non una soluzione magica. I marker di provenienza possono aiutare a identificare da dove proviene il materiale recuperato. I confini dei chunk possono ridurre la contaminazione incrociata. I filtri di input possono cercare schemi di istruzione sospetti, mentre i controlli di output possono impedire al modello di ripetere o applicare contenuti pericolosi. Se sono disponibili strumenti, dovrebbero operare con privilegi minimi e richiedere un controllo dell’azione rispetto all’intento dell’utente.

Un altro principio utile è trattare tutto il testo recuperato come non attendibile per impostazione predefinita, anche quando proviene da sistemi interni. Questa mentalità conta perché molte implementazioni RAG combinano contenuti da più fonti con livelli di rischio diversi. La sfida tecnica non consiste solo nell’arrestare testo malevolo evidente. Consiste anche nel prevenire che contenuti aziendali ordinari vengano abusati come veicolo per istruzioni nascoste.

Conclusione

La lezione principale è semplice: RAG non solo migliora il richiamo dell’AI, ma amplia anche il problema di fiducia. Quando il recupero diventa parte della memoria di lavoro del modello, i team di sicurezza devono difendere l’intera pipeline, non solo la casella del prompt. Ecco perché l’indirect prompt injection è diventato uno degli esempi più chiari di come i sistemi di AI possano ereditare rischi dai dati che consumano.

WIKICROOK

• Indirect prompt injection: Una tecnica in cui istruzioni nascoste all’interno di contenuti recuperati influenzano un modello di AI.
• RAG: Generazione aumentata dal recupero, un’architettura che aggiunge documenti esterni al contesto del modello.
• Prompt injection: Tentativi di manipolare un modello creando input che sovrascrivono il comportamento previsto.
• Chunk isolation: Separazione dei contenuti recuperati in porzioni controllate per ridurre la fuga di istruzioni tra i contesti.
• Defense in depth: Uso combinato di più controlli di sicurezza invece di affidarsi a una sola salvaguardia.