L'estrazione black-box è una tecnica per inferire il comportamento di un modello inviando molte richieste e osservandone le risposte, senza accesso ai pesi del modello, ai dati di addestramento o al codice interno. Gli aggressori possono variare prompt, input e condizioni di campionamento per mappare i modelli nelle risposte, approssimare i confini decisionali o ricostruire capacità utili in una copia più economica.
Questo è importante nella sicurezza informatica perché un modello può rivelare un comportamento prezioso anche quando i suoi elementi interni sono protetti. Nei sistemi di IA, l'estrazione può supportare il furto del modello, l'abuso dei prompt e il recupero di pattern di ragionamento sensibili o del comportamento dei meccanismi di protezione. I difensori rispondono con limitazione della frequenza, rilevamento delle anomalie, correlazione degli abusi tra account, filtraggio dell'output e restrizioni sulle risposte di alto valore. Una registrazione e una telemetria robuste aiutano a identificare il probing automatizzato, le richieste di tipo replay e le interrogazioni distribuite progettate per restare al di sotto delle soglie di rilevamento.