La raccolta degli output è la raccolta su larga scala delle risposte di un modello di IA, in modo che possano essere riutilizzate come dati di addestramento. Nell'apprendimento automatico, questa può essere una forma legittima di distillazione del modello: un sistema più piccolo impara imitando gli output di uno più grande. Negli scenari di abuso, lo stesso processo diventa un modo per estrarre capacità senza accesso ai pesi del modello o al codice interno.
È importante nella sicurezza informatica perché trasforma le API pubbliche in una superficie di attacco. Un operatore può inviare prompt ripetuti, mirati e ad alto volume, raccogliere le risposte e addestrare un modello concorrente sulle tracce. I difensori cercano segnali come richieste ripetitive, coordinamento insolito degli account, bassa diversità dei prompt e concentrazione su un insieme specifico di competenze. Le misure comuni includono limitazione della velocità, monitoraggio degli abusi, analisi dei grafi degli account e registrazione dei prompt. La raccolta degli output non copia perfettamente un modello, ma può comunque ridurre il costo di costruzione di un sistema concorrente ed esporre preziosi schemi di comportamento.