Chunked prefill è una tecnica di inferenza che suddivide un prompt lungo in segmenti più piccoli prima che il modello lo elabori. Invece di caricare l'intero prompt in una volta sola, il sistema di serving lo fornisce a blocchi, così l'uso della memoria GPU rimane più basso e più prevedibile.
Questo è importante nella sicurezza informatica perché gli endpoint di modelli linguistici di grandi dimensioni possono essere messi sotto stress o abusati tramite prompt eccessivamente lunghi, tentativi ripetuti o pattern di traffico che impongono una ricomputazione costosa. Chunked prefill aiuta i difensori a ridurre i picchi di memoria, mantenere stabile la latenza e prevenire condizioni di denial-of-service causate da richieste con contesto lungo. Spesso viene abbinato alla gestione della cache KV e al serving disaggregato, così il lavoro di prefill non blocca la decodifica. Nelle implementazioni reali, gli operatori monitorano la dimensione dei blocchi, la profondità della coda e il margine disponibile di VRAM per individuare sovraccarichi o abusi prima che il servizio vada in down.