Un limite di token è la quantità massima di testo che un modello di IA può elaborare o generare in una singola richiesta, misurata in token anziché in parole. Un token può essere un'intera parola, una parte di parola, un segno di punteggiatura o un simbolo, quindi i conteggi dei token non corrispondono in modo preciso ai semplici conteggi di parole.
In cybersecurity, i limiti di token sono importanti perché influenzano quanto contesto un modello può ispezionare e quanto output può produrre in sicurezza. Lunghi report di incidenti, codice sorgente, log e informazioni di threat intel possono superare il limite ed essere troncati, nascondendo così indizi importanti. Gli aggressori possono anche abusare di contesti ampi seppellendo testo di prompt injection all'interno di file o ticket che un modello legge. I difensori gestiscono questo rischio con il chunking, il retrieval, i controlli di troncamento, il filtraggio dei prompt e controlli di accesso rigorosi, così il modello vede solo ciò di cui ha bisogno.