I limiti di token sono vincoli su quanti token un modello o un servizio può accettare come input, generare come output o elaborare in un determinato periodo. In un sistema di IA, i token sono le unità di testo usate per misurare prompt, risposte e contesto. I limiti possono applicarsi per richiesta, per sessione, per utente o per minuto, e aiutano a controllare i costi di calcolo, la latenza e il carico del sistema.
Nella sicurezza informatica, i limiti di token sono una misura di base per il controllo degli abusi. Riduccono il prompt flooding, lo scraping su larga scala e la generazione automatizzata di contenuti, e possono limitare quanto testo sensibile un utente possa inviare a un modello in una sola volta. Gli aggressori possono provare a esaurire le quote, inviare prompt di dimensioni eccessive o concatenare richieste per aggirare i controlli. I difensori combinano i limiti di token con il rate limiting, i limiti di output, l'autenticazione e il rilevamento delle anomalie, così il servizio resta utilizzabile senza diventare un bersaglio facile per abusi di massa.