I costi dei token sono la spesa fatturabile generata quando un sistema di IA elabora input e produce output in unità di token. Nei modelli linguistici di grandi dimensioni, ogni prompt, passaggio recuperato e risposta consuma token, quindi il prezzo di una richiesta dipende da quanto testo viene inviato e restituito.
Nella sicurezza informatica, i costi dei token contano perché gli strumenti di IA sono sempre più usati per l'analisi del phishing, la sintesi degli avvisi, i chatbot e i flussi di lavoro degli agenti. Un prompt lungo, un recupero ripetuto o una risposta prolissa possono trasformare un'attività di sicurezza di routine in una costosa. Gli aggressori possono anche abusarne costringendo bot o agenti a lunghe conversazioni, tentativi ripetuti o cicli costosi, creando una forma di denial of service finanziario. I difensori limitano il rischio con budget di token, riduzione del contesto, caching, instradamento dei modelli e monitoraggio dell'utilizzo per utente o applicazione. Tenere traccia dei costi dei token aiuta i team a controllare la spesa, ridurre gli abusi e mantenere i sistemi di IA abbastanza efficienti da poter essere considerati affidabili in produzione.