I token memorizzati nella cache sono token del prompt che una piattaforma di IA archivia e riutilizza quando lo stesso testo, o uno simile, appare di nuovo. Invece di rielaborare l'intero prompt ogni volta, il sistema può servire il materiale ripetuto dalla cache, il che può ridurre la latenza e abbassare i costi di utilizzo, oppure tracciare quei token separatamente per la fatturazione.
Nella sicurezza informatica, la memorizzazione nella cache è utile ma delicata. Può esporre quali prompt vengono ripetuti, conservare i dati più a lungo del previsto e creare rischi cross-tenant o di contesto obsoleto se l'isolamento è debole. Gli attaccanti possono cercare di abusare della cache dei prompt per dedurre input precedenti, riprodurre richieste costose o avvelenare cache condivise con contesto fuorviante. I difensori dovrebbero isolare le cache per tenant, far scadere rapidamente le voci, evitare di memorizzare segreti o dati regolamentati e monitorare modelli insoliti di riutilizzo e picchi di fatturazione.