L'attenzione sparsa è un pattern di attenzione in un transformer che limita quali token possono interagire tra loro. Invece di confrontare ogni token con ogni altro token, il modello utilizza finestre locali, token globali selezionati o altre connessioni ristrette. Questo riduce il calcolo e l'uso di memoria, soprattutto su input lunghi in cui l'autoattenzione densa diventa costosa.
Nel campo della sicurezza informatica, l'attenzione sparsa è importante perché prompt lunghi, log, codice e report sulle minacce possono essere costosi da elaborare su larga scala. Un'attenzione efficiente può rendere più pratica l'implementazione locale o privata per dati sensibili, ma una progettazione della sparsità inadeguata può anche nascondere contesto importante. I difensori la usano per ridurre la latenza negli assistenti di sicurezza e nelle pipeline di analisi; gli aggressori possono cercare di collocare istruzioni malevole al di fuori del campo visivo limitato del modello, rendendo la progettazione del contesto parte del perimetro di sicurezza.