L'indicizzazione è il processo che i motori di ricerca usano per catalogare le pagine web e farle apparire nei risultati di ricerca. Un crawler prima scopre un URL, ne recupera il contenuto e poi il motore di ricerca memorizza segnali chiave come testo, link e metadati, così la pagina può essere recuperata in seguito dalle query di ricerca.
Nella sicurezza informatica, l'indicizzazione è importante perché qualsiasi risorsa raggiungibile pubblicamente può diventare ricercabile, anche se era destinata a un pubblico ristretto. Documenti condivisi, snapshot di chat, dump di file e pagine di amministrazione esposte possono essere indicizzati se sono accessibili ai crawler. I difensori usano controlli come l'autenticazione, le restrizioni di accesso e le direttive noindex per ridurre l'esposizione, ma questi controlli aiutano solo quando il crawler può effettivamente vederli. I team di sicurezza monitorano anche link trapelati e visibilità nei motori di ricerca, perché una pagina indicizzata può trasformare una funzione di comodità in una superficie di divulgazione involontaria.