Un crawler مرتبط agli LLM è un client automatizzato che visita siti web per raccogliere contenuti destinati a sistemi di modelli linguistici di grandi dimensioni, ad esempio per pipeline di addestramento, indicizzazione o valutazione. Come altri crawler, recupera pagine in modo programmatico e può seguire i link all'interno di un sito. Il traffico non è intrinsecamente malevolo, ma può diventare un problema di sicurezza e affidabilità quando molte richieste arrivano rapidamente o in modo ripetuto.
Nella sicurezza informatica, questi crawler sono importanti perché possono creare pressione sulla disponibilità senza violare alcuna difesa. Su siti piccoli o specializzati, il recupero automatico intensivo può aumentare l'uso della larghezza di banda, rallentare le risposte e far crescere i costi di hosting. I difensori spesso gestiscono questo rischio con limitazione della velocità, caching, rilevamento dei bot, registrazione delle richieste e regole di accesso che distinguono l'automazione legittima dallo scraping eccessivo. In pratica, un crawler مرتبط agli LLM può sembrare simile a un bot dei motori di ricerca, quindi gli operatori devono analizzare il traffico per decidere se consentirlo, limitarlo o bloccarlo.