LiteLLM Proxy è un gateway di IA che si colloca tra i client e diversi fornitori di modelli. Instrada i prompt al backend corretto, applica il controllo degli accessi, traccia l'utilizzo e può gestire chiavi API, quote e logging da un unico punto centrale. Questo lo rende utile per le organizzazioni che vogliono un unico punto di ingresso per molti modelli.
Dal punto di vista della sicurezza, questo ruolo centrale rende il proxy un elemento di alto valore. Se l'autenticazione è debole, predefinita o assente, un attaccante può abusare dell'accesso ai modelli, consumare budget, ispezionare i metadati delle richieste o raggiungere le credenziali del fornitore archiviate. In alcune configurazioni vulnerabili, falle di esecuzione di codice all'interno del proxy possono anche trasformare un problema del gateway in un compromesso più ampio del sistema. I difensori dovrebbero trattarlo come infrastruttura privilegiata: richiedere un'autenticazione forte, sostituire i segreti di esempio, limitare l'esposizione di rete, ruotare le chiavi e monitorare le anomalie di utilizzo. Negli attacchi, il proxy è spesso il primo obiettivo perché controllarlo può esporre il resto dell'ambiente IA.