Local AI è un sistema di AI che gira su infrastrutture controllate dall'operatore, come un server on-premises, una workstation o un cluster privato, invece che su un servizio cloud remoto. Il modello, i dati e il carico di lavoro di inferenza restano più vicini all'organizzazione, il che può migliorare la privacy, ridurre la dipendenza da terze parti e offrire un controllo più rigoroso su logging, archiviazione ed esposizione di rete.
Nel cybersecurity, Local AI cambia il modello di fiducia invece di eliminare il rischio. Se il sistema è esposto tramite un'interfaccia web o una API, può essere scansionato, abusato o limitato nel rate come qualsiasi altro servizio. Se si collega a file, strumenti o automazione, gli attaccanti possono usare prompt injection o input malevoli per influenzare gli output e le azioni a valle. I difensori usano Local AI per mantenere i dati sensibili in sede, ma devono comunque applicare controllo degli accessi, patching, sandboxing e il principio del privilegio minimo.