Un sistema generativo è un software che crea nuovo testo, immagini, codice o altri output a partire da un prompt. Non si limita a recuperare contenuti memorizzati; prevede e assembla una risposta nuova in base ai modelli appresi durante l'addestramento. In termini di sicurezza, questo rende il sistema potente ma anche difficile da controllare.
I sistemi generativi sono importanti perché possono essere usati per ampliare sia la difesa sia l'abuso. I difensori li usano per il triage, la sintesi e l'automazione del supporto, ma devono aggiungere misure di protezione come controlli di accesso, filtraggio dell'output, registrazione dei log e revisione umana. Gli aggressori possono usare gli stessi strumenti per redigere messaggi di phishing, generare codice dannoso, impersonare persone o produrre contenuti fuorvianti su larga scala. I team di sicurezza osservano anche il prompt injection e gli output insicuri, in cui input costruiti ad arte spingono il sistema a rivelare dati sensibili o a bypassare le policy. Gestire un sistema generativo è quindi una parte fondamentale della moderna sicurezza delle piattaforme e delle applicazioni.