La provenienza dell'IA è l'insieme delle informazioni che mostrano da dove proviene il contenuto generato o modificato dall'IA e come è stato trasformato. Può includere metadati, credenziali del contenuto, segnali di watermarking e registri delle modifiche o dell'uso degli strumenti. In pratica, la provenienza aiuta a rispondere a domande come se un'immagine sia stata generata, se un testo sia stato riscritto da un modello e se un file sia stato alterato dopo la creazione.
Nella sicurezza informatica, la provenienza è importante perché il contenuto viene spesso usato come prova, comunicazione o conferma dell'identità. I difensori la usano per verificare la catena di custodia dei file, rilevare media contraffatti e supportare le decisioni di fiducia nei flussi di lavoro che si basano sull'output dell'IA. Gli aggressori possono rimuovere la provenienza, falsificarla o usare messaggi modificati dall'IA per rendere più difficile individuare phishing, frodi o disinformazione. La provenienza è utile, ma non dimostra che il contenuto sia vero o sicuro; è solo un segnale che va verificato insieme alla revisione umana e ad altri controlli di integrità.