La sostituzione avviene quando un sistema non si limita ad assistere una persona, ma in pratica sostituisce il suo input, il suo giudizio o il suo processo decisionale. Nei flussi di lavoro sensibili alla sicurezza, questo cambiamento è importante perché la macchina non è più un aiutante ai margini di un'attività; diventa l'attore che svolge l'attività per conto dell'utente. Con i sistemi di IA, la sostituzione può avvenire in modo silenzioso quando un modello redige, modifica, approva o interpreta contenuti e l'utente li accetta senza revisione.
Nel settore della sicurezza informatica, la sostituzione cambia il perimetro di fiducia. Può rendere il phishing più difficile da individuare, confondere la paternità e consentire l'invio o l'approvazione di contenuti malevoli con meno controlli. Gli aggressori possono cercare di spingere gli utenti a fare un eccessivo affidamento sull'automazione, mentre i difensori puntano a mantenere gli esseri umani al controllo tramite passaggi di conferma, etichette chiare, registri di audit e limiti imposti dalle policy. La domanda chiave è se il sistema stia supportando l'utente o stia silenziosamente prendendo il controllo della decisione.


