Una pratica manipolativa è un comportamento dell’IA progettato per orientare le scelte di una persona sfruttandone le vulnerabilità o compromettendo la sua capacità di prendere una decisione consapevole. È più di una normale persuasione: il problema è che un sistema esercita la propria influenza approfittando degli utenti o compromettendone l’autonomia.
Nella sicurezza informatica, un comportamento manipolativo può rendere gli utenti più propensi a fidarsi di affermazioni non verificate, a divulgare informazioni sensibili o ad accettare raccomandazioni senza verificarle. Un tono simile a quello umano, segnali emotivi o messaggi personalizzati possono contribuire a esercitare influenza, ma queste caratteristiche, da sole, non dimostrano che vi sia manipolazione: contano il contesto e il comportamento effettivo del sistema. Tra le misure di difesa figurano identificare chiaramente l’IA, spiegare le limitazioni pertinenti, verificare come gli utenti interpretano i suoi risultati e richiedere una revisione umana per le decisioni con conseguenze rilevanti. Le norme giuridiche possono vietare determinate pratiche manipolative o ingannevoli in circostanze definite.