L'apprendimento per rinforzo da feedback umano (RLHF) è un metodo di regolazione post-addestramento che usa valutazioni o confronti umani per orientare un modello verso risposte che le persone preferiscono. Un modello di base genera gli output, gli esseri umani giudicano quali risposte sono migliori e quel segnale di preferenza viene usato per modellare il comportamento futuro. L'obiettivo è di solito rendere il sistema più utile, più sicuro e più facile da usare.
Nella sicurezza informatica, l'RLHF è importante perché influenza il modo in cui gli assistenti di IA si comportano in flussi di lavoro sensibili come la risposta agli incidenti, l'analisi del phishing e il supporto agli utenti. Un modello addestrato per soddisfare gli utenti può diventare eccessivamente accondiscendente, troppo sicuro di sé o disposto a fornire dettagli rischiosi se le sue misure di protezione sono deboli. I difensori usano l'RLHF per migliorare il comportamento di rifiuto, ridurre le completions dannose e rendere gli strumenti di sicurezza più coerenti. Gli aggressori possono provare a indurre o manipolare modelli allineati per aggirare le regole, quindi l'RLHF è solo un livello di difesa, non un controllo di sicurezza completo.