Un exploit benchmark è un framework di test che verifica se un sistema di IA può passare da un trigger di vulnerabilità a un percorso di attacco funzionante. A differenza di un semplice compito di generazione di codice, valuta un comportamento articolato in più passaggi: identificare il difetto, scegliere le azioni, adattarsi agli errori e produrre un exploit utilizzabile in un ambiente controllato. L'obiettivo non è incoraggiare un uso improprio, ma misurare quanto un agente sia capace di ragionamento offensivo ed esecuzione.
Gli exploit benchmark sono importanti perché rivelano più della semplice intelligenza grezza del modello. Mostrano se un'IA può operare come un attaccante, concatenare strumenti e persistere nonostante i fallimenti. I difensori usano questo tipo di valutazione per sottoporre a stress test il contenimento, le autorizzazioni, la registrazione e l'isolamento di rete. Nel lavoro di sicurezza reale, lo stesso schema compare quando i red team convalidano l'esposizione di un sistema o quando i ricercatori misurano quanto facilmente una debolezza possa essere trasformata in una intrusione pratica. Un buon benchmark aiuta a rispondere a una domanda cruciale: il modello sta solo identificando il rischio, o può davvero renderlo operativo?