CyberGym è un benchmark per valutare se un agente di IA può riprodurre una vulnerabilità nota a partire da codice non patchato. Nel test, l'agente riceve una descrizione della vulnerabilità e la codebase interessata, quindi deve produrre una proof of concept funzionante che attivi la falla. Questo rende il benchmark utile per misurare la capacità di un sistema di passare dall'analisi allo sfruttamento in un contesto controllato.
Nel campo della sicurezza informatica, questo è importante perché i difensori spesso devono capire non solo che esiste un bug, ma anche come può essere sfruttato. Un buon risultato in CyberGym può indicare competenze utili per il triage delle vulnerabilità, la validazione degli exploit e il supporto alla correzione. Può anche rivelare dove gli strumenti agentici sono deboli, ad esempio con codice non familiare, flussi di controllo complessi o una configurazione attenta dell'exploit. Tuttavia, CyberGym non misura la copertura complessiva della sicurezza nel mondo reale, e un punteggio alto non ნიშნავს che un agente possa gestire ogni bersaglio o tecnica dell'attaccante.