Gli scenari apocalittici dell'IA sono idee sul caso peggiore in cui l'IA avanzata provoca danni gravi, possibilmente irreversibili. In pratica, il termine copre una gamma di fallimenti ad alto impatto: un modello usato per abusi su larga scala, sistemi che agiscono in modi non intenzionali dopo la distribuzione, oppure un'IA futura che diventa difficile da controllare con l'aumentare dell'autonomia. Questi scenari non dimostrano che la catastrofe sia probabile; sono un modo per riflettere sul rischio di bassa probabilità e conseguenze estreme.
Nel campo della sicurezza informatica, il termine è importante perché i difensori devono valutare cosa accade quando l'IA viene usata in modo offensivo o quando l'IA stessa diventa parte di infrastrutture critiche. I team di sicurezza rispondono con valutazioni delle capacità, red-teaming, controlli degli accessi, rilasci graduali, monitoraggio e approvazione umana per le azioni sensibili. L'obiettivo è individuare per tempo i comportamenti pericolosi, limitare gli abusi e mantenere governabili i sistemi avanzati prima che siano ampiamente distribuiti.