Le metriche di fiducia sono misurazioni che mostrano se le persone si affidano a un sistema di IA in modo sensato e coerente. Possono includere tassi di override, tassi di accettazione, tempo dedicato alla revisione degli output, soluzioni manuali alternative e la frequenza con cui i team utilizzano il sistema nei normali flussi di lavoro. Nella sicurezza informatica, queste metriche sono importanti perché uno strumento di IA tecnicamente accurato può comunque fallire se gli analisti lo ignorano, mentre uno strumento di cui ci si fida troppo può nascondere errori o una falsa sicurezza.
I difensori usano le metriche di fiducia per individuare eccessiva dipendenza, scarso utilizzo e adozione disomogenea tra i team. Ad esempio, se gli analisti accettano sempre gli avvisi del modello senza revisione, ciò può indicare una fiducia cieca. Se aggirano costantemente il sistema, ciò può mostrare scarsa fiducia o una cattiva compatibilità con il flusso di lavoro. Gli attaccanti possono trarre vantaggio da entrambi i problemi: un'eccessiva fiducia può lasciare passare attività malevole, mentre una fiducia insufficiente può creare lacune e controlli incoerenti. Monitorare la fiducia aiuta i team di sicurezza a regolare soglie, formazione e supervisione umana, così che l'IA supporti le decisioni senza sostituirle.