Black box AI è un qualsiasi sistema di intelligenza artificiale i cui input e operazioni non sono visibili all'utente o a un'altra parte interessata. Una scatola nera, in senso generale, è un sistema impenetrabile.
La modellazione del deep learning viene in genere condotta attraverso lo sviluppo di una scatola nera: l'algoritmo prende milioni di punti dati come input e correla caratteristiche specifiche dei dati per produrre un output. Questo processo è in gran parte auto-diretto ed è generalmente difficile da interpretare per data scientist, programmatori e utenti.
Quando il funzionamento del software utilizzato per operazioni e processi importanti all'interno di un'organizzazione non può essere facilmente visualizzato o compreso, gli errori possono passare inosservati fino a quando non causano problemi così grandi che diventa necessario indagare e il danno causato può essere costoso o addirittura impossibile da riparare.
Il bias dell'IA, ad esempio, può essere introdotto negli algoritmi come riflesso di pregiudizi consci o inconsci da parte degli sviluppatori, oppure possono insinuarsi attraverso errori non rilevati. In ogni caso, i risultati di un algoritmo parziale saranno distorti, potenzialmente in modo offensivo per le persone che ne sono affette. La distorsione in un algoritmo può provenire dai dati di addestramento quando i dettagli sul set di dati non sono riconosciuti. In una situazione, l'intelligenza artificiale utilizzata in un'applicazione di reclutamento si basava su dati storici per effettuare selezioni per i professionisti IT. Tuttavia, poiché la maggior parte del personale IT era storicamente di sesso maschile, l'algoritmo mostrava un pregiudizio nei confronti dei candidati di sesso maschile.
Se una situazione del genere deriva da una scatola nera AI, potrebbe persistere abbastanza a lungo da consentire all'organizzazione di subire danni alla sua reputazione e, potenzialmente, azioni legali per discriminazione. Problemi simili potrebbero verificarsi anche con pregiudizi nei confronti di altri gruppi, con gli stessi effetti.Per prevenire tali danni, è importante che gli sviluppatori di intelligenza artificiale creino trasparenza nei loro algoritmi e che le organizzazioni si impegnino a rendere conto dei loro effetti.