Prende il nome da Thomas Bayes, un ecclesiastico e matematico inglese, la logica bayesiana è una branca della logica applicata al processo decisionale e alla statistica inferenziale che si occupa di inferenza di probabilità: utilizzare la conoscenza di eventi precedenti per prevedere eventi futuri. Bayes propose per primo il suo teorema nel suo lavoro del 1763 (pubblicato due anni dopo la sua morte nel 1761), Un saggio verso la risoluzione di un problema nella dottrina delle possibilità . Il teorema di Bayes ha fornito, per la prima volta, un metodo matematico che potrebbe essere utilizzato per calcolare, dati gli eventi nelle prove precedenti, la probabilità che si verifichi un obiettivo nelle prove future. Secondo la logica bayesiana, l'unico modo per quantificare una situazione con un esito incerto è determinarne la probabilità.
Il teorema di Bayes è un mezzo per quantificare l'incertezza. Basato sulla teoria della probabilità, il teorema definisce una regola per raffinare un'ipotesi prendendo in considerazione prove aggiuntive e informazioni di base e porta a un numero che rappresenta il grado di probabilità che l'ipotesi sia vera. Per dimostrare un'applicazione del teorema di Bayes, supponiamo di avere un cesto coperto che contiene tre palline, ciascuna delle quali può essere verde o rossa. In un blind test, raggiungiamo ed estraiamo una palla rossa. Riportiamo la palla nel canestro e riproviamo, tirando di nuovo fuori una palla rossa. Ancora una volta, rimettiamo la palla nel canestro e tiriamo fuori una palla, di nuovo rossa. Formiamo l'ipotesi che tutte le palline siano tutte, appunto, rosse. Il Teorema di Bayes può essere utilizzato per calcolare la probabilità (p) che tutte le palline siano rosse (un evento etichettato come "A") data (simbolizzata come "|") che tutte le selezioni sono state rosse (un evento etichettato come "B "):
p (A | B) = p {A + B} / p {B}
Di tutte le combinazioni possibili (RRR, RRG, RGG, GGG), la probabilità che tutte le palline siano rosse è 1/4; in 1/8 di tutti i risultati possibili, tutte le palline sono rosse E tutte le selezioni sono rosse. Il Teorema di Bayes calcola la probabilità che tutte le palline nel canestro siano rosse, dato che tutte le selezioni sono state rosse come 5 (le probabilità sono espresse come numeri compresi tra 0 e 1., con "1" che indica il 100% di probabilità e "0." indica probabilità zero).
L'International Society for Bayesian Analysis (ISBA) è stata fondata nel 1992 con lo scopo di promuovere l'applicazione dei metodi bayesiani a problemi in diverse industrie e governi, così come in tutte le scienze. La moderna incarnazione della logica bayesiana si è evoluta oltre il teorema iniziale di Bayes, sviluppato ulteriormente dal teorico francese del XVIII secolo Pierre-Simon de Laplace e da professionisti del XX e XXI secolo come Edwin Jaynes, Larry Bretthorst e Tom Loredo. Le attuali e possibili applicazioni della logica bayesiana includono una gamma pressoché infinita di aree di ricerca, tra cui genetica, astrofisica, psicologia, sociologia, intelligenza artificiale (AI), data mining e programmazione informatica.