entropia

Vedi anche Claude Shannon.

L'entropia ha significati nella fisica e nella teoria delle comunicazioni. Più in generale, per entropia si intende un processo in cui l'ordine si deteriora con il passare del tempo. Ha diversi significati speciali nelle comunicazioni di dati.

Molti scienziati ritengono che l'universo si stia evolvendo naturalmente verso uno stato di massima entropia. L'esempio comunemente citato è la tendenza alla scomparsa delle differenze termiche. Secondo la cosiddetta teoria dell'entropia, tutto nell'universo alla fine raggiungerà una temperatura uniforme. Non ci saranno fonti di energia o assorbitori. Le stelle e le galassie come le conosciamo cesseranno di esistere. Non ci sarà vita.

Nelle comunicazioni di dati, il termine entropia si riferisce al grado relativo di casualità. Maggiore è l'entropia, più frequenti sono gli errori di segnalazione. L'entropia è direttamente proporzionale alla velocità dati massima raggiungibile in bps (bit al secondo). L'entropia è anche direttamente proporzionale al rumore e alla larghezza di banda. L'entropia in un segnale è inversamente proporzionale alla compressibilità; maggiore è l'entropia, minore è il fattore con cui i dati possono essere compressi. L'entropia si riferisce anche al disordine aggiunto deliberatamente ai dati in determinati processi di crittografia.