Entropia

di Mario Bon

27 settembre 2015

 

Il concetto di entropia è fondamentale per la comprensione della evoluzione dei sistemi macroscopici. In particolare è importante la definizione statistica di entropia data da Boltzmann.

L’entropia esiste perché il tempo è anisotropo. L’entropia, nei sistemi macroscopici, stabilisce in quale direzione avanza il tempo.  Da questa osservazione ne deriva un’altra: per quei fenomeni dove non esiste entropia il tempo potrebbe essere isotropo (o localmente isotropo).

 

Entropia #1

 

La definizione di entropia in termodinamica è data dal Secondo Principio della Termodinamica (integrale di Clausius)

 

Entropia #2

 

Boltzmann ha dato la definizione statistica dell’entropia: l’entropia di un sistema è proporzionale al logaritmo naturale del numero di stati che un sistema può realizzare:

 

S= k log(W).

 

Dove k è la costante di Boltzmann. Questa relazione stabilisce un ponte tra la termodinamica e la Fisica Statistica e, nel determinarla, Boltzmann ipotizzò la quantizzazione dei livelli energetici. Plank, per calcolare lo spettro del corpo nero, applicò la stessa ipotesi di quantizzazione di Boltzmann. Dopo di ciò Einstein ha spiegato l’effetto fotoelettrico ipotizzando il fotone ma senza Plank e senza Boltzmann non sarebbe andato lontano. Quindi Plank è il padre della meccanica quantistica ma la strada la aveva trovata Boltzmann.


Entropia nell'informazione (copiato da non so dove…)


Lo studio dell'entropia nella teoria dell'informazione si deve a Claude Shannon. Il suo primo lavoro sull'argomento si trova nell'articolo “Una teoria matematica della comunicazione” del 1948. Nel primo teorema di Shannon, o teorema di Shannon sulla codifica di sorgente, egli dimostrò che una sorgente casuale d'informazione non può essere rappresentata con un numero di bit inferiore alla sua entropia, cioè alla sua autoinformazione media. Nella teoria dell'informazione - ed in rapporto alla teoria dei segnali - l'entropia misura la quantità di incertezza o informazione presente in un segnale aleatorio, che può essere interpretata anche come la minima complessità descrittiva di una variabile aleatoria, ovvero il limite inferiore della compressione dei dati. La connessione con l'entropia termodinamica sta allora nel rapporto di compressione: al diminuire della temperatura corrisponde la riduzione della ridondanza del segnale, e quindi l'aumento della compressione. L'entropia dell'informazione raggiunge un minimo che, in generale, è diverso da zero, al contrario dell'entropia termodinamica (vedi terzo principio della termodinamica). Tale risultato era implicito nella definizione statistica dell'entropia di John Von Neumann, anche se lo stesso Von Neumann, interrogato al riguardo da Shannon (forse unico scambio di opinioni tra loro) non ritenne la cosa degna di attenzione. Come ricordò Shannon più tardi a proposito del risultato da lui trovato: « La mia più grande preoccupazione era come chiamarla. Pensavo di chiamarla informazione, ma la parola era fin troppo usata, così decisi di chiamarla incertezza. Quando discussi della cosa con John Von Neumann, lui ebbe un'idea migliore. Mi disse che avrei dovuto chiamarla entropia, per due motivi: "Innanzitutto, la tua funzione d'incertezza è già nota nella meccanica statistica con quel nome. In secondo luogo, e più significativamente, nessuno sa cosa sia con certezza l'entropia, così in una discussione sarai sempre in vantaggio" »