Microstati, macrostati e ignoranza

Prima di scrivere una formula, l’entropia va capita come conteggio: quanti stati microscopici sono compatibili con ciò che osserviamo a livello macroscopico? Questa sezione distingue il macrostato (le poche grandezze osservabili) dal microstato (la descrizione completa di ogni particella) e mostra che l’entropia misura la nostra ignoranza sul microstato — la stessa idea che, un secolo dopo, ha dato origine alla teoria dell’informazione.

• Macrostato e microstato
• L’entropia come informazione

Before writing a formula, entropy must be understood as a count: how many microscopic states are compatible with what we observe at the macroscopic level? This section distinguishes the macrostate (the few observable quantities) from the microstate (the complete description of every particle) and shows that entropy measures our ignorance about the microstate — the same idea that, a century later, gave rise to information theory.

• Macrostate and microstate
• Entropy as information

Per capire l’entropia bisogna prima distinguere due livelli di descrizione dello stesso sistema fisico. Da un lato c’è quello che possiamo davvero osservare e misurare; dall’altro c’è tutto quello che accade a livello delle singole particelle, che ci resta nascosto.

Principio — Macrostato vs microstato

Il macrostato di un sistema è descritto dalle poche grandezze macroscopiche osservabili: per un gas $(P, V, T, n)$. Il microstato è la descrizione completa di ogni particella (posizione e velocità di ciascuna). A un singolo macrostato corrispondono in generale moltissimi microstati.

L’intuizione è questa: conoscere il macrostato significa avere una conoscenza parziale del sistema, mentre conoscere il microstato significherebbe avere una conoscenza totale. Quando misuriamo pressione, volume e temperatura di un gas, sappiamo davvero pochissimo su cosa stia facendo ciascuna delle circa $10^{23}$ molecole: sappiamo solo che, nel loro complesso, producono quei valori medi. Esistono un numero enorme di configurazioni microscopiche diverse — molecole disposte e in moto in modi differenti — che darebbero tutte esattamente lo stesso $(P, V, T)$.

Il numero di microstati compatibili con un dato macrostato si chiama $\Omega$ (omega). È la quantità centrale di tutto il capitolo. Se $\Omega$ è grande, i modi in cui il sistema può realizzare quel macrostato sono tantissimi, e quindi la nostra ignoranza su quale sia il vero microstato è grande. Se $\Omega$ fosse piccolo — al limite $\Omega = 1$, un solo microstato possibile — sapremmo esattamente in che stato si trova ogni particella.

È proprio questa idea, “tanti microstati $=$ tanta ignoranza $=$ tanta entropia”, che nella prossima nota verrà tradotta in una formula precisa e collegata sorprendentemente al concetto di informazione.

Collegamenti

Argomenti: Entropia e secondo principio Concetti: Entropia Competenze: Interpretazione micro-macro Oggetti: Gas ideale

Esercizi collegati: Esercizio svolto — il caffè si raffredda · Doccia calda: ΔS dell’universo · Calore dal caldo al freddo: dimostrazione

To understand entropy we must first distinguish two levels of description of the same physical system. On one hand there is what we can actually observe and measure; on the other, everything that happens at the level of individual particles, which remains hidden from us.

Principle — Macrostate vs microstate

The macrostate of a system is described by the few observable macroscopic quantities: for a gas $(P, V, T, n)$. The microstate is the complete description of every particle (position and velocity of each one). A single macrostate generally corresponds to very many microstates.

The intuition is this: knowing the macrostate means having partial knowledge of the system, while knowing the microstate would mean having total knowledge. When we measure the pressure, volume and temperature of a gas, we really know very little about what each of the roughly $10^{23}$ molecules is doing: we only know that, taken together, they produce those average values. There are an enormous number of different microscopic configurations — molecules arranged and moving in different ways — that would all give exactly the same $(P, V, T)$.

The number of microstates compatible with a given macrostate is called $\Omega$ (omega). It is the central quantity of the whole chapter. If $\Omega$ is large, the number of ways the system can realise that macrostate is huge, and so our ignorance about which is the true microstate is large. If $\Omega$ were small — in the limit $\Omega = 1$, a single possible microstate — we would know exactly the state of every particle.

It is precisely this idea, “many microstates $=$ much ignorance $=$ much entropy”, that the next note will turn into a precise formula and connect, surprisingly, to the concept of information.

Links

Topics: Entropy and the second law Concepts: Entropy Skills: Micro-macro interpretation Objects: Ideal gas

Related exercises: Worked exercise — the coffee cools down · Hot shower: ΔS of the universe · Heat from hot to cold: proof

C’è un modo molto concreto di dare un numero all’ignoranza sul microstato: contare quante domande sì/no servono, in media, per individuarlo. Questa idea lega l’entropia della termodinamica alla misura dell’informazione.

Immagina un sacchetto con 3 palline: 2 blu e 1 rossa, tutte identiche al tatto. Quanti microstati ha questo macrostato? Sono i modi di disporre le 3 palline in 3 posizioni distinguibili:

$\Omega = \frac{3!}{2!\cdot 1!} = 3$

Per scoprire quale pallina sia in quale posizione servono in media $\log_2 3 \approx 1{,}58$ domande sì/no (i logaritmi in base 2 contano proprio il numero di domande binarie).

Con 6 palline (4 rosse, 2 blu) il numero di microstati cresce:

$\Omega = \frac{6!}{4!\cdot 2!} = 15 \qquad \log_2 15 \approx 3{,}9 \text{ domande}$

L'entropia come numero di domande

Più microstati ci sono, più domande servono per individuare quello vero: l’entropia è, in questo senso, la quantità di informazione che ci manca sul sistema.

Quest’idea — l’entropia come numero di domande necessarie — è la stessa che oggi usiamo per misurare la sicurezza di una password: una password di 4 cifre ha “entropia informatica” $\log_2 10^4 \approx 13{,}3$ bit. È sorprendente che la termodinamica del XIX secolo e la teoria dell’informazione del XX secolo, nate per scopi completamente diversi, siano così profondamente connesse: in entrambe l’entropia misura quanto non sappiamo su un sistema con molte configurazioni possibili.

Collegamenti

Argomenti: Entropia e secondo principio Concetti: Entropia Competenze: Interpretazione micro-macro

Esercizi collegati: Esercizio svolto — il caffè si raffredda · Doccia calda: ΔS dell’universo · Calore dal caldo al freddo: dimostrazione

There is a very concrete way to put a number on our ignorance about the microstate: count how many yes/no questions are needed, on average, to identify it. This idea links the entropy of thermodynamics to the measurement of information.

Imagine a bag with 3 balls: 2 blue and 1 red, all identical to the touch. How many microstates does this macrostate have? They are the ways of arranging the 3 balls in 3 distinguishable positions:

$\Omega = \frac{3!}{2!\cdot 1!} = 3$

To find out which ball is in which position takes, on average, $\log_2 3 \approx 1{,}58$ yes/no questions (logarithms base 2 count exactly the number of binary questions).

With 6 balls (4 red, 2 blue) the number of microstates grows:

$\Omega = \frac{6!}{4!\cdot 2!} = 15 \qquad \log_2 15 \approx 3{,}9 \text{ questions}$

Entropy as a number of questions

The more microstates there are, the more questions are needed to identify the true one: in this sense, entropy is the amount of information we lack about the system.

This idea — entropy as the number of questions required — is the same one we use today to measure the security of a password: a 4-digit password has “information entropy” $\log_2 10^4 \approx 13{,}3$ bits. It is striking that nineteenth-century thermodynamics and twentieth-century information theory, born for completely different purposes, are so deeply connected: in both, entropy measures how much we do not know about a system with many possible configurations.

Links

Topics: Entropy and the second law Concepts: Entropy Skills: Micro-macro interpretation

Related exercises: Worked exercise — the coffee cools down · Hot shower: ΔS of the universe · Heat from hot to cold: proof