Grote afwijking bij shannon entropie

Moderators: dirkwb, Xilvo

Reageer
Gebruikersavatar
Berichten: 2.242

Grote afwijking bij shannon entropie

"We illustreren dat adhv een voorbeeld. We gooien een minstuk op en stellen
\(\omega_i = 0,1\)
met kans 1/2 naargelant het geldstuk kop of munt toont bij de i-de worp. We zijn geinteresseerd in het totale aantal keren kop na N keer gooien. We kiezen een interval
\([a,b] \subset [0,1]\)
en vragen wat de kans
\(\mathcal{W}_N (a,b)\)
is dat
\(a < \frac{ \sum_{i=1}^N \omega_i}{N} < b\)
(1)

Duidelijk is elke N-rij even waarschijnlijk (kans : 1/2^N), maar sommige macro-waarden (= aantal keren kop) bestrijkt veel meer faseruimte. We vinden
\(\mathcal{W}_N (a,b) = \frac{1}{2^N} \sum_{aN<j<bN} \mathcal{W}_N (j)\)
(2)

Waarin
\(\mathcal{W}_N (j) = \frac{N!}{(N-j)!j!}\)
Hoe gedraagt zich dat nu voor grote N? Daar worden de fasefolumes (of configurationele entropieën) pas echt gigantisch verschillend. Stellen we
\(Q_n = \max_{aN<j<bN} \mathcal{W}_N (j)\)
(3)

dan is
\(\frac{Q_N}{2^N} \leq \mathcal{W}_N (a,b) \leq \frac{(b-a)NQ_N}{2^N}\)
(4)

zodat
\(\lim_N \frac{1}{N} \log \mathcal{W}_N (a,b) = \lim_N \frac{1}{N} \log Q_N - \log 2\)
(5)

Een eenvoudige toepassing van de formule van Stirling
\(n! \simeq n^n e^{-n}\)
leert ons dat
\(\lim_N \frac{1}{N}\log Q_N = \sup_{a<x<b} \left[ -x \log x - (1-x) \log(1-x) \right] \)
(6)"

Vooral de 4 laatste stappen volg ik niet.

Reageer