5.2 Entropie und Information

5.2 Entropie und Information

Der Begriff der quantitativen „Information“ beruht auf den Erkenntnissen der Thermodynamik (Wärmelehre) des 19. Jhds., die von der modernen Informationstheorie des 20. Jhds. weiterentwickelt wurden.¹

Abb. 1 Ludwig Boltzmann (1902)

Die Thermodynamik in der von dem österreichischen Physiker Ludwig Boltzmann (1844 – 1906) geschaffenen Ausprägung definiert den Begriff der „Entropie„(S) eines Gases durch die Zahl bzw. Eigenschaften (W) seiner Mikrozustände, also der unterschiedlichen Konfigurationen der sich bewegenden Gasmoleküle, die zu dem gleichen Makrozustand führen: S = k_b x log (W), wobei k_b die sogenannte Boltzmann Konstante (1,38065x 10^-23 J/K) und log (W) der natürliche Logarithmus von W (= Mikrozustände) ist.

Er berechnet die Zahl, mit der die sogenannte Eulersche Konstante ( γ  ∼ 2,717) potenzieren werden muss, um auf die Zahl in der Klammer zu kommen. Dabei ist zu beachten, dass log (W) um so mehr wächst, je größer W ist.

Die Boltzmann Formel beschreibt also eine logarithmische Beziehung zwischen der Entropie eines thermodynamischen Systems und der möglichen Anordnung seiner Atome oder Moleküle oder anders gesagt die Beziehung zwischen der Entropie und der Wahrscheinlichkeit eines makroskopischen Zustandes für eine bestimmte Wahrscheinlichkeitsverteilung der möglichen Mikrozustände (Boltzmann Entropie).²] Es gilt das Prinzip:
„Ein abgeschlossenes System neigt dazu, den wahrscheinlichsten Zustand (und damit ein Maximum an Entropie) anzunehmen.“ ³

Abb. 2 Max Planck um 1930

Max Planck (1858-1947) präzisierte die von Boltzmann gefundene Beziehung mit der Formel:

S = k_b x log Ω.

„Das heißt, die Entropie S des Makrozustands eines abgeschlossenen Systems im thermischen Gleichgewicht ist proportional zum natürlichen Logarithmus der Anzahl Ω (i.e. des „Ergebnisraums„) der entsprechend möglichen Mikrozustände (bzw. anders ausgedrückt zum Maß der „Unordnung“ des Makrozustands). Das statistische Gewicht Ω ist ein Maß für die Wahrscheinlichkeit eines bestimmten Mikrozustandes.“⁴ Ein „Ergebnisraum“ ist die „Menge aller möglichen Ergebnisse eines Zufallsexperiments“. ⁵

1. Artikel „Holografisches Prinzip“, in: Wikipedia, 5. Januar, 2024, [Digitale Ausgabe], URL: https://de.wikipedia.org/wiki/Holografisches_Prinzip ↩︎
2. Artikel „Information“, in: Wikipedia, 17. März 2024, [Digitale Ausgabe], URL: https://de.wikipedia.org/wiki/Information ↩︎
3. Peter Hägele, Was Entropie mit Information zu tun?, Universität Ulm, S. 2, [Digitale Ausgabe], URL: S. 2, [Digitale Ausgabe], URLhttps://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://www.uni-ulm.de/fileadmin/website_uni_ulm/archiv/haegele//Vorlesung/Grundlagen_II/_information.pdf&ved=2ahUKEwiF94y0udCFAxWd_7sIHSgOAZwQFnoECBAQAQ&usg=AOvVaw3qegGLgmLCsZ86RC8C0QDp: ↩︎
4. Ib ↩︎
5. Artikel „Boltzmann-Konstante“, in: Wikipedia, [Digitale Ausgabe], URL: https://de.wikipedia.org/wiki/Boltzmann-Konstante ↩︎