5.3. Informationstheorie

5.3 Informationstheorie

Der statistische Entropiebegriff Boltzmanns verbindet Entropie mit Wahrscheinlichkeit, d.h.: „Ein makroskopischer Zustand hoher Entropie hat eine höhere Wahrscheinlichkeit als ein Zustand niedriger Entropie.“ Die verbreitete Gleichsetzung zunehmender Entropie mit zunehmender Unordnung ist allerdings zu ungenau, eine Verknüpfung des Entropiebegriffs mit „Information“ versprach hingegen präziser und anschaulicher zu sein.¹
Daher führten Claude Shannon (1916 – 2001) und Warren Weaver (1894 – 1978) eine Quantifizierung der Entropie im Rahmen der neuen Informationstheorie durch. Der quantitative Informationsbegriff fand gleichzeitig Anwendung im Rahmen eines von Shannon begründeten Kommunikationsmodells (vgl. Abb. 1).

Abb. 1. Das Sender-Empfänger-Modell wurde in den 40er Jahren von Claude Shannon und Warren Weaver auf der Grundlage eines mathematischen Modells der Kommunikation entwickelt:
„Eine ‚Informationsquelle‘ (‚information source‘) wählt eine ‚Botschaft‚ (‚message‘) aus, die aus geschriebenen oder gesprochenen Zeichen bestehen kann. Der ‚Sender‚ (‚transmitter‘) verwandelt diese in ein ‚Signal‘, das über einen Kommunikationskanal an einen ‚Empfänger‘ (‚receiver‘) übertragen wird. Durch ‚Störquellen‘ (’noise sources‘) können die ursprünglichen Signale verzerrt werden.
Das Shannon-Weaver-Modell orientiert sich an technischen Aspekten der Signalübertragung. Information hat hier nichts mit „Bedeutung„ zu tun, sondern bezieht sich auf physikalisch bestimmbare Signalmengen und Abläufe, und es behandelt die Wahrscheinlichkeit des Auftretens von solchen physikalisch bestimmbaren Ereignissen (Signalen und Signalkombinationen).[17] Beispiele sind das Telefon, die Telegrafie oder das Radio.[18] Deshalb ist dieses Modell zur Beschreibung sozialer Kommunikationsprozesse nicht geeignet.“ ²

„Im Hinblick auf technische Anwendungen bei der Übertragung von Nachrichtenflüssen werden hier [in der neuen Informations- und Kommunikationstheorie] Probleme der Codierung, Redundanz [Vorhandensein überflüssiger Daten bzw. Informationen], Übertragungsgenauigkeit, Kanalkapazität usw. untersucht.
In der Umgangssprache steht [hingegen] meist der Aspekt der Bedeutung (‚semantische Ebene‚) und des Zwecks (‚pragmatische Ebene‚) einer Nachricht im Vordergrund.

In der Shannonschen Informationstheorie wird dagegen der Begriff „Information“ auf den Aspekt des ‚Neuigkeitswertes‚ oder ‚Überraschungswertes‚ einer Nachricht eingeengt. Dieser Aspekt ist allein mit der Eintrittswahrscheinlichkeit (’statistische Ebene‘) verknüpft und nicht mit der „Bedeutung„, die vom Empfänger einer Nachricht beigemessen wird.³

So ist z.B. bei einem Münzwurf die maximale Wahrscheinlichkeit p nach dem Wurf „Kopf“ oder „Zahl“ informationstheoretisch jeweils ¹/₂ oder |0 1> bzw. |1 0>.
Die beiden Wahrscheinlichkeiten liefern die Gesamtwahrscheinlichkeit (Sicherheit) ‚1‘ oder 1 Bit: (0 1> + |1 0> = 1) Die Shannnonsche Definition des „Neuigkeitwertes“ („Überraschungswertes“) eines einzelnen Zeichens a_i aus n möglichen Zeichen wird mathematisch in die Formel H_i⁽ⁿ⁾ = log 1 / p_i = – log p_i gefasst.

Das Symbol p_i steht für „Wahrscheinlichkeiten“, „log“ ist der Logarithmus.
Wenn von Zeichen (z.B. Buchstaben) eines mit Sicherheit eintritt, (Wahrscheinlichkeit = 1), so ist der Neuigkeitswert 0. Sehr selten vorkommende Zeichen haben dagegen einen entsprechend hohen Neuigkeitswert. ⁴

Auffälligweise stimmt die Formel für die thermodynamische Entropie Boltzmanns S = – k_b Σ_ip_i ln p strukturell mit der Shannonschen Informationsentropie H_i⁽ⁿ⁾ = – Σ_i p_i ln p_i überein.

Als Informationsentropie S wird die fehlende Information bezeichnet, die beschreibt, in welchem Zustand sich ein willkürlich herausgegriffener Repräsentant eines Ensembles befindet: I_pot = – Σ_i p_i log p_i

Setzt man H = ln(2)^-1, so ergibt sich der Informationsgehalt („Überraschungswert) in der Einheit „Shannon“ i. e. 1 Sh. = H = – Σ_i p_i log₂ p_i

In der Statistischen Physik benutzt man die Boltzmann Konstante k = k_b als Proportionalitätsfaktor, weil dann die Informationsentropie eines Ensembles mit der thermodynamischen Entropie übereinstimmt.⁵

Ein „Gleichgewichtssystem“ ist in diesem Sprachgebrauch das System mit dem Maximum an fehlender Information.

„Kann man nun also Entropie und Information (bis auf den Proportionalitätsfaktor) einfach gleichsetzen?
Dazu muss man die Bedeutung der p_i betrachten: In der thermodynamischen Entropie sind die p_i Wahrscheinlichkeiten von Mikrozuständen abhängig, genauer: Der Wahrscheinlichkeitsverteilung der Energiezustände eines materiellen Systems .

Bei der Informationsentropie bedeuten diese p_i dagegen die Eintrittswahrscheinlichkeiten beliebiger, inhaltlich nicht spezifizierter Ereignisse. Soweit diese Ereignisse nicht den mechanischen Grundgesetzen gehorchen, braucht die Informationsentropie auch nicht dem 2. Hauptsatz zu genügen!“⁶

1. Peter Hägele, Was Entropie mit Information zu tun?, Universität Ulm, S. 2, [Digitale Ausgabe], URL: https://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://www.uni-ulm.de/fileadmin/website_uni_ulm/archiv/haegele//Vorlesung/Grundlagen_II/_information.pdf&ved=2ahUKEwizivG3-NWFAxWrSvEDHResCxkQFnoECB4QAQ&usg=AOvVaw3qegGLgmLCsZ86RC8C0QDp ↩︎
2. Artikel „Kommunikationsmodell“, in: Wikipedia, [Disgitale Ausgabe], URL: https://de.wikipedia.org/wiki/Kommunikationsmodell ↩︎
3. Peter Hägele, Was Entropie mit Information zu tun?, Universität Ulm, S. 2, [Digitale Ausgabe], URL: https://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://www.uni-ulm.de/fileadmin/website_uni_ulm/archiv/haegele//Vorlesung/Grundlagen_II/_information.pdf&ved=2ahUKEwizivG3-NWFAxWrSvEDHResCxkQFnoECB4QAQ&usg=AOvVaw3qegGLgmLCsZ86RC8C0QDp ↩︎
4. Shannons verbale Definition des Begriffs „Information“ lautet: Information is what is produced by an information source that is required to be reproducible of the destination if the transmission is to be counted a success.“
   [„Information ist was von einer Informationsquelle erzeugt wird und am Ziel [Empfänger der Nachtricht] reproduziert werden kann, wenn die Übertragung als erfolgreich gewertet werden soll“, [Übers., d. V.] Zitiert nach Christopher G. Timpson, QUANTUM INFORMATION THEORY & the Foundations of Quantum Mechanics, Oxford: Clarendon Press, S. 22 ↩︎
5. Peter Hägele, Was Entropie mit Information zu tun?, Universität Ulm, S. 2, [Digitale Ausgabe], URL: https://www.google.com/url?sa=t&source=web&rct=j&opi=89978449&url=https://www.uni-ulm.de/fileadmin/website_uni_ulm/archiv/haegele//Vorlesung/Grundlagen_II/_information.pdf&ved=2ahUKEwizivG3-NWFAxWrSvEDHResCxkQFnoECB4QAQ&usg=AOvVaw3qegGLgmLCsZ86RC8C0QDp ↩︎
6. Michal Horodecki¹, Ryszard Horodecki¹, Aditi Sen(De)^1,2, and Ujjwal Sen¹, Common origin of no-cloning and no-deleting principles – Conservation of information, ¹Institute of Theoretical Physics and Astrophysics, University of Gdansk, 80-952 Gdansk, Poland ²Institute for Theoretical Physics, University of Hannover, D-30167 Hannover, Germany, 2004, [Digitale Ausgabe], URL: https://arxiv.org/abs/quant-ph/0407038 ↩︎