Inhalt

Ein quantitativer Informationsbegriff

Was ist Information? Es ist schwierig, diesen Begriff zu charakterisieren und es gibt ganz unterschiedliche Antworten auf diese Frage. Eine Beschreibung findet sich in Brockhaus' Lexikon:

``Information, die formulierte Unterrichtung nicht nur von Menschen, sondern auch von anderen Organismen oder technischen Einrichtungen über Sachverhalte.''siehe

Für eine quantitative Analyse von Prozessen, bei denen Information übertragen und verarbeitet wird, ist diese Beschreibung zu vage. Sie erlaubt es nicht, Information zu messen. Ich werde in diesem Abschnitt eine Definition von Information angeben, die einen sehr wichtigen Aspekt berücksichtigt, gleichzeitig aber andere vernachlässigt.

Die nachfolgende Definition bietet - bei aller berechtigter Kritik - die Möglichkeit, Information zu messen. Damit werden Prozesse, in denen Information verarbeitet wird, quantitativ analysierbar. Beim Lernen wird Information dargeboten, erarbeitet oder aufgenommen. Natürlich geschieht beim Lernen noch viel mehr, aber damit dies geschehen kann, muß die Information zunächst aufgenommen werden. Ein quantitativer Informationsbegriff kann vielleicht neue Zusammenhänge aufdecken.

Ich möchte im folgenden als eine Aussage nicht nur eine verbale oder schriftliche Äußerung verstehen, sondern damit sehr allgemein ein Signal, das auf einen Menschen wirkt, bezeichnen.siehe Dies kann ein Bild, eine Situation, ein Text oder ein gesprochener Satz sein.

Die Informationstheorie benutzt in hohem Maße mathematische Hilfsmittel, um ihre Aussagen zu formulieren. Ich möchte hier weitgehend auf eine exakte mathematische Formulierung verzichten. Dies hat zwei Gründe:

Einerseits denke ich, daß eine exakte mathematische Beschreibung denjenigen, der nur über geringe Vorkenntnisse aus der Mathematik verfügt, unnötig abschreckt. Das möchte ich vermeiden.

Andererseits werde ich keine quantitativen Aussagen über Lernprozesse machen. Dies scheitert schon daran, daß es bei fast allen Lernprozessen aus dem Alltag gar nicht möglich ist festzustellen, wie wahrscheinlich das Auftreten einer Aussage ist. Die Beispiele, die ich im folgenden beschreiben werde, sind konstruiert, vielleicht sogar lebensfremd, denn die untersuchten Aussagen sind Realisierungen aus einer eng umschriebenen Menge von möglichen Aussagen.

Obwohl wir im Alltag nicht messen können, wie wahrscheinlich das Auftreten einer Aussage ist, gibt uns die Informationstheorie die Möglichkeit, viele Lernprozesse zu analysieren. Als mathematische Theorie macht sie nämlich Aussagen über alle Prozesse, bei denen Information verarbeitet wird, auch ohne daß die Wahrscheinlichkeitsverteilung explizit bekannt sein muß.

Die Informationstheorie bekam ihr Gesicht als eigenständige Disziplin sehr wesentlich durch die Arbeiten von Claude Shannon. Shannon war in den 40er Jahren des letzten Jahrhunderts als Ingenieur bei den Bell Laboratories angestellt und beschäftigte sich dort mit der Nachrichtenübertragung mittels elektrischer Medien (Telegraphie, Funk, usw.). In diesem Zusammenhang stellte sich auf eine sehr natürliche Art die Frage, wieviel Information eine Nachricht enthält. Um sich dieser Frage zu nähern, wählte er einen Informationsbegriff, der die Wahrscheinlichkeit für das Auftreten einer Nachricht benutzt. Ich möchte dies an drei Beispielen verdeutlichen.

Wieviel Information erhält mein Nachbar Udo, wenn ich ihm sage: ``Beim Telefonieren bin ich ein Kunde der Deutschen Telekom.''?

Nun, das hängt wohl ganz wesentlich davon ab, ob er dies erwartet hat oder nicht. Wenn wir einmal voraussetzen, daß Udo bereits wußte, daß ich einen Telefonanschluß habe (vielleicht, weil er mich gerade angerufen hat), dann hängt der Informationsgehalt der Aussage davon ab, ob es überhaupt einen alternativen Anbieter gibt.

Zu der Zeit, als die Deutsche Telekom - oder ihr Vorgänger, die Deutsche Bundespost - noch das Monopol im Telefonbereich hatte, wäre der Informationsgehalt meiner Aussage gleich Null gewesen. Er hätte sicher geantwortet ``Aber das ist doch klar, das wußte ich doch sowieso schon!''

Heute, wo es zahlreiche Anbieter gibt, enthält meine Aussage durchaus Information. Es ist nicht klar, daß ich Kunde eines bestimmten Anbieters bin. Meine Aussage hat eine Ungewißheit aufgeklärt.

Betrachten wir in einem zweiten Beispiel die samstägliche Ziehung der Lottozahlen. Hierbei wird zweifellos Information übertragen. Wenn ich das Ergebnis der zwölften Ziehung im deutschen Lottoblock erfahre, weiß ich, welche der möglichen Zahlenfolgen in dieser Ziehung realisiert wurde, welche sechs der neunundvierzig möglichen Zahlen gezogen wurde. Dies ist unzweifelhaft eine Übertragung von Information.

Stellen wir uns nun einmal kurz vor, daß bei der Lottoziehung nicht neunundvierzig Kugeln in der Trommel wären, sondern lediglich sechs Kugeln, die mit den Zahlen von 1 bis 6 beschriftet sind. Wenn aus diesen sechs Kugeln nun wieder sechs ``Richtige'' gezogen werden, dann ist völlig klar, welche Zahlen es sind. Es sind die Zahlen 1,2,3,4,5,6.

Durch diese Ziehung wird keinerlei Information übertragen. Ich weiß schon vorher, welches Ergebnis vorliegen wird. Die Realisierung der Zahlen von 1 bis 6 steht mit einer hundertprozentigen Sicherheit (besser: Wahrscheinlichkeit) fest. In diesem Sinne ist die übertragene Information ein Maß für die Unsicherheit bei der erwarteten Aussage.siehe

Eine andere Möglichkeit, auf den gleichen Informationsbegriff zu kommen, besteht darin zu betrachten, wieviel Freiheit man bei der Wahl eines zu übertragenden Signals hat.

Habe ich beispielsweise die Möglichkeit, aus einem von fünfundzwanzig verschiedenen Kuchen ein Stück zu wählen, so wird durch meine Wahl mehr Information offenbart, als wenn ich nur einen Kuchen zur Wahl habe. Information kann also auch als ein Maß für die Wahlfreiheit verstanden werden. ``..., information is a measure of one`s freedom of choice when one selects a message.''siehe

In diesen Beispielen habe ich die Information einer Aussage jeweils mit der Wahrscheinlichkeit, daß die Aussage gemacht wird, verknüpft. Etwas, das ohnehin ganz sicher ist (ich konnte 1980 nur mit der Telekom telefonieren) trägt keine Information.

Diese Idee wird benutzt, um die Information - den Informationsgehalt - einer Aussage zu messen:

Die Information einer Aussage ist umso größer, je weniger die Aussage erwartet wurde. Aussagen, die ganz sicher erwartet werden, haben Information 0, Aussagen, die sehr unerwartet sind, haben einen hohen Informationsgehalt.siehe

Trägt eine Aussage keine Information, ist sie redundant. Redundanz ist also ein Maß dafür, wie hoch der Anteil an nicht-Information in einer Aussage ist.

Bei der Verwendung dieses Informationsbegriffs ist Vorsicht geboten! Wir sprechen hier nur von der syntaktischen Information einer Aussage, nicht von ihrer Bedeutung. Dies ist ein ganz wesentlicher Aspekt der Informationstheorie. Die Bedeutung einer Nachricht wird vollkommen mißachtet.

Der Informationsgehalt einer Aussage resultiert allein daraus, daß eine Aussage aus der Menge aller möglichen Aussagen realisiert worden ist:

``Frequently the messages have meaning; that is they refer to or are entities. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspects is that the actual message is one selected from a set of possible messages.''siehe

Es wäre sicher einfacher, diesen wesentlichen Aspekt nicht zu vergessen, und hätte viele Mißverständnisse und Fehlinterpretationen vermieden, wenn Shannons Ideen als Signaltheorie bekannt geworden wären.siehe

Inhalt