Entropie (informatietheorie)

Entropie is een maat voor de onzekerheid (of onwetendheid) bij het waarnemen van een reeks gebeurtenissen. Nieuwe informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt.

De verwachte – vaak ten onrechte 'gemiddelde' genoemde – hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren (kans-)experiment, is gedefinieerd als de verwachtingswaarde van de hoeveelheid zelfinformatie die deze gebeurtenis zal opleveren.

Bij een entropie 0 is er geen onzekerheid: men heeft volledige kennis over wat er komen gaat en deze informatie bevat dus ook geen "nieuws". Bij een maximale onzekerheid (bv. bij een getoonde willekeurige symbolenreeks) is de entropie gelijk aan ${\displaystyle \log _{2}n}$ (met ${\displaystyle n}$ de lengte van de reeks): elke gebeurtenis is onverwacht en dus nieuw.

Bedacht dient te worden dat entropie een subjectief emergent oordeel vooronderstelt over de betekenis van de reeks gebeurtenissen: iemand die geen betekenis kan hechten aan de reeks gebeurtenissen (bv. een analfabeet die een tekst van ${\displaystyle n}$ tekens ziet passeren) zal een entropie ${\displaystyle log_{2}n}$ aan deze reeks toekennen. Ook kunnen twee waarnemers die verschillen in kennisniveau/onwetendheid, een verschillende entropie toekennen aan dezelfde reeks gebeurtenissen.