信息熵是什么？

信息熵是借用物理学里的熵的概念而定义的描述信息的抽象概念。

首先要清楚信息的含义是什么。信息论的说法是：消除不确定性的东西。物理中称之为：有序度。它往往与某事件确定的概率联系，比如到某楼找某人，只知在某栋（共５０套房间，５层、１０套／层），则找到此人的概率为１／５０，若有人说（提供信息）他住第三层，则在三楼找到此人的概率为１／１０，其它层找到此人的概率为０，若最后打听到住某房间，则找到此人概率为１，住其它房的概率为０，可见信息的获得意味着概率分布的集中。

于是我们就要问，信息如何描述。换句话，信息量如何定义。我们在只知道某栋楼情况下的信息量肯定是低于知道具体某栋楼和具体的层数时的信息量。而这两种情况下，找到该人的概率是不同的，一个自然的想法就是，信息量和概率有关。

我们基于以下的假定来构造信息量的表达式：

（1）信息量应当是概率pi（i＝ l，…， N）的连续函数；

（2）如果所有的概率pi相等，即pi=1/N, 那么信息量应当是N的单调增函数；

（3）如果选择是分为相继的两步达到的，那么原先的一步选择的信息量应等于分步选择的各个信息量值的加权和。

那么可以证明信息量的表达式为

Hs是信息量的表示符号，k是一个正实数，一般会取为1。这个公式便是信息量的表达式。它与热力学里的熵表达式类似，所以又叫信息熵公式。由于这个公式最早是香农（Shannon）提出来的，所以又叫该公式为香农熵公式。

值得一提，信息熵是有单位的。如果以2为对数的底数，那么单位是比特；以e为底数，则是奈特，又叫自然单位；以10为底数，单位是迪特。

可以定义自信息量：

前面讨论的问题其实体现的是自信息量。

前面说信息是消除不确定性的东西。那么这个公式如何体现这一点？考虑概率p=0，那么自信息量对于无穷大，而p=1，自信息量对于0。我们只能这样理解：消除0概率事件的不确定性所需的信息量为无穷大，而概率为的事情是完全确定的，不需要信息去消除其不确定性。从这里看出，信息等价于负熵。

【注意，信息熵和热力学熵是有区别的。热力学熵存在一个共轭量——温度，但是信息熵没有。这件事情对于热力学极其重要。因为我们在研究热力学各种物理量的时候，可以借助共轭量够早的一个重要的数学变换——勒让德变换从某一个广义能量来获得其他广义能量。比如，焓与内能之间就是通过这样的勒让德变换而相互转换的：H=U+pV。亥姆霍兹自由能与内能之间存在这样的勒让德变换：F=U-TS。但是非共轭量是不能构造勒让德变换的。在分析力学里正则坐标和正则动量是共轭量，所以可以用它们的乘积和拉格朗日函数构造一个勒让德变换，而获得哈密顿函数。但是由于信息熵不存在共轭量，所以我们不能构造勒让德变换。】