信息熵

设是两个离散型随机变量，其联合分布列为，相应的边沿分布列为和，则与的互信息定义为：

互信息的物理意义反映了联合分布与边沿分布乘积的相对熵，也可看作利用边沿分布去逼近联合分布时所损失的信息量，并满足关系。如果考虑一个通信系统，表示发送端的输入变量，表示接收端的输出变量。虽然在信号的传输过程中，变量受到一些不确定因素的干扰，而以变量的形式出现，显然，变量和变量之间有一定的相关性，但它们的联合分布与边沿分布的积是有差异的（因为后者代表了变量与变量是统计独立的），这种差异可以利用信息量进行估计。反映了它们之间的相对熵，也可看作是传输信道引起的联合信息量的变化量。

上述四个关系式表明信息熵、联合熵、条件熵、相对熵和互信息都是大于或等于零的量。

当信息熵和联合熵为零时，相应的变量以概率1取一确定的值，此时，它可以看作一常量。同时，它也表明：一个恒定的常量是不载有任何信息的。由此可以推断出一个变量所负载的信息量大小与它的变化程度有关；即一个变量所负载的信息量反映了此变量取值的不确定性。

对于连续型随机变量，有密度函数，则定义其相对熵为：

类似地对于二维连续性随机向量，具有密度函数，也可定义条件熵，关于的相对熵和互信息：

式中分别为的边沿分布密度以及给定条件下的条件分布密度；为另外一个分布密度，它们的形式与离散性的表达形式一致，只要将相应的分布列替换成分布密度即可。