联合熵

方涛

最后更新 2023-04-04

衡量多个变量之间的不确定性的方法。

• 英文名称

• joint entropy

• 所属学科

• 信息与通信工程

两个变量和的联合信息熵定义为：

…（1）

式中和为和的特定值；为这些特定值同时出现的联合概率。若，则定义为0。对于两个以上的变量，此式的一般形式为：

…（2）

式中为的特定值；为这些变量同时出现的概率。若，则定义为0。

性质1：一集变量的联合熵大于或等于这集变量中任一个变量的熵。

…（3）

…（4）

性质2：一集变量的联合熵少于或等于这集变量的独立熵之和。此不等式有且只有在和均为统计独立的时候相等。

…（5）

…（6）

与其他熵的关系主要包括：①在条件熵的链式法则定义中，涉及联合熵；②互信息的定义中也出现了联合熵；③在量子信息理论中， 联合熵被扩展到联合量子熵。