1.3.3 离散信源的信息量 非等概率出现的离散消息的度量

1.3.3 离散信源的信息量

二、非等概率出现的离散消息的度量

    设离散信息源是由个符号组成的集合，称为符号集。符号集中的每一个符号在消息中分别按概率独立出现，又设符号集中各符号出现的概率为

则 所包含的信息量分别为 、 、 。则每个符号所含信息量的统计平均值，即平均信息量为

    由于和热力学中的熵形式相似，故通常又称它为信息源的熵，其单位为bit/符号。