最大熵方法

最大熵方法被广泛应用于包括统计力学、频谱分析和图像处理等多个领域。

最大熵方法的特点之一是在研究的问题中，利用信息熵对问题进行建模，再把信息熵最大作为一个假设条件用于问题的求解中，这个方法得到的结果往往具有有效性。在复杂的实际问题中，随机量的概率分布往往是很难精确测定的，一般只能测得其数学期望、方差等信息，或在已知某些限定条件下测得峰值等。但符合这些测量值的分布可能存在多种，通常其中有一种分布的熵最大，它有望能在已知信息的基础上保留最大的不确定性。选用这种具有最大熵的分布作为该随机变量的分布，能很大程度上将信息损失风险降到最低，是一种有效的处理方法和准则。

信息熵是从热力学中借用提出的，热力学中的热力学熵一般是表示分子状态混乱程度的物理量，而信息熵则是用来描述信源的不确定度与信息量。假设事件发生的概率为，不确定性函数为。当不确定性函数是对数函数时，是概率的单调递降函数，且具有可加性，满足两个独立信号所产生的不确定性应等于各自不确定性之和，即，。在信源中，信息熵通常考虑的是所有可能发生情况的平均不确定性，如果一个信号源的变量可取个离散值，对应的概率是，且彼此独立，则信号源的熵是：。