转自http://cid-2d7821b3af3c6073.spaces./blog/cns!2D7821B3AF3C6073!155.entry 概率图模型之有向图与无向图 图模型用图结构描述随机变量之间的依赖关系,结点表示随机变量,边表示随机变量之间的依赖关系,可以是有向图和无向图。 一 无向图模型 无向图模型又叫马尔可夫网络、马尔可夫随机场,是关于一组有马尔可夫性质随机变量X的全联合概率分布模型。 1 无向图模型的表示 给定包含n个随机变量的问题域,则定义在问题域U上的无向图模型包括拓扑结构和参数两部分: 拓扑结构S:节点表示随机变量,两节点之间的连线表示它们之间具有直接的相互影响。 参数Θ:无向图模型参数是对节点之间相互影响的定量描述。它是拓扑结构S中每个极大完全子图所对应的势函数的集合。其中,极大完全子图(clique)是指不包含于其它完全子图的完全子图(完全子图中任何两节点是直接相连的),势函数则反映了极大完全子图的每种可能状态的能量。 2 无向图模型的联合概率分解 利用无向图模型可将图的联合概率分解为一系列因子式。给定无向图模型拓扑结构S和参数Θ之后,问题域U上的联合概率密度函数可写为: 其中N为无向图中极大完全子图的数目。 3 例子: 二 有向图模型 1 一个简单的例子 2 一般情况 利用局部马尔可夫性简化简化:在给定其所有父亲节点的情况下,随机变量X与其非后继条件独立。 其中pai是Xi的父节点集合。 三 有向图模型与无向图模型的对比: 1 共同之处 将复杂的联合分布分解为多个因子的乘积 2 不同之处 有向图模型因子是概率分布、无需全局归一 无向图模型因子是势函数,需要全局归一 3 优缺点 无向图模型中势函数设计不受概率分布约束, 设计灵活,但全局归一代价高 有向图模型无需全局归一、训练相对高效 |
|