D-Seperation

作者：JackWang

   D-Seperation可以很容易的用于判断 DAG 图中两个点之间是否是条件独立的，我在D-Seperation总结（分隔定理）中已经对此作了比较详细的介绍。下面我们将应用D-Seperation到两个例子中去，可以使我们更好的理解D-Seperation。

、              

   考虑一个分布，如高斯分布。上图中 U 是该分布的参数， D = {x1,x2,x3...xn}是 u 条件下观察到的样本。从D-Seperation的角度来考虑， U 是被观察点，则 U 取 u 值条件下各样本间是否是独立的呢？

   任意两个不同样本节点 xi 到 xj 只有一条路径xi->u->xj, u 属于tail-to-tail类型，根据D-Seperation定理，u 阻塞（block）xi和xj，所以 xi 和 xj 是 u 条件下独立的，可以表示为：

P( xi,xj|u ) = P( xi|u ) * P( xj|u ) 

   在数学上称这种情况为独立同分布。可以得到公式：

   

   但是如果上图中 U 不作为观察点（U不取特定值），则 P(D) 是所有可能的 u 值条件下概率的和，即对 u 求积分。这种情况下x1,x2,x3...一般不再是互相独立的：

、马尔科夫毯（马尔科夫边界）。

   考虑一个有D个节点的 DAG 图（上图只画出DAG图中的一部分）,用一个联合分布 P( x1,x2,x3...xD )来表示改图各节点分别取到 x1,x2,x3 ...xD 的概率。现在如果要求条件概率 P( xi|x1,x2,x3...xD ),即其他节点的值都知道的情况下求图中空白节点 xi 取到某一个值的概率。容易写出等式：

   

其中分母表示其他节点值确定，只有 xi 值未知的概率，所以要对 xi 所有可能的值求和。这个式子的求解比较困难，下面对其进行简化。

   根据D-Seperation定理，可以考虑DAG图中任意两点之前是否是条件相关的，DAG图中的任意一个点 a 都可以表示为 P(a|b,c...) ,如上图中 x5 与 x4 是条件无关的（被x6阻断），但是依赖于其他节点的取值。由此上式可转化为：

  

   

  对上式分母中不包含xi的项 P(xk|pak) 可以提出到积分外，与分子中对应的项同时消去，可以大大简化计算。最后式子中只剩下节点xi的parent节点，children节点和co-parent节点（上图中的节点x3，x4。根据D-Seperation定理，可以知道xi和x3不是关于x5条件独立的）。

  对马尔科夫毯进行总结：节点xi的确定只取决于xi的parent节点，children节点和co-parent节点。