贝塔、伽马分布

最近开始自学PRML，为此又补了概率论中的一些知识点。
相较于古典概率通过各种估计手段来确定参数的分布，贝叶斯学派则是使用后验概率来确定，为了方便计算后验概率，引入共轭先验分布来方便计算，这是后话了。
那么一些常见的共轭后验分布有哪些呢？这就引出了这里的主题。有诸如贝塔分布、伽马分布和倒伽马分布等。(先打个坑，后面再补充)

---

简介

贝塔分布

下面就是X∼Beta(α,β)$X\sim Beta(\alpha ,\beta )$的概率密度函数

f(x)=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1$$f(x)=\frac{\mathrm{\Gamma }(\alpha +\beta )}{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}$$

• E(X)=αα+β$E(X)=\frac{\alpha }{\alpha +\beta }$
• Var(X)=αβ(α+β)2(α+β+1)$Var(X)=\frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}$

这个式子并不是从天而降，这是有由来的。
最先想构造的概率分布函数是，

f(x)=wxα−1(1−x)β−1$$f(x)=w{x}^{\alpha -1}(1-x{)}^{\beta -1}$$

其中，w$w$是一个常数，为了满足概率分布函数的两个条件

• x∈[0,1]$x\in [0,1]$
• ∫10f(x)dx=1${\int }_0^{1}f(x)dx=1$

因此

f(x)=xα−1(1−x)β−1∫10xα−1(1−x)β−1dx=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1=1B(α,β)xα−1(1−x)β−1$$\begin{gathered} f(x)=\frac{x^{\alpha -1}(1-x{)}^{\beta -1}}{{\int }_0^1{x}^{\alpha -1}(1-x{)}^{\beta -1}dx} \\ =\frac{\mathrm{\Gamma }(\alpha +\beta )}{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1} \\ =\frac{1}{B(\alpha ,\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1} \end{gathered}$$

贝塔函数

B(α,β)=∫10xα−1(1−x)β−1dx$B(\alpha ,\beta )={\int }_0^1{x}^{\alpha -1}(1-x{)}^{\beta -1}dx$

---

伽马函数

其中Γ(x)$\mathrm{\Gamma }(x)$就是伽马函数，此处传送门详解伽马函数历史由来

Γ(θ)=∫∞0xθ−1e−xdx$$\mathrm{\Gamma }(\theta )={\int }_0^{\mathrm{\infty }}{x}^{\theta -1}{e}^{-x}dx$$

其中伽马函数有一些性质需要注意

• Γ(x+1)=xΓ(x)$\mathrm{\Gamma }(x+1)=x\mathrm{\Gamma }(x)$

• 对于整数n$n$来说
  

  Γ(n)=(n−1)!$$\mathrm{\Gamma }(n)=(n-1)!$$

• 对于x∈(0,1)$x\in (0,1)$,
  

  Γ(1−x)Γ(x)=πsin(πx)$$\mathrm{\Gamma }(1-x)\mathrm{\Gamma }(x)=\frac{\pi }{\sin (\pi x)}$$

• Γ(12)=π−−√$\mathrm{\Gamma }(\frac{1}{2})=\sqrt{\pi }$

---

伽马分布

X∼Γ(k,θ)$X\sim \mathrm{\Gamma }(k,\theta )$的概率密度函数如下

f(x)=xk−1e−x/θθkΓ(k),(k>0,θ>0)$$f(x)=\frac{x^{k-1}{e}^{-x/\theta }}{{\theta }^k\mathrm{\Gamma }(k)},(k>0,\theta >0)$$

• E(x)=kθ$E(x)=k\theta$

• Var(x)=kθ2$Var(x)=k{\theta }^2$

---

倒伽马分布

X∼IGa(α,β)$X\sim IGa(\alpha ,\beta )$
由Y=g(X)=1X及X∼Γ(k,θ)$Y=g(X)=\frac{1}{X}及X\sim \mathrm{\Gamma }(k,\theta )$推出Y$Y$的分布，即为倒伽马分布。

fY(y)=fX(g−1(y)|ddyg−1(y)|)=1θkΓ(k)(1y)k+1exp(−1yθ)=1θkΓ(k)y−k−1exp(−1yθ)$$\begin{gathered} f_Y(y)=f_X(g^{-1}(y)|\frac{d}{dy}{g}^{-1}(y)|) \\ =\frac{1}{{\theta }^k\mathrm{\Gamma }(k)}(\frac{1}{y}{)}^{k+1}exp(\frac{-1}{y\theta }) \\ =\frac{1}{{\theta }^k\mathrm{\Gamma }(k)}{y}^{-k-1}exp(\frac{-1}{y\theta }) \end{gathered}$$

用α$\alpha$替换k$k$,β$\beta$替换θ−1${\theta }^{-1}$得：

fX(x)=βαΓ(α)x−α−1exp(−βx)$$f_X(x)=\frac{{\beta }^{\alpha }}{\mathrm{\Gamma }(\alpha )}{x}^{-\alpha -1}exp(\frac{-\beta }{x})$$

上式即为倒伽马分布的概率密度函数X∼IGa(α,β)$X\sim IGa(\alpha ,\beta )$。

• E(X)=βα−1,α>1$E(X)=\frac{\beta }{\alpha -1},\alpha >1$

• D(X)=β2(α−1)2(α−2),α>2$D(X)=\frac{{\beta }^2}{(\alpha -1{)}^2(\alpha -2)},\alpha >2$

参考资料

• https://en./wiki/Beta_distribution

• https://en./wiki/Beta_function

• https://en./wiki/Inverse-gamma_distribution

本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。