深度学习中常见分布

正态分布（Normal distribution）又名高斯分布（Gaussian distribution），是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。

若随机变量X服从一个数学期望为μ、标准方差为σ²的高斯分布，记为：

X∼N(μ,σ²),

则其概率密度函数为

正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。因其曲线呈钟形，因此人们又经常称之为钟形曲线。我们通常所说的标准正态分布是μ = 0,σ = 1的正态分布（见右图中绿色曲线）。

概率密度函数

正态分布的概率密度函数均值为μ 方差为σ² (或标准差σ)是高斯函数的一个实例：

。

(请看指数函数以及π.)

如果一个随机变量X服从这个分布，我们写作 X ~ N(μ,σ²). 如果μ = 0并且σ = 1，这个分布被称为标准正态分布，这个分布能够简化为

。

右边是给出了不同参数的正态分布的函数图。

正态分布中一些值得注意的量：

• 密度函数关于平均值对称
• 平均值是它的众数（statistical mode）以及中位数（median）
• 函数曲线下68.268949%的面积在平均值左右的一个标准差范围内
• 95.449974%的面积在平均值左右两个标准差2σ的范围内
• 99.730020%的面积在平均值左右三个标准差3σ的范围内
• 99.993666%的面积在平均值左右四个标准差4σ的范围内
• 反曲点（inflection point）在离平均值的距离为标准差之处

伽玛分布

伽玛分布（Gamma Distribution）是统计学的一种连续概率函数。Gamma分布中的参数α称为形状参数（shape parameter），β称为尺度参数（scale parameter）。

实验定义与概念

假设随机变量X为 等到第α件事发生所需之等候时间, 密度函数为

 

特征函数为

 

Gamma的可加性

两个独立随机变量X和Y，且X~Ga(a,γ），Y~Ga(b,γ），则Z = X+Y ~ Ga(a+b,γ）。注意X和Y的尺度参数必须一样。

数学表达式

若随机变量X具有概率密度

其中α>0,β>0,则称随机变量X服从参数α，β的伽马分布，记作G(α,β).

Gamma分布的特殊形式

当形状参数α=1时，伽马分布就是参数为γ的指数分布，X~Exp（γ）

当α=n/2，β=1/2时，伽马分布就是自由度为n的卡方分布，X^2(n)