? 1 n ?1 n ?lim P? X ? E(X ) ??? ?
i i ?
?1.
n??
? n n
i?1? i?1 ?
特殊情形:若 X1, X2,…具有相同的数学期望 E( XI) =μ,
则上式成为
? 1 n ??lim P? X ?? ???
i ?
?1.
n??
? n?
i?1 ?
伯努利
大数定
律
设μ是 n 次独立试验中事件 A 发生的次数, p 是事件 A 在
每次试验中发生的概率,则对于任意的正数ε,有
? ? ??lim P? ? p ??
? ?1.
n??
? n? ?
伯努利大数定律说明,当试验次数 n 很大时,事件 A 发生
的频率与概率有较大判别的可能性很小,即
? ? ??lim P? ? p ??
? ? 0.
n??
? n? ?
这就以严格的数学形式描述了频率的稳定性。
辛钦大 设 X1, X2,…, Xn,…是相互独立同分布的随机变量序列,且 E
数定律 ( Xn) =μ,则对于任意的正数ε有
? 1 n ??lim P? X ?? ???
i ?
?1.
n??
? n?
i?1 ?
( 2)中心极限定
理
列维- 设随机变量 X1, X2,…相互独立,服从同一分布,且具有
林德伯 相 同 的 数 学 期 望 和 方 差 :
格定理 E(X
k
) ? ?, D(X
k
) ?? 2 ? 0(k ?1,2, ) ,则随机变量 X ? N(?,? 2
n )
Y
n
?
? X
k?1
n
k
? n?
n?
的分布函数 Fn(x)对任意的实数 x,有
? n ?X ? n??
k? ? 1?
k?1 ?lim F
n
(x) ? lim P? ? x? ?
n?? n?? n? 2?? ?
? ?? ?
此定理也称为 独立同分布 的中心极限定理。
?x
??
e?t
2
2 dt.
1
概率论与数理统计 公式(全)
2011-1-1
棣莫弗
-拉普
拉斯定
理
设随机变量 Xn 为具有参数 n, p(0
任意实数 x,有
? ? 1? X
n
? np ?? lim P? ? x??
n?? 2?? ?? np(1? p) ?
? x
??
e?t
2
2 dt.
( 3)二项定理 若当 N ??时 , M ? p(n,k不变 ) ,则
N
(N ??). k n?kCMCN k k n?k?M ?C p (1? p)
nnC
N
超几何分布的极限分布为二项分布。
( 4)泊松定理 若当 n ??时 ,np ? ? ? 0,则
C p (1? p)k
n
k n?k ?
?k
k! e?? (n ??).
其中 k=0, 1, 2,…, n,…。
二项分布的极限分布为泊松分布。
第六章样本及抽样分布
( 1)数 理
统 计 的 基
本概念
总体 在数理统计中,常把被考察对象的某一个(或多个)指标的全
体称为总体 (或母体) 。 我们总是把总体看成一个具有分布的随
机变量(或随机向量) 。
总体中的每一个单元称为样品(或个体) 。
我们把从总体中抽取的部分样品 x1, x2 ,?, xn 称为样本。样本
中所含的样品数称为样本容量, 一般用 n 表示。 在一般情况下,
总是把样本看成是 n 个相互独立的且与总体有相同分布的随机
变量,这样的样本称为简单随机样本。在泛指任一次抽取的结
果时, x1, x2 ,?, xn 表示 n 个随机变量 (样本) ; 在具体的一次
抽取之后, x1, x2 ,?, xn 表示 n 个具体的数值 (样本值) 。 我们
称之为样本的两重性。
样本函数和
统计量 设
x
1
, x
2
,?, x
n
为总体的一个样本,称
个体
样本
? ? ? ( x
1
, x
2
,?, x
n
)
为样本函数,其中 ?为一个连续函数。如果 ?中不包含任何未
知参数,则称 ? ( x1, x2 ,?, xn )为一个统计量。
1
概率论与数理统计 公式(全)
2011-1-1
常见统计量
及其性质 样本均值
样本方差
2
1 nx ? ?xi.n
i?1
1 n
2S ? (x ? x) .
?
in ?1
i?1
样本标准差 1 n 2S ? (x ? x) .? in ?1
i?1
样本 k 阶原点矩
1 n
kM
k
? ?x
i
,k ?1,2,?.n
i?1
样本 k 阶中心矩
1 n? ? ?(x
i
? x)k ,k ? 2,3,?.M
k n
i?1
E(X ) ? ? , D(X) ? ? 2n ,
E(S 2 ) ?? 2, E(S 2 ) ?
2
n ?1
2? ,n
1 n
2其中 S ? ?(X
i
? X) ,为二阶中心矩。 n
i?1
( 2)正 态
总 体 下 的
四大分布
正态分布 设 x
1
, x
2
,?, x
n
为来自正态总体 N(?,? ) 的一个样本,则样
本函数
2
u
t 分布
def x ? ?
? / n ~ N(0,1).
2设 x
1
, x
2
,?, x
n
为来自正态总体 N(?,? ) 的一个样本,则样
本函数
tdef x ? ?s/ n ~ t(n ?1),
其中 t(n-1)表示自由度为 n-1 的 t 分布。
1
概率论与数理统计 公式(全)
2011-1-1
? 2分布 设 x
1
, x
2
,?, x
n
为来自正态总体 N(?,? ) 的一个样本,则样
本函数
2
w
2
def (n ?1)S 2
? 2 ~ ? 2 (n ?1),
2其中 ? (n ?1) 表示自由度为 n-1 的 ? 分布。
F 分布 2设 x
1
, x
2
,?, x
n
为来自正态总体 N(?,?
1
) 的一个样本,而
2y
1
, y
2
,?, y
n
为来自正态总体 N(?,?
2
) 的一个样本,则样本
函数
F
其中
def S12 /?12
S /?2
2
2
2
~ F(n
1
?1,n
2
?1),
1 n1S ? (x
i
? x)2 ,?n
1
?1 i?121
1 n2S ? (y
i
? y)2;?n
2
?1 i?122
F(n
1
?1,n
2
?1) 表示第一自由度为 n
1
?1,第二自由度为
n
2
?1的 F 分布。
( 3)正 态
总 体 下 分
布的性质
X 与 S 2独立。
第七章参数估计
1
概率论与数理统计 公式(全)
2011-1-1
( 1) 点
估计
矩估计 设总体 X 的分布中包含有未知数 ?
1
,?
2
,?,?
m
, 则其分布函数可以表成
F(x;?
1
,?
2
,?,?
m
).它的 k 阶原点矩 v
k
? E(X k )(k ?1,2,?,m) 中也
包 含 了 未 知 参 数 ?1,?2 ,?,?m , 即 vk ? vk (?1,?2 ,?,?m ) 。 又 设
x
1
, x
2
,?, x
n
为总体 X 的 n 个样本值,其样本的 k 阶原点矩为
1 n
k? x
i
(k ?1,2,?,m).n
i?1
这样,我们按照“当参数等于其估计量时,总体矩等于相应的样本矩”
的原则建立方程,即有
? 1 n? ? ??v
1
(?
1
,?
2
,?,?
m
) ? n?x
i
,
i?1?
?
? ? ? 1 n 2?v
2
(?
1
,?
2
,?,?
m
) ? ?x
i
,? n
i?1? ?
?
??????????
?
?
n? ? ??v (? ,? ,?,? ) ? 1 x
i
m.?
m 1 2 m? n
i?1?
由上面的 m 个方程中,解出的 m 个未知参数 (?1,?2 ,?,?m ) 即为参数
( ?1,?2 ,?,?m )的矩估计量。
? ? ?
) 为 g(? )的矩估计。 若 ? 为 ? 的矩估计, g(x) 为连续函数,则 g(??
1
概率论与数理统计 公式(全)
2011-1-1
极 大 似
然估计
当 总 体 X 为 连 续 型 随 机 变 量 时 , 设 其 分 布 密 度 为
f (x;?
1
,?
2
,?,?
m
) , 其 中 ?
1
,?
2
,?,?
m
为 未 知 参 数 。 又 设
x
1
,x
2
,?,x
n
为总体的一个样本,称
L(?
1
,?
2
,?,?
m
) ?? f (x
i
;?
1
,?
2
,?,?
m
)
i?1
n
为样本的似然函数,简记为 Ln.
当 总 体 X 为 离 型 随 机 变 量 时 , 设 其 分 布 律 为
P{X ? x}? p(x;?
1
,?
2
,?,?
m
),则称
L(x
1
,x
2
,?,x
n
;?
1
,?
2
,?,?
m
) ??p(x
i
;?
1
,?
2
,?,?
m
)
i?1
n
为样本的似然函数。
若似然函数 L(x1,x
2
,?,x
n
;?
1
,?
2
,?,?
m
) 在 ?1,? ,?,? m 处取2? ? ?
到最大值,则称 ?1,? ,?,? m 分别为 ?1,?
2
,?,?
m
的最大似然估计值,2? ? ?
相应的统计量称为最大似然估计量。
?ln L
n?
?
i
?
? 0,i ?1,2,?,m
?i??i?
)为 g(? )的极大若 ? 为 ? 的极大似然估计, g(x) 为单调函数,则 g(?
似然估计。
( 2) 估
计量的
评选标
准
无偏性
设 ? ??(x1, x2 ,?, xn ) 为未知参数 ? 的估计量。若 E ( ? ) =? ,则称 ? ? ?
? 为 ? 的无偏估计量。
E( X ) =E( X) , E( S ) =D( X) 2
?
有效性
设 ?1 ??1(x1, x,2 ,?, xn ) 和 ? 2 ?? 2 (x1, x,2 ,?, xn ) 是未知参数 ?
的两个无偏估计量。若 D(?1) ? D(? 2 ),则称 ?1比 ? 2 有效。 ? ?
? ? ? ?
? ?
1
概率论与数理统计 公式(全)
2011-1-1
一致性
设 ? n是 ? 的一串估计量,如果对于任意的正数 ? ,都有
n??
?
?
limP(|? n?? |??) ? 0,?
则称 ?n 为 ? 的一致估计量(或相合估计量) 。
? ) ? 0(n??), 则 ? 为 ? 的一致估计。 若 ? 为 ? 的无偏估计,且 D(?
只要总体的 E(X)和 D(X)存在,一切样本矩和样本矩的连续函数都是相
应总体的一致估计量。
( 3) 区 置 信 区
间估计 间 和 置
信度
设总体 X含有一个待估的未知参数 ? 。 如果我们从样本 x1,x,2 ,?,xn出
发 , 找 出 两 个 统 计 量
?
?
1
??
1
(x
1
, x,
2
,?, x
n
) 与
?
2
??
2
(x
1
, x,
2
,?, x
n
) (?
1
??
2
) , 使 得 区 间 [?
1
,?
2
] 以
1??(0 ?? ?1)的概率包含这个待估参数 ? ,即
P{?
1
?? ??
2
}?1??,
那么称区间 [?1,?2 ]为 ? 的置信区间, 1?? 为该区间的置信度(或置
信水平) 。
单 正
总 体
期 望
方 差
区 间
计
态
的
和
的
估
2设 x
1
,x,
2
,?,x
n
为总体 X ~ N(?,? ) 的一个样本,在置信度为 1??
下,我们来确定 ?和 ? 的置信区间 [?1,?2 ]。具体步骤如下:
( i)选择样本函数;
( ii)由置信度 1?? ,查表找分位数;
( iii)导出置信区间 [?1,?2 ]。
2
1
概率论与数理统计 公式(全)
2011-1-1
已知方差,估计均值 ( i)选择样本函数
u ? x ? ??
0
/ n
~ N(0,1).
(ii) 查表找分位数
? ?x ? ?P??? ? ? ?? ?1??.
? ??
0 / n? ?
( iii)导出置信区间
?
0
?
0
??x ? ? , x ? ?
? ? n n??
未知方差,估计均值 ( i)选择样本函数
t ?
x ? ?
S / n
~ t(n ?1).
(ii)查表找分位数
? ?x ? ??P
?? ? ? ? ?? ?1??.?S / n? ?
( iii)导出置信区间
? S S ?x ? ? , x ? ?
? ? n n??
方差的区间估计 ( i)选择样本函数
w ? (n ?1)S 2?
2
~ ? 2 (n ?1).
( ii)查表找分位数
? ?(n ?1)S 2 ?P?? ? ? ?
2 ?
?1??.
2? 1 ?? ?
( iii)导出 ? 的置信区间
? n ?1 n ?1 ?S, S
? ? ? ?
2 1? ?
第八章假设检验
1
概率论与数理统计 公式(全)
2011-1-1
基本思想 假设检验的统计思想是,概率很小的事件在一次试验中可以认为基本上是
不会发生的,即小概率原理。
为了检验一个假设 H0是否成立。 我们先假定 H0是成立的。 如果根据这个假
定导致了一个不合理的事件发生,那就表明原来的假定 H0是不正确的,我们拒
绝接受 H0;如果由此没有导出不合理的现象,则不能拒绝接受 H0,我们称 H0是
相容的。与 H0相对的假设称为备择假设,用 H1表示。
这里所说的小概率事件就是事件 {K ?R?},其概率就是检验水平α,通
常我们取α =0.05,有时也取 0.01 或 0.10。
基本步骤 假设检验的基本步骤如下:
(i)提出零假设 H0;
(ii)选择统计量 K;
(iii)对于检验水平α查表找分位数λ;
(iv)
?
由样本值 x1, x2 , , xn 计算统计量之值 K;
? ?将 K与 ? 进行比较,作出判断:当 | K |??(或 K ??) 时否定 H
0,否则认为
H
0
相容。
两类错误
第一类错误 当 H0 为真时,而样本值却落入了否定域,按照我们规定的
检验法则,应当否定 H0。这时,我们把客观上 H0 成立判为
H
0 为不成立(即否定了真实的假设) ,称这种错误为“以真
当假” 的错误或第一类错误, 记 ? 为犯此类错误的概率, 即
P{否定 H0|H0为真 }=? ;
此处的α恰好为检验水平。
当 H1 为真时,而样本值却落入了相容域,按照我们规定的
检验法则,应当接受 H0。 这时,我们把客观上 H0。 不成立判
为 H0成立(即接受了不真实的假设) ,称这种错误为“以假
当真”的错误或第二类错误,记 ? 为犯此类错误的概率,
即
P{接受 H0|H1为真 }=? 。
两类错误的关系 人们当然希望犯两类错误的概率同时都很小。 但是, 当
容量 n 一定时, ? 变小, 则 ? 变大; 相反地, ? 变小, 则 ?
变大。取定 ? 要想使 ? 变小,则必须增加样本容量。
在实际使用时,通常人们只能控制犯第一类错误的概
率, 即给定显著性水平α。 α大小的选取应根据实际情况而
定。当我们宁可“以假为真” 、而不愿“以真当假”时,则
应把α取得很小,如 0.01,甚至 0.001。 反之, 则应把α取
得大些。
第二类错误
1
概率论与数理统计 公式(全)
2011-1-1
单正态总体均值和方差的假设检验
条件 零假设 统计量 对应样本 函数分布 否定域
H
0
:? ? ?
0
已知 ? 2
|u |?u
U ? x ? ?0
1??2
H
0
:? ? ?
0
H
0
:? ? ?
0
H
0
:? ? ?
0
?
0
/ n N( 0, 1) u ? u1??
u ? ?u
1??
|t |?t
T ? x ? ? 0
S / n
1??2
(n?1)
未知 ? 2 H0 :? ? ?0
H
0
:? ? ?
0
t(n ?1) t ?t
1??
(n ?1)
t ? ?t
1??
(n ?1)
2w ??
?
(n?1)或
H
0
:? 2 ?? 2
未知 ? 2
2
w?
H
0
:? ??2 2
0
(n ?1)S
2?
0
2
w ??
2
1??2
(n?1)
? 2 (n ?1)
w ? ?
1
2
??
(n?1)
2w ?? ?(n ?1) 2H
0
:? 2 ??
0
1
概率论与数理统计公式(全)
2011-1-1
1