
极限定理
极限定理是指机率论术语。关于随机变数序列极限特性的一簇定理的总称。有大数定律和中心极限定理两大最基本的类型。前者用于描述平均结果和频率的稳定性。后者用于描述分布的稳定性。机率论的重要研究领域。参见“大数定律”、“中心极限定理”。
基本介绍
- 中文名:极限定理
- 外文名:limit theorem
- 套用学科:、机率论、数学
- 适应领域:数理统计和误差分析
- 提出者:法国数学家棣莫弗
简介
关于随机变数列在一定收敛意义下收敛于某随机变数的定理的总称,包括大数定律、小数定律、中心极限定理、局部极限定理等。
随机变数、分布函式列(机率分布列、特徵函式列……)在一定意义下收敛于某随机变数、分布函式(机率分布、特徵函式……)的有关定理的总称,主要包括大数定律、小数定律、重对数定律、中心极限定理、局部极限定理……
以大数定理和中心极限定理为核心的极限定理是机率论的基本理论之 一,它们在机率论与数理统计的理 论研究与套用中都具有十分重要的意义。
大数定律定义
在机率论中,用来阐明大量平均结果稳定性的一系列定理统称为大数定律。
中心极限定律定义
在客观实际中有许多随机变数,它们是由大量相互独立的随机因素的综合效应所形成的,而其中的每一个单个因素在总的效应中所起的作用都是微小的。这类随机变数往往近似地服从常态分配。在机率论中,论证随机变数和的极限分布是常态分配的一系列定理统称为中心极限定理。
定理
切比雪夫不等式
设随机变数
有数学期望
和方差
,则对于任意给定的正数
,总成立不等式






或 



此不等式称为切比雪夫不等式。
由切比雪夫不等式可以看出,若方差
越小,则机率
越大,表明随机变数
取值越集中;反之,方差
越大,机率
越小,表明随机变数
取值较分散。






大数定律
定理1(切比雪夫定理的特殊情况)设随机变数
相互独立,且具有相同的有限数学期望和方差:
,
(
)。作前n 个随机变数的算术平均,记为





即
,则对于任意正数
,


恆有 



式中,
是一个随机事件,等式表明,当
时,这个事件的机率趋于1,即对于任意正数
,当n 充分大时,不等式
几乎都是成立的。通常我们称序列
依机率收敛于
。






一般地,设
为一个随机变数序列,a 是一个常数,若对于任意正数
都有 



则称随机变数序列
依机率收敛于a 。

定理1 表明,当n 很大时,随机变数
的算术平均
接近于数学期望
,这种接近是机率意义下的接近。



证明方法
这个大数定律的证明确实有几种不同的方法。最早的证明是由数学大师Kolmogorov给出的。Durrett (2010)的书上用的是Etemadi (1981)的方法,需要截断X,用到现代机率论的知识如Borel-Cantelli引理、Kolmogorov三级数定理、Fubini定理等。(感谢读者指出,Durrett的书在倒向鞅一章中给出了大数定律的倒向鞅方法证明,只需要用到倒向鞅的知识和Hewitt-Savage 0-1律,不过这也是现代机率论的知识。)
此外,还有很多不同的大数定律,不同分布的,不独立的序列等。定律也不一定是关于随机变数的,也可以是关于随机函式的,甚至随机集合的等等。以数学家命名的也有Khinchin大数定律(不独立序列的强大数定律)、Chebyshev大数定律(弱大数定律(1))、Poisson大数定律(不同机率的随机事件序列的大数定律)、Bernoulli大数定律(随机事件的大数定律)、Kolmogorov大数定律(强大数定律(6))等等……
中心极限定理
定理2 (同分布的中心极限定理)设随机变数
相互独立,服从同一分布并且具有有限的数学期望和方差,
,
则随机变数
的分布函式
对任意的x,满足






在很多问题中,所考虑的随机变数,都可表示成若干独立的随机变数之和。它们往往近似地服从常态分配。在后面将学的数理统计中,我们会看到,中心极限定理是大样本统计 推断的理论基础。
套用
中心极限定理是机率论中最重要的一类定理,它支撑着和置信区间相关的T检验和假设检验的计算公式和相关理论。如果没有这个定理,之后的推导公式都是不成立的。
事实上,以上对于中心极限定理的两种解读,在不同的场景下都可以对A/B测试的指标置信区间判定起到一定作用。
对于属于常态分配的指标数据,我们可以很快捷地对它进行下一步假设检验,并推算出对应的置信区间;而对于那些不属于常态分配的数据,根据中心极限定理,在样本容量很大时,总体参数的抽样分布是趋向于常态分配的,最终都可以依据常态分配的检验公式对它进行下一步分析。
总结
综上所述,通俗的说,大量随机变数的平均值已不具有显着的随机性,而是必然接近 某个常数,这是自然界一类随机现象隐含 的最重要的规律之一;另一规律是,儘管 个别随机变数的分布函式可能各式各样, 但大量相互独立的随机变数和的分布不再 是任意的,而是服从常态分配。