时间戳

首页 > 技术文章 > 【概率论】6-2:大数定理(The Law of Large Numbers)

【概率论】6-2:大数定理(The Law of Large Numbers)

face2ai 2018-10-05 21:58 原文

 

title: 【概率论】6-2:大数定理(The Law of Large Numbers)
categories:
- Mathematic
- Probability
keywords:
- Markov Inequality
- Chebyshev Inequality
- Sample Mean
- The Law of Large Numbers
toc: true
date: 2018-04-07 21:07:42


Abstract: 本文介绍马尔科夫不等式，切比雪夫不等式，样本均值，和大数定理的知识内容
Keywords: Markov Inequality，Chebyshev Inequality，Sample Mean，The Law of Large Numbers

 

开篇废话

最早做图像处理的时候建了一个QQ群，后来在里面认识了图像处理第一份工作的老板，后来离开了群，因为里面很多人基本都是来凑热闹的，所以质量堪忧，今天我又建了一个本博客的微信群，希望群内的同学们，能找到自己喜欢的方向，深入到自己热爱的领域，其实如果我的这些文字能帮助三五十个人，说实话，我自己感觉比那些小作坊身价过亿的小老板对社会的贡献更大一些。所以继续努力，戒骄戒躁。
想加入我们的同学，可以看目录页里面有进群的方法。

若干个拥有相同分布的独立随机变量的均值，被称为样本均值(“样本期望”等表述同一概念：Sample Mean)，这些被选取出来的随机变量被称为样本。样本均值对于样本的信息描述，类似于一个分布的期望对这个分布的描述。注意这句话有两个信息：

  1. 我们前面介绍的均值，期望都是针对分布的。
  2. 样本的均值不同于分布的均值，但是有很多相似之处。

本节我们就会介绍一些结果来表明，“样本均值”和“组成随机样本的单个随机变量”之间的关系。

The Markov and Chebyshev Inequalities

在学习均值的时候讲到过有关重心类似的概念，也就是说当我们改变分布，让小概率对应一个大的值的时候，比如离散情况下随机变量值 {1,100,0.1}\{1,100,0.1\}{1,100,0.1} 对应于概率 {0.1,0.01,0.89}\{0.1,0.01,0.89\}{0.1,0.01,0.89} 这时的期望是 1×0.1+100×0.01+0.1×0.89=1.1891\times 0.1+100\times 0.01 + 0.1\times 0.89=1.1891×0.1+100×0.01+0.1×0.89=1.189 也可以说重心在1.189这个位置，如果我们调整下，让大的随机变量值对应到大概率 {1,0.1,100}\{1,0.1,100\}{1,0.1,100} 对应于概率 {0.1,0.01,0.89}\{0.1,0.01,0.89\}{0.1,0.01,0.89} 这时的期望是 1×0.1+0.1×0.01+100×0.89=89.1011\times 0.1+0.1\times 0.01 + 100\times 0.89=89.1011×0.1+0.1×0.01+100×0.89=89.101 显然这个重心发生了明显的偏移，但是我们有个新想法，如果我们有很多个离散随机变量值，或者是连续分布的随机变量，我们在固定分布均值的情况下，有多少随机变量值可以调整位置呢？

Markov Inequality

Theorem Markov Inequality.Suppose that XXX is a random variable such that Pr(X≥0)=1Pr(X\geq 0)=1Pr(X≥0)=1 .Then for every real number t>0t>0t>0 ,
Pr(X≥t)≤E(X)t Pr(X\geq t)\leq \frac{E(X)}{t} Pr(X≥t)≤tE(X)​

证明思路的话我们就用一个离散分布来证明上面这个不等式的正确性然后延伸到连续情况。
证明：

  1. 假设 XXX 有一个离散分布，其p.f.是 fff
  2. 那么 XXX 的期望是：
    E(X)=∑xxf(x)=∑x&lt;txf(x)+∑x≥txf(x) E(X)=\sum_{x}xf(x)=\sum_{x&lt;t}xf(x)+\sum_{x\geq t}xf(x) E(X)=x∑​xf(x)=x<t∑​xf(x)+x≥t∑​xf(x)
  3. 因为我们在条件中规定 X≥0X\geq 0X≥0 那么，上面的求和部分都是大于等于0的。
  4. 所以我们有：
    E(X)=∑x≥txf(x)≥∑x≥ttf(x)=tPr(X≥t) E(X)=\sum_{x\geq t}xf(x)\geq \sum_{x\geq t}tf(x)=tPr(X\geq t) E(X)=x≥t∑​xf(x)≥x≥t∑​tf(x)=tPr(X≥t)
  5. 根据 t&gt;0t&gt;0t>0 得出我们要的结论：
    E(X)≥tPr(X≥t)⇒Pr(X≥t)≤E(X)t E(X)\geq t Pr(X\geq t)\Rightarrow Pr(X\geq t)\leq\frac{E(X)}{t} E(X)≥tPr(X≥t)⇒Pr(X≥t)≤tE(X)​
  6. 证毕

完整原文地址：https://www.face2ai.com/Math-Probability-6-2-The-Law-of-Large-Numbers转载请标明出处

 

推荐阅读