DW

概率统计基础

• • 1.概率基本概念
  • 2.一些常见的概率
  • • 2.1 概率运算
    • 2.2.条件概率，先验概率，后验概率，全概率
  • 3.常见统计量
  • 4.常见分布
  • • 4.1 伯努利实验，二项分布
    • 4.2 高斯分布
  • 相关参考

1.概率基本概念

先说下自己的看法，有以下三点：

• 1.概率用来描述世界上存在的不确定性，而这种可能性是事物的潜在规律。
• 2.概率描述一种事件发生的可能性有多大。
• 3.概率与统计有区别。一株水稻产生的颗粒有80%是饱满的，与一株水稻80%概率产生饱满颗粒，一个描述总体情况，一个描述单次事件发生可能性的大小。而我们往往使用总体分布来推测概率，但两者含义是不一样的。

因此，对于概率来说，在统计中总体的概念，其实对应于概率的事件空间，统计中的样本，对应于概率中的事件点。

讨论的事件为事件空间的一个非空子集，这个事件为随机事件。
讨论的事件为事件空间的空集，或者不是当前样本空间的子集，这个事件为不可能事件。
如投掷色子，投掷出7点的概率为0，因为这个事件不属于当前事件空间。

要想得到必然事件，那么该事件要为事件空间的全集。所有情况都考虑到，那么就是必然事件。

2.一些常见的概率

2.1 概率运算

概率的取值范围：

1. 对每个事件 A A A，均有 0 < P ( A ) < = 1 0<P(A)<=1 0<P(A)<=1;

概率求和：

3. P ( Ω ) = 1 P(\Omega)=1 P(Ω)=1;

4. 若事件 A 1 , A 2 , A 3 , . . . A_1,A_2,A_3,... A1​,A2​,A3​,...两两互斥，即对于 i ， j = 1 , 2 , . . . ， i ≠ j , A i ∩ A j = ϕ i，j=1,2,...，i \neq j ,A_i \cap A_j = \phi i，j=1,2,...，i​=j,Ai​∩Aj​=ϕ，均有

   P ( A 1 ∪ A 2 ∪ . . . ) = P ( A 1 ) + P ( A 2 ) + . . . P(A_1 \cup A_2 \cup ...)=P(A_1) +P(A_2) +... P(A1​∪A2​∪...)=P(A1​)+P(A2​)+...

则称 P ( A ) P(A) P(A)为事件 A A A的概率。

互斥事件（计算某些概率很好用）

• 对于任一事件 A A A，均有 P ( A ‾ ) = 1 − P ( A ) P(\overline{A})=1-P(A) P(A)=1−P(A).

• 对于两个事件 A A A和 B B B，若 A ⊂ B A \subset B A⊂B，则有
  P ( B − A ) = P ( B ) − P ( A ) P(B-A) = P(B) - P(A) P(B−A)=P(B)−P(A), P(B) >P(A)

• 对于任意两个事件 A A A和 B B B，有

  ​ P ( A ∪ B ) = P ( A ) + P ( B ) − P ( A ∩ B ) P(A \cup B) = P(A) + P(B) - P(A\cap B) P(A∪B)=P(A)+P(B)−P(A∩B).

• 条件概率，先验概率，后验概率，全概率

2.2.条件概率，先验概率，后验概率，全概率

• 条件定义：
  ​ 研究随机事件之间的关系时，在已知某些事件发生的条件下考虑另一些事件发生的概率规律有无变化及如何变化，是十分重要的。我们先给出定义，然后进行例子的讲解与描述。

设 A A A 和 B B B 是两个事件，且 P ( B ) > 0 P(B)>0 P(B)>0，称 $P(A|B) = \frac {P(AB)} {P(B)} $ 为在事件 B B B 发生的条件下，事件 A A A 发生的概率。

• 例子：

​ 某集体中有 N N N 个男人和 M M M 个女人，其中患色盲者男性 n n n 人，女性 m m m 人。我们用 Ω \Omega Ω 表示该集体， A A A 表示其中全体女性的集合， B B B 表示其中全体色盲者的集合。如果从 Ω \Omega Ω 中随意抽取一人，则这个人分别是女性、色盲者和同时既为女性又是色盲者的概率分别为：

​ P ( A ) = M M + N , P ( B ) = m + n M + N , P ( A B ) = m M + N P(A) = \frac {M} {M+N} , P(B) = \frac {m+n} {M+N} , P(AB) = \frac {m} {M+N} P(A)=M+NM​,P(B)=M+Nm+n​,P(AB)=M+Nm​

如果限定只从女性中随机抽取一人**(即事件 A A A 已发生)，那么这个女人为色盲者的(条件)**概率为

​ P ( B ∣ A ) = m M = P ( A B ) P ( A ) P(B|A) = \frac {m} {M} = \frac {P(AB)} {P(A)} P(B∣A)=Mm​=P(A)P(AB)​

• 先验概率定义：
  即一开始由统计得到的客观概率（参考水稻例子）

玩英雄联盟占到中国总人口的60%，不玩英雄联盟的人数占到40%：

为了便于数学叙述，这里我们用变量X来表示取值情况，根据概率的定义以及加法原则，我们可以写出如下表达式：

P(X=玩lol)=0.6；P(X=不玩lol)=0.4，这个概率是统计得到的，即X的概率分布已知，我们称其为先验概率(prior probability)；

• 后验概率定义：
  由数据样本和先验概率推测得到的概率。（发生事件后，推测原因的概率）

P(Y=男性|X=玩lol)=0.8，P(Y=小姐姐|X=玩lol)=0.2

P(Y=男性|X=不玩lol)=0.2，P(Y=小姐姐|X=不玩lol)=0.8

那么我想问在已知玩家为男性的情况下，他是lol玩家的概率是多少：

依据贝叶斯准则可得：

P(X=玩lol|Y=男性)=P(Y=男性|X=玩lol)*P(X=玩lol)/

[ P(Y=男性|X=玩lol)*P(X=玩lol)+P(Y=男性|X=不玩lol)*P(X=不玩lol)]

最后算出的P(X=玩lol|Y=男性)称之为X的后验概率，即它获得是在观察到事件Y发生后得到的

后验概率计算公式，也叫贝叶斯公式

• 全概率

• 全概率公式

  设 B 1 , B 2 , . . . B_1,B_2,... B1​,B2​,...是样本空间 Ω \Omega Ω 的一个划分， A A A 为任一事件，则

  ​ P ( A ) = ∑ i = 1 ∞ P ( B i ) P ( A ∣ B i ) P(A) = \sum_{i=1}^{\infty } {P(B_i)}P(A|B_i) P(A)=∑i=1∞​P(Bi​)P(A∣Bi​)

  称为全概率公式。

  根据全概率公式和概率乘法公式，我们可以得到：

• 贝叶斯公式

  设 B 1 , B 2 , . . . B_1,B_2,... B1​,B2​,...是样本空间 $ \Omega$ 的一个划分，则对任一事件 A ( P ( A ) > 0 ) A(P(A)>0) A(P(A)>0) ,有

  ​ P ( B i ∣ A ) = P ( B i A ) P ( A ) = P ( A ∣ B i ) P ( B i ) ∑ j = 1 ∞ P ( B j ) P ( A ∣ B j ) P(B_i|A) =\frac {P(B_i A)} {P(A)} = \frac {P(A|B_i )P(B_i)} {\sum_{j=1}^{\infty }P( B_j)P(A|B_j)} P(Bi​∣A)=P(A)P(Bi​A)​=∑j=1∞​P(Bj​)P(A∣Bj​)P(A∣Bi​)P(Bi​)​ ,i=1,2,…

  称上式为贝叶斯公式，称 P ( B i ) ( i = 1 , 2 , . . . ) P(B_i)(i=1,2,...) P(Bi​)(i=1,2,...) 为先验概率， P ( B i ∣ A ) （ i = 1 , 2 , . . . ） P(B_i|A)（i=1,2,...） P(Bi​∣A)（i=1,2,...）为后验概率。

3.常见统计量

• 概率与统计息息相关，这里列举一些常见统计量

1. 方差：1/(n-1)*Σ（xi-x’）^2
2. Cov(X，Y)=E(XY)-E(X)E(Y)=E(x-E(x))(y-E(y))
   对于两类样本xi,yi，协方差：计算两个变量协同的分散程度，Σ（xi-x’)(yi-y’)/n-1

• n-1为无偏统计,样本协方差是1 / (m - 1)，总体协方差是1/m。

3. 如果要计算协同相关程度，则相关系数：pearson=Cov(X,Y)/(D(x)*D(y))^(1/2),衡量相关程度。
4. 协方差矩阵：中心化后的X,X*X.T为其协方差矩阵。
   5.随机变量的期望
5. 离散型随机变量的分布函数为：
   F ( x ) = P { X < = x } = ∑ x k < = x P { X = x k } = ∑ x k < = x P k F (x) = P \{ X<=x \} =\sum_{x_k <=x}{ P \{ X=x_k \} } = \sum_{x_k <=x}{ P_k} F(x)=P{X<=x}=xk​<=x∑​P{X=xk​}=xk​<=x∑​Pk​

4.常见分布

4.1 伯努利实验，二项分布

• 定义：

  如果一个随机试验只有两种可能的结果 A A A 和 A ‾ \overline A A，并且

P ( A ) = p ， P ( A ‾ ) = 1 − p = q P(A) = p，P(\overline A) =1-p=q P(A)=p，P(A)=1−p=q

其中， 0 < p < 1 0<p<1 0<p<1 ，则称此试验为Bernoulli(伯努利)试验. Bernoulli试验独立重复进行 n n n 次，称为 n n n 重伯努利试验。

4.2 高斯分布

正态分布：又叫高斯分布（Gaussian distribution），是最为人们所熟知的分布类型

正态分布最为人们所熟知是因为在实际生活中我们经常可以看到正态分布的例子。比如男女身高，学习成绩等都服从正态分布。也就是说身高和学习成绩处于中游水平的人的数量最多，而身高特别高或特别矮以及成绩特别好或特别差的人的数量很少（趋于0）。上图的曲线看起来像一口钟，因此正态分布曲线又被称为钟形曲线（bell curve）。

若随机变量X服从一个期望为μ，方差为σ2的正态分布，那么记作X~N(μ，σ2)。正态分布的期望值μ决定了其位置，标准差σ决定了分布的幅度。

相关参考

1.如何理解先验概率与后验概率和似然函数
2.常见的概率分布类型（一）（Probability Distribution I）
3.[更新中] 各种常见和不常见的概率分布及其概率函数简介