常见统计分布

离散分布

名称 表示 概率分布 特征 性质 特点 0-1分布Bernoulli distribution           二项分布Binomial distribution X∼b(n,p) P(X=k)=(nk)pk(1−p)n−k EX=np
DX=np(1−p) 可加性：b(n1,p)+b(n2,p)=b(n1+n2,p) 0-1分布是一种特殊的二项分布
二项分布是0个独立同分布的0-1分布的加和 负二项分布(帕斯卡分布)   P(X=x,r,p)=(x−1r−1)pr(1−p)x−r
x∈[r,r+1,r+2,…,∞]   如果r=1，就是几何分布 对于一系列独立同分布的实验，每次实验成功概率为p，实验直到r次成功为止，总实验次数的概率分布。 泊松分布 X∼π(λ) P(X=k)=λke−λk!
(k=0,1,2,…) EX=λ
DX=λ 可加性：π(λ1)+π(λ2)=π(λ1+λ2) 泊松分布有广泛的应用，
某一服务设施一定时间内到达的人数
电话交换机接到的呼叫次数
汽车站台的后可人数
机器出现的故障数
自然灾害发生的次数
一块产品上的缺陷数
显微镜下单位分区内的细菌数
某放射性物质单位时间发射的粒子数

常用连续分布

名称 表示 概率分布 特征 性质 特点 均匀分布
Uniform distribution X∼U(n,p)           指数分布
Exponential distribution   f(x)={λe−λxx>00o/w EX=1/λ
DX=1/λ2 无记忆性(Memoryless)
P(x>s+t∣x>s)=P(x>t)
s,t>=0     正态分布
Normal distribution
Gaussian distribution X∼N(μ,σ2) f(x)=1√2πσe−(x−μ)22σ2 EX=μ
DX=σ2 可加性：
Xi∼N(μi,σ2i)，并且相互独立
那么∑Xi∼N(∑μi,∑σ2i) 如果同时满足以下两条：
Xi∼(i.i.d)N(μ,σ2) 独立同分布
S2=1n−1∑(Xi−ˉX)2
那么，
ˉX∼N(u,σ2n)
(n−1)S2σ2∼χ2(n−1)
ES2=σ2
ˉX,S2相互独立
ˉX−μS/√n∼t(n−1)                

多元正态分布

f(x1,x2,…xp)=1(2π)p/2∣Σ∣1/2exp[−12(x−u)′Σ−1(x−u)] where,

• u是p阶向量
• Σ是p阶正定矩阵

叫做X服从p元正态分布， 记为X∼Np(u,Σ)

多元正态分布的性质

如果X=(X1,X2,…Xp)∼Np(u,Σ)

性质1：均值和方差

EX=u
Var(X)=Σ

当∣Σ∣=0,不存在密度函数。 当然可以给出一些形式上的表达式，使得可以统一处理。

性质2：独立性

如果Σ是对角阵，那么X1,X2,…,Xp相互独立

性质3：分块矩阵

做如下拆分：
X=[X(1∼q)X(q+1∼p)],u=[u(1∼q)u(q+1∼p)],Σ=[Σ11Σ12Σ21Σ22],
那么： X(1∼q)∼Nq(u1∼q,Σ11),X(q+1∼p)∼Nq(uq+1∼p,Σ22)

需要指出：

• 多元正态分布的任何边缘分布都是正态分布，反之不真。
• Σ12=0表示独立，所以多元正态分布拆分后不相关则独立
• 两个正态分布不相关，不一定独立。只有是多元正态分布时，不相关才推出独立。

性质4：线性组合

如果As×p,ds×1都是常数矩阵，
那么AX+d∼Ns(Au+d,AΣA′)

正态分布的乘法

参见Products and Convolutions of Gaussian Probability Density Functions

正态分布乘法的定义

注意区别于随机变量的乘法
正态分布的乘法定义为概率密度函数相乘，然后乘以归一化系数使积分仍然是1.

已知N(ui,Σi),i=1,…n，对应的的概率密度函数是fi(x)=1(2π)p/2∣Σi∣1/2exp[−12(x−ui)′Σ−1i(x−ui)]

1. ∏ni=1N(ui,Σi)仍然是一个正态分布
2. 新正态分布的方差满足1Σ=∑1Σi
3. 新正态分布的均值满足uΣ=∑uiΣi

高级连续分布

引入Gamma Function

Γ(α)=∫+∞0xα−1e−xdx

Gamma Function的性质

Γ(1)=1,Γ(0.5)=√(π)
Γ(α+1)=αΓ(α)
∫−∞0xα−1e−x=Γ(α)/λα

名字 表示 分布 特征 性质 Gamma distribution   f(x)={βαΓ(α)xα−1e−βxx≥00others EX=αλ DX=αλ2 指数分布 Ga(1,λ)=exp(λ)
Ga(n/2,1/2)=χ2(n) 卡方分布 χ2(n) ∑(N(0,1)2) Eχ2=n
DX=2n   Beta distribution   f=Γ(α+β)Γ(α)+Γ(β)xα−1(1−x)β−1 EXk=Γ(α+k)Γ(α+β)Γ(α)+Γ(α+β+k)
EX=αα+β
DX=αβ(α+β)2(α+β+1) 在一些机器学习模型中，有时把先验分布定位beta distribution Fisher Z   f=Γ(a+b)Γ(a)Γ(b)xa−1(1+x)a+b EXk=(a+k−1)(a+k−2)…a(b−1)(b−2)…(b−k) (k<b)
EX=ab−1 (b>1)
DX=a(a+b−1)(b−1)2(b−2) (b>2) n2n1Z(n1/2,n2/2)=F(n1,n2) F分布 F(n1,n2) F=χ2(n1)/n1χ2(n2)/n2 EF=n2n2−2
DF=2n22(n1+n2−2)n1(n2−2)(n2−4) (n_2>4)   t distribution   t=N√χ2/n Et=0
Dt=nn−2   The exponential family   P(y;η)=b(y)exp(ηTT(y)−a(η))   以下都是exponential family:
Bernoulli distribution
Binomial distribution
poisson distribution
normal distribution          

参考文献

Products and Convolutions of Gaussian Probability Density Functions