随机变量的特征函数

特征函数（Characteristic function）是描述随机变量概率分布的重要工具，其定义如下。

设随机变量X的CDF为FX(x)，则其特征函数定义为：

φX(t)=E(eitX)=∫−∞+∞eitxdFX(x)

其中，i=−1，并且

eitx=cos⁡(tx)+isin⁡(tx)

根据上述定义，φX(t)是FX(x)的傅立叶变换。因此φX(t)和FX(x)包含相同的信息，且是一一对应的。特别的，若X的PDF fX(x)存在，则可通过傅立叶逆变换得到：

fX(x)=12π∫−∞+∞e−itxφX(t)dt

特征函数具有连续可微等良好的分析性质，因此对于那些矩母函数（Moment Generating Function，MGF）不存在的分布（如柯西分布和对数正态分布）很有用处。

特征函数本质上不是概率论的内容，而属于函数论的内容。不用傅立叶变换，用拉普拉斯变换、希尔伯特变换等等，也可能产生类似效果，当然具体结论会颇有不同。

概率分布（1）

进入正题之前，先介绍两个函数：贝塔函数和伽马函数。

B(α,β)=∫01xα−1(1−x)β−1dxΓ(θ)=∫0∞xθ−1e−xdx

http://cos.name/2013/01/lda-math-gamma-function/

神奇的Gamma函数

这篇文章对伽马函数的历史由来，讲的比较透彻。

简单来说，伽马函数就是阶乘算子在复数域的扩展。

伽马函数有以下一些性质：

Γ(x+1)=xΓ(x)为整数Γ(n)=(n−1)!,n为整数Γ(1−x)Γ(x)=πsin⁡(πx),x∈(0,1)Γ(12)=πB(m,n)=Γ(m)Γ(n)Γ(m+n)

上式中的B函数，也就是现在的Beta函数。

对Gamma函数的定义做一个变形，就可以得到如下式子：

∫0∞xα−1e−xΓ(α)dx=1

取积分中的函数作为概率密度，就得到一个形式最简单的Gamma分布的密度函数：

Gamma(x|α)=xα−1e−xΓ(α)

如果做一个变换x=βt，就得到Gamma分布的更一般的形式：

Gamma(t|α,β)=βαtα−1e−βtΓ(α)

其中α称为shape parameter，主要决定了分布曲线的形状; 而β称为rate parameter或者inverse scale parameter(1/β称为scale parameter)，主要决定曲线有多陡。

http://blog.csdn.net/u010945683/article/details/48950063

贝塔、伽马分布

排列组合是高中数学的内容，这里仅列出公式，以备参考。

Pnm=n!(n−m)!Cnm=Pnmm!=n!m!(n−m)!

Cnm有时也被记作(nm)，注意这两种表示法的上下标的顺序。

伯努利试验

伯努利试验(Bernoulli experiment)是在同样的条件下重复地、相互独立地进行的一种随机试验。其特点是该随机试验只有两种可能结果：发生或者不发生。然后我们假设该项试验独立重复地进行了n次，那么我们就称这一系列重复独立的随机试验为n重伯努利试验，或称为伯努利概型。

n重伯努利试验导出了两个重要的分布。

n重伯努利试验中，事件A发生K次的概率是：

Pr(X=k)=(nk)pk(1−p)n−k

其中，p为单次试验中，事件A发生的概率。

这种分布，被称为二项分布（Binomial Distribution）。特别的，当n=1时，被称为伯努利分布。

几何分布（Geometric distribution）有两个定义：

1.在n重伯努利试验中，试验k次才得到第一次成功的概率：

Pr(X=k)=(1−p)k−1p

1.在n重伯努利试验中，第一次成功之前，失败k次的概率：

Pr(Y=k)=(1−p)kp

显然Y=X−1。

二项分布的极限

二项分布实际上有两个极限分布。

如上所述，二项分布有两个参数n和p。

如果p为定值，n→∞，则极限分布为正态分布。正态分布的性质参见《图像处理理论（二）》。

如果p→0,n→∞，则极限分布为泊松分布（Poisson distribution）。

泊松分布有两个定义：

定义一：一个随机变量X, 只能取值非负整数（x=0,1,2,…），且相应的概率为e−λλxx!，则称该变量服从poisson分布。

定义二：假定一个事件在一段时间内随机发生，且符合以下条件：

（1）将该时间段无限分隔成若干个小的时间段，在这个接近于零的小时间段里，该事件发生一次的概率与这个极小时间段的长度成正比。

（2）在每一个极小时间段内，该事件发生两次及以上的概率恒等于零。

（3）该事件在不同的小时间段里，发生与否相互独立。

则该事件称为poisson process。

比如，一段时间t内，电话交换站收到的呼叫次数k，就是泊松分布的。很显然，呼叫次数和时间是有关系的，时间越长，呼叫次数越多。反之，t→0，则k→0。这正好符合二项分布的泊松极限的定义。

泊松分布的独特之处，还在于它的两个要素t和k，一个是连续型随机变量，另一个是离散型随机变量。无形之中，它成为了这两类变量之间的桥梁。与此相关的数学分支，一般被称为泊松分析。

仍以上面的例子为例，如果反过来，求两次来电的时间间隔t，则t符合指数分布。

https://www.zhihu.com/question/26441147

泊松分布的现实意义是什么，为什么现实生活多数服从于泊松分布？

http://www.ruanyifeng.com/blog/2015/06/poisson-distribution.html

泊松分布和指数分布：10分钟教程

http://blog.csdn.net/kicilove/article/details/78655856

数据科学家应知必会的6种常见概率分布

https://mp.weixin.qq.com/s/PIKvYvXd9PaVHFi_I0U4cw

一文读懂泊松分布，指数分布和伽马分布

https://mp.weixin.qq.com/s/BySEOOgPpTispZi_XBER4w

Poisson过程

贝塔分布和共轭先验分布

f(x;α,β)=xα−1(1−x)β−1B(α,β)

贝塔分布的PDF（probability density function）和CDF（cumulative distribution function）如下图所示：

从上图可以看出它是个百变星君，它可以是凹的、凸的、单调上升的、单调下降的；可以是曲线也可以是直线。由于Beta分布能够拟合如此之多的形状，因此它在统计数据拟合中，被广泛使用。

下面来讲一下Beta分布的推导，并引出共轭先验分布的概念。

设一事件A的概率p(A)=θ，为了估计θ的值，作了n次独立观察，其中事件A出现的次数为X。显然X服从二项分布X∼B(n,θ)。

p(X=x∣θ)=(nx)θx(1−θ)n−x

利用贝叶斯公式，我们首先需要确定先验概率p(θ)。在未得到其余信息前，我们只能认为θ在(0,1)上均匀分布（即θ∼Uniform(0,1)），这是一种不失偏颇的先验估计。

则联合概率分布为：

p(x,θ)=p(x∣θ)p(θ)

边缘概率分布：

p(x)=∫01p(x,θ)dθ=∫01(nx)θx(1−θ)n−xdθ=(nx)B(x+1,n−x+1)=(nx)Γ(x+1)Γ(n−x+1)Γ(n+2)

综合以上，可得θ的后验分布:

p(θ∣x)=p(x,θ)p(x)=θ(x+1)−1(1−θ)(n−x+1)−1B(x+1,n−x+1)

因此：θ∣x∼Beta(x+1,n−x+1)

考虑到Uniform(0,1)=Beta(1,1)，因此在这个例子中，先验分布和后验分布，实际上是同一类型的分布。这种情况被称为共轭先验分布。

上述过程的形式化描述为：

Uniform(θ)+B(n,θ)→Beta(x+1,n−x+1)先验参数分布数据分布后验分布先验参数分布+数据分布→后验分布

定义：设θ是某分布中的一个参数，π(θ)是其先验分布。假如由抽样信息算得的后验分布π(θ∣x)与π(θ)同属于一个分布族，则称π(θ)是θ的共轭先验分布。

从这个定义可以看出，共轭先验分布是对某一分布中的参数而言的，离开指定参数及其所在的分布，谈论共轭先验分布是没有意义的。

常见的共轭先验分布：

总体分布	参数	共轭先验分布
二项分布	成功概率	贝塔分布
泊松分布	均值	伽马分布
指数分布	均值倒数	伽马分布
正态分布（方差已知）	均值	正态分布
正态分布（方差未知）	方差	倒伽马分布

共轭先验分布中，由于先验分布和后验分布都是同一个分布族，因此有利于简化计算。同时，先验参数往往会传递到后验分布，这样就能够比较方便的确定参数的实际意义。

http://blog.csdn.net/u010945683/article/details/49149815

共轭先验分布

https://mp.weixin.qq.com/s/B-yvH8ecirsROfYZ5CcZjg

一文读懂正态分布与贝塔分布

https://mp.weixin.qq.com/s/4uia4ijUUaumc2PNvCEWiw

“共轭分布”是什么？

多项分布和狄利克雷分布

伯努利试验只有两个可能的实验结果，如果实验结果的个数超过2个，那么二项分布就变成了多项分布（multinomial distribution）：

f(x1,…,xk;n,p1,…,pk)=n!x1!⋯xk!p1x1⋯pkxk

多项分布对应的共轭先验分布是狄利克雷分布（Dirichlet distribution）：

(1)f(x1,⋯,xK;α1,⋯,αK)=1B(α)∏i=1Kxiαi−1

这里引入向量表示的贝塔函数：

B(α)=∏i=1KΓ(αi)Γ(∑i=1Kαi),α=(α1,⋯,αK)

狄利克雷分布的密度函数如下所示(3维)：

上面的图，实际上是个4维图，只不过用一个平面上的三角形代表实验结果的3维而已。这也是一种高维数据可视化的方法。