从赌博中的概率到AI中的概率

不确定的世界

我们生活的这个世界里面普遍具有不确定性，除了很少一部分事件具有确定性，其它大部分事件都是不确定的。而这些不确定事件我们就需要概率来描述，目前概率论已经渗透进各个学科，可以说它是人类知识体系中非常重要的部分。概率论是科学的，科学理论也需要概率论去支撑。

关于概率

如果有人跟你说明天太阳从东边升起来，那么你会觉得这是确定的，因为在人类可以预见的未来都会是这样，这种事我们会说它的概率是100%。但如果有个卖保险的人向你推荐保险，对于有概率思维的你也许很快就会用各种理论去计算看哪款产品更优。从简单的掷骰子到复杂宏观的天气预测、股市经济预测，微观的量子力学等等都需要概率来描述。

概率下的游戏

概率论的最早起源可以追溯到公元前的埃及人，他们就已经跟现代人一样开始用骰子来玩游戏了。与现代人不一样的是，他们玩骰子是因为当时饥荒很严重而玩骰子，这样他们就能忘记饥饿了，而现代人是因为吃太饱闲得慌去玩骰子赌博。

到十七世纪欧洲贵族盛行赌博，通过使用各种随机游戏来进行赌博。其中有些人就开始对随机游戏进行思考，哪种情况的可能性较大呢？一直到1654年，费尔马和帕斯卡两位数学家对于“分赌注问题”的通信讨论被公认为是概率论诞生的标志，他们两与惠更斯被称为早期概率论的创立者。

可以说，概率论的起源是赌博和游戏，后面才开始跳出赌博游戏而发展的。

概率论后期发展

后面概率论的发展已经跟赌博关系不大，主要是由科学技术发展而推动，同时社会生活中也有很多概率现象也推动了概率论的发展。现在与概率论密切相关的学科有很多，比如物理、经济、计算机科学、自然科学、社会科学、信息学、通信工程、生物、气象等等。

AI的概率论

人工智能涉及到了数学的多个方面，主要包括线性代数、微积分、概率论、数理统计、最优化理论等等。可以说目前的AI是数学与计算机科学融合的产物，通过数学的方法来搭建模型，并通过数据和计算能力来驱动模型，从而让机器具备认识客观世界的能力。现在AI的主流还是机器学习和深度学习，其中也都涉及到概率论，往下了解。

image

深度学习中的概率计算

深度神经网络在输出时会使用一个似然函数，用来表示各个分类的概率，一般会使用softmax。softmax能使概率归一化，输出层中每个单元表示每个分类的概率值，加起来总和为1，且最大概率分类作为预测分类。神经网络会包含输入层和隐含层，最后通过softmax分析器就能得到不同条件下的概率，下图中是分为三个类别，最终会得到y=0、y=1、y=2的概率值。

softmax

深度学习的随机机制

除了前面说到的输出层softmax概率计算，深度学习中还有权重随机初始化和dropout机制涉及到随机问题。可以说深度神经网络在训练过程中参数的初始化是很重要的，它将可能影响到模型训练不了或者训练时间更长问题，比如权重全部初始化为0则会导致梯度下降失效，一般会使用正态分布对权重进行随机初始化。此外，训练过程中也会使用dropout机制来防止过拟合问题，它会随机使神经元失效，从而避免过拟合。

dropout

探索性分析及预处理

探索性数据分析及数据预处理会大量涉及概率统计方法，比如最简单的频率、众数、均值、中位数、偏差、方差、协方差、相关系数等等。而数据预处理时可能会进行归一化处理，还可能会修改样本的分布等等操作。

探索性分析

贝叶斯概率图模型

贝叶斯概率图模型可以说是AI的另外一个非常有活力的分支，虽然目前比起深度学习较少人关注，但它却是AI重要的方向。简单地说概率图模型是概率论与图论结合的一个方向，其中观测节点表示观测数据而隐含节点表示知识，边则表示知识与数据的关系，根据图结构得到概率分布来解决问题。常见的概率图模型包括最简单的朴素贝叶斯、最大熵模型、隐马尔可夫模型和条件随机场。

概率图

常见分布

了解常见分布将对我们构建优化AI模型时非常有帮助，下面是常见的分布。

伯努利分布，它是一个简单的分布，可能的结果只有两个值，就像抛一次硬币一样。硬币正面的概率为p，而硬币反面的概率为1-p。

伯努利分布

二项式分布，伯努利分布是二项式分布的特殊情况，当每次实验只抛一个硬币时则为伯努利分布。每次实验连续抛大于1次硬币，每次正面概率还是p，反面概率为1-p，比如每次实验抛4次硬币，即0次正面、1次正面、2次正面、3次正面、4次正面的概率分布，

二项式分布

多项式分布，是二项式分布的推广，二项式分布中可能的结果只有两项，而多项式分布中可能的结果有多项。比如掷骰子，它有6个面，每个面的概率都是1/6，所有概率加起来为1。如果每次实验掷2次骰子，即没有一次成功、只有1次成功、2次都成功的概率分布。

多项式分布

正态分布是很常见的连续型随机函数，也称为高斯函数，可以用均值和方差两个简单度量来定义。正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线。

正态分布