关于概率论主干课程的训练 | 统计之都

虽然外界不大能区分 “概率论” 和“统计学”的差别，但是在概率统计专业内的人士们看来，这两者无论从思维方式、课程学习还是学术训练角度来看，区别还是相当明显的。比如我了解的北大概率统计系的情况，概率论和数理统计分属不同的教研室，日常的学术活动也大相径庭。研究生除了第一年会一起上专业基础课之外，之后就少有交集。我当年的体会是，在统计专业同学们的眼中，“概率论跟基础数学没有什么区别”；而在概率专业的同学看来，“统计学不像是数学”。这些对彼此颇为玩味的看法至少表现出二者之间不小的差别，即便同在 “概率统计专业” 的屋檐下。当然，随着统计学在我国逐步确立为一级学科，概率和统计的这种 “隔阂” 也许会更加明朗化。

但不可否认的是，无论统计学的未来如何发展，其主干课程中必然少不了像概率论、随机过程这样的概率基础课程。以前我在科学网上针对概率论专业的同学如何选择和学习课程发表过一些建议，因此针对咱们 COS 读者的背景，我重新整理了一份关于概率课程学习的若干想法，希望能对大家有所帮助。

2. 概率论要怎么学？

都说概率论是研究 “随机现象” 的数学，那么相对于研究 “非随机现象” 的数学，概率论的学习有哪些特别之处呢？

小时候咱们学数学都是从数数开始。比如学习 1+1 的时候，老师们会拿出两个苹果，用实物演示 “一个苹果加一个苹果等于两个苹果”。正是这种基于直截了当的“观测”，我们接受起“1+1=2” 这件事来就略显自然。然而，如果要理解 “质地均匀的硬币出现正反面的可能性都等于二分之一” 这件事，就并非那么顺利了。即便主观上我们会认同这个结果，但从观测的角度却是一个永远无法回答的问题。我们能观测的只能是有限的样本以及永远都在变化着的频率，而这个 “真实的可能性”，也即“概率” 的确切值，却是无法观测的。因此，概率的定义本身就曾经是一个大难题。即便在早年研究赌博问题的时候，一些数学家即能根据排列组合的方法计算一些简单的离散概率（即大家熟知的古典概型），但那主要是基于人们对概率的一些朴素认识，离构建一套完整的数学理论还差得很远。

因此，大家在学习概率论的时候，最先遇到、也是最重要的一个问题就是 “如何定量描述随机现象”，即如何给出概率的定义。随着二十世纪 30 年代苏联数学家柯尔莫哥洛夫(1903-1987) 运用分析学中的测度理论(measure theory) 完成了概率论的公理化体系，概率论才算正式登上了现代数学的殿堂。事实上，柯尔莫哥洛夫的公理化体系并未直面 “概率是什么” 的问题，到现在人们对于概率在哲学层面的思辨仍然在进行，但是公理化的作用是将人们对于概率的一些朴素共识或者基本性质抽象出来，形成一套公理体系，然后依据这套体系逐步发展出一套概率理论。这种思维跟当年德国数学家希尔伯特 (1862-1943) 所倡导的公理化思想是相一致的。值得一提的是，自打柯尔莫哥洛夫的概率公理化提出以来，对其的质疑从来就没有停止过，也不断有新的概率理论被提出，但这套理论依旧成为了概率研究的绝对主流，我们这里所谈到的概率论的学习也是指以柯尔莫哥洛夫公理化体系为基础的概率理论。

然而，在本科阶段我们学习概率论课程的时候，却往往不是从介绍柯尔莫哥洛夫的公理化体系开始。这主要是因为，要用严格的数学充分阐释概率论的公理化体系，必须要有测度论的数学基础。而测度论的课程难度很大，基本要在研究生阶段或者本科的高年级阶段才能开设。那是否要等大家学完了测度论之后再学概率论的课程呢？当然不是，就我了解全世界没有哪个国家和地区的学校会这么做。普遍的做法是在大学二年级就会开设初等概率论的课程，所适用的教材也大多基于微积分和线性代数的先修知识。这又是为什么呢？在由美国概率学家 Rick Durrett 教授所著的研究生教材 Probability: Theory and Examples 的前言部分，他提到概率论有两只手，左手是基于测度论的严格数学，右手则是概率的思考方法，也可以理解成概率的物理直观。

虽然测度论是概率论的基本数学语言，但如果真把概率论就当做测度论的一部分去学习，就只抓住了概率论两只手中的一只，而忽略了另一只联系物理直观的右手。而这只右手恰恰是概率论在现代数学之林中最难能可贵的地方。一直以来，概率论都保持了与包括物理学在内的科学领域的亲近，几乎所有的概率研究课题背后都有实际背景问题的支撑：例如离散空间随机游动问题与理论计算机、化学高分子聚合物理论；大偏差理论、粒子系统与统计物理、复杂性科学等等之间的密切联系，都极大推动了概率论这门科学的不断发展。同时，概率论的发展也得到了来自社会科学领域的刺激，特别是以随机微分方程为代表的随机分析学已经成为了数理金融领域中的基本理论和工具之一。更有趣的是，借助概率论广泛联系物理直观的特点，很多数学家纷纷借助概率论的思想帮助解决了一系列传统数学中的很多重大问题，例如当年佩雷尔曼在解决庞加莱猜想的论证过程中即用到了概率论中条件期望的想法。

因此，为了尽早让大家了解概率论所联系的物理直观以及巨大的应用价值，学校会提早开设本科概率论的课程。本科课程会尽量回避测度论，用一些仅需用微积分和线性代数就讲明白的模型，引入概率论的基本概念，培养大家的概率直观，并熟悉一些基本运算。经过了这一阶段的训练，待到本科高年级或者研究生阶段，再借助测度论的基础，进一步明确概率论的数学理论，从而迈入现代概率论的门槛。

下面我们就来具体聊聊本科和研究生的课程学习：

2.1 本科阶段准备

正如刚才所言，本科概率论的重点在于培养概率直观，理解概率基本概念的实际意义，同时通过一些具体模型的学习，熟悉一些基本的概率运算。

从课程设置来看，以往对于本科概率论的要求只是学好《初等概率论》这门课，一般也简称《概率论》。但是随着随机过程这门课越来越受重视，各大高校也纷纷在本科高年级阶段开设《应用随机过程》这门课。被冠以 “应用” 二字，主要是考虑到本科阶段学习的特点，了解随机过程的应用背景对初始学习这门课程是很有帮助的，很多本科阶段的随机过程教材都注意到了这一点。

关于初等概率论。一般来说，初等概率论会涉及如下主要内容：

1. 概率定义的引入。首先通过如 “古典概型”、“几何概型” 等具体模型，了解一些朴素的概率思想。接着就会逐步引入概率的公理化定义。由于这个阶段没有测度论的数学基础，只能比较粗浅的讲一点 “概率空间” 的内容，并不涉及精细的可测空间的内容。在这一部分，还会介绍条件概率，独立性，全概率公式以及贝叶斯公式的基本内容。
2. 随机变量及其概率分布。由于 “可测性” 等基本概念的缺乏，虽然会给出随机变量的一般定义，但通常并不是特别强调这一点，重点会放在介绍离散型和连续性随机变量的分布上，例如两点分布 (也叫贝努利分布)，二项分布，泊松分布，几何分布，均匀分布，指数分布以及正态分布等等。类似单变量微积分和多变量微积分，这部分除了涉及一维随机变量，也会有高维随机变量，也称作随机向量。随之会衍生出联合分布、边缘分布以及条件分布的概念。这一部分还有一块重要内容叫做“随机变量函数的概率分布”，即对于随机变量 XX，考虑 f(X)f(X) 分布的求解方法，其中 $f$ 是一个函数。
3. 数字特征。一般来说，随机变量的数字特征包括数学期望，方差，协方差，相关系数，条件期望以及母函数和特征函数等。要掌握并会求解一些重要概率分布的数字特征。
4. 极限定理。包括大数定律和中心极限定理。这部分内容是概率论中最具有 “统计” 思想的部分，并且它们也确实对后来的数理统计学的学习具有很重要的意义。

关于本科概率论的国内外教材非常多，个人推荐几本教材，供大家参考：

• 李贤平， 概率论基础， 高等教育出版社。
• 汪仁官， 概率论引论， 北京大学出版社。
• 杨振明， 概率论， 科学出版社。

必须指出的是，因为本科概率论的课程内容已经非常成熟，刚才列举的教材都是非常优秀的国内教材，大家不必迷信国外教材。如果想读一点国外学者的著作，除了钟开莱 (Chung Kai-lai) 先生的《初等概率论》(Elementary Probability Theory)，个人也很推崇 W. Feller 的经典著作《概率论及其应用》(An Introduction to Probability Theory and Its Applications)。这本书分上下册，涵盖的内容非常之多，并不适合作为教材使用，但作为参考书作为课下阅读甚好，是培养概率直观的绝佳读物。

关于应用随机过程，这门课的内容比较多元化，各大高校纷纷根据自己的实际需求开设这门课。例如一些偏重工科背景的高校，在这门课中会加入平稳过程谱分析方面的内容。还有像时间序列的部分内容也会加入其中，而在很多综合性高校的概率统计系，时间序列分析则是单独的一门课。因此，个人觉得这门课最基本也最重要的部分是马氏链 (Markov Chain)，如果想更多了解具有数理金融背景的内容，建议可以再重点学一下鞅论和布朗运动 (Brownian motion)。

1. 马氏链。马氏链实际包括离散时间马氏链和连续时间马氏链。由于测度论还没有学，一些定理结论无法给出严格证明，但这并不妨碍大家理解马氏链的物理直观。其中关于常返性以及不变分布等问题是本课程最核心的议题。作为马氏链最重要的一些模型，大家注意学习简单随机游动 (simple random walk)，分枝过程(branching process)，泊松过程(poisson process) 以及生灭过程(birth-death process)。作为实际应用还可以了解一点排队过程。
2. 鞅论以及布朗运动。鞅论是随机过程理论中非常重要的部分，现代对它的兴趣很多是出于它在数理金融研究中的基础地位。布朗运动是一种具有非常好的性质的过程，也是学习随机分析学的入门基础。它的重要性是被广泛认可的，关于布朗运动的内容也是随机过程中最为丰富的部分之一。

关于应用随机过程的教材也越来越多，个人推荐的如下教材主要偏重概率统计专业的需求，侧重于工程应用的随机过程教材不在此列：

• 钱敏平，龚光鲁，应用随机过程，北京大学出版社。
• 张波, 张景肖，应用随机过程，清华大学出版社。
• 林元烈，应用随机过程，清华大学出版社。
• 钱敏平，龚光鲁，陈大岳，章复熹，应用随机过程，高等教育出版社。
• S. M. Ross, Stochastic Processes. Wiley.
• S. Karlin and H. M. A. Taylor, A First Course in Stochastic Processes. Academic press.
• P. Bremaud, Markov Chains, Gibbs Fields Monte Carlo Simulation, and Queues. Springer-Verlag.

另外，随着随机微分方程理论在金融业的大量应用，在本科阶段开设随机分析学的需求比过去强烈很多。但是要想在回避测度论的前提下把随机微分方程的内容讲明白是一件特别困难的事情。可喜的是，我们发现龚光鲁教授已经在这方面做出了大胆尝试，详见其著作《随机微分方程及其应用概要》。国外方面，T. Mikosch 编写的 Elementary Stochastic Calculus 也可以参考。

至于说本科阶段是否需要学习测度论？国内在本科阶段单独开设测度论的学校非常少，据我所知只有北大数学学院是这样做，大多数高校是将测度论与高等概率论合成一门研究生概率论课程。当然，有了实变函数课程的训练，测度论的相当一部分内容其实是能够理解的。但这里我们仍然倾向把测度论看成研究生概率论课程的一部分来讲。

2.2 研究生阶段学习

关于研究生阶段的概率论主干课程，说得简单一些，就是在测度论的基础之上，将本科学过的内容重新梳理，逐步加深。先前也提到过，在没学测度论的时候，很多基本的概率概念和定理的数学论证是没有办法严格给出的，相应地很多内容没有办法讲透。因此，大致上研究生阶段的概率课程应包括《高等概率论》（测度论穿插其中学习），《随机过程论》以及《随机分析》这三门课。

关于高等概率论：

1. 测度论。首先，我想尝试从概率论的需求角度，谈谈测度论大致要学些什么？大家知道，概率论本质上是对随机事件的发生可能性赋以一种合理的度量。那么，在数学上我们要将 “事件” 这个概念抽象化，这就是为什么我们要从 “集合论” 讲起，利用集合论的语言，我们把事件表示成某个集合中的子集而已。进一步，对于事件我们总免不了要进行一些运算，这时就有必要考虑由这些事件组成的集合，即集合的集合，在测度论中叫做集合类。随后，就是要对事件进行度量，也就是赋以相应的概率测度。这当中有很多技术细节，主要是围绕如何在一个空间中构造测度来进行的。总之，测度论的第一步就是要把测度空间建立起来，从而定义概率空间。测度论后面的内容，我们大致可以这样理解：由于概率论要考虑随机变量，所以引入可测函数的概念；由于要考虑期望等数字特征，所以引入测度积分的概念；由于要考虑条件期望，所以要学符号测度和 R-N 导数的概念；由于要考虑多维随机变量、联合分布以及独立性等问题，所以要引入乘积空间的概念。所以，测度论的概念在概率论中都有相应的内容。因此，一方面，我们说测度论为概率论提供了严格的数学语言，另一方面，概率论也让测度论变得越发生动。
2. 极限理论。概率论中的极限理论内容很多，其中很多部分也是现代测度论的核心内容。从概率的角度来看，概率的极限理论大致分为以中心极限定理为代表的 “弱收敛” 理论和以大数定律为代表的 “强收敛” 理论。不同的教材在这部分的处理上各有侧重。个人的建议对于大多数 COS 的读者，还是应该侧重有概率背景的相关内容。

具体到教材部分：

偏重介绍测度论知识的教材有

• P. R. Halmos, Measure Theory(影印版), 世界图书出版社. （测度论经典教材）
• 严加安，测度论讲义，科学出版社。

将测度论与概率论结合起来的教材有

• 钟开莱，概率论教程 (影印版)，机械工业出版社。(经典的研究生概率论教材)
• P. Billingsley, Probability and Measure(影印版), 世界图书出版社.
• A. N. Shiryaev. Probability(影印版), 世界图书出版社.
• 汪嘉冈，现代概率论基础，复旦大学出版社。
• 严士健，刘秀芳，测度与概率，北京师范大学出版社。
• 程士宏，测度论与概率论基础，北京大学出版社。

关于随机过程论：如果说本科应用随机过程是以学习马氏链和布朗运动这样的具体模型为主，那么在有了测度论的基础之后，在随机过程论的学习过程中，一方面我们要更加深入地学习像马氏链、跳过程和布朗运动这样的模型；另一方面也会接触到随机过程的一些一般性理论，例如以马氏半群理论为代表的马氏过程构造性理论，鞅论 (martingale)，平稳过程以及遍历论(ergodic theory) 等内容。有些教材也会把随机分析的若干内容放到随机过程论的课程当中。

国内编写的随机过程论方面的教材比较少，用得比较多的有钱敏平和龚光鲁合著的《随机过程论》。国外方面，这部分教材大致分为前苏联和美国两派。前苏联的教材体系完备，论证缜密；美国的教材一般会更活泼生动一些。

• R. Durrett, Probability: Theory and Examples(影印版), 世界图书出版社. (在美广泛流行的教材，前半部分是概率论，后半部分是随机过程论)

• 布林斯基, 施利亚耶夫, 随机过程论 (中译本), 高等教育出版社. (前苏联经典教材)
  关于随机分析学：随着它在金融学当中日益广泛的应用，开设这门课的高校越来越多，所以选修这门课的同学当中，一般以上可能是金融数学专业的研究生。随机分析这门课，主要是学习随机积分 (特别是 Ito 积分)，进而学习随机微分方程。这部分应该是概率论所有领域当中理论发展最为完备的分支，非常偏重分析学的风格。学习过程中，在大家正式接触其核心内容（Ito 积分和随机微分方程）之前，教材一般要做很多理论上的铺垫。这个过程有点类似于咱们学定积分，在利用牛顿莱布尼茨公式计算定积分之前，要花很多功夫在引入黎曼积分的定义上。所以一开始学的时候会略显枯燥，慢慢地接触到其核心部分之时，会领略这套理论的美妙。

  教材方面，最流行的当属

  • B. φKsendal, Stochastic Differential Equations(影印版), 世界图书出版社.

  另外，一些金融数学家编写的教材也很优秀，包括

  • I. Karatzas and S. E. Shreve, Brownian Motion and Stochastic Calculus(影印版), 世界图书出版社.

  国内方面的教材很少，比较常用地有龚光鲁编写的《随机微分方程引论》。

  总而言之，关于概率论课程的训练，一方面是基于概率论公理化方面的数学训练，另一方面通过对具体概率模型的演算和掌握，加深对概率论物理直观的理解。当然，即便是同为统计学专业的同学，不同的发展需求决定了学习的目的和内容，立志要在 Annals of Statistics 上发表好文章和希望进入统计局工作的同学，自然会在概率课程的学习中各有侧重。更重要的是，现在谁都很难估计统计学会以什么样的路径发展。时光倒流 30 年，概率课程毫无疑问是统计学最核心的基础课程。现在，随着人们对数据的需求和认识逐渐发生根本性的转变，高通量高维数据的不断产生对传统统计思维和方法提出严峻挑战，我们已经看到有大量其它数学分支的研究成果被用于高维数据的处理和分析问题当中。但我相信，既然本质上概率论和统计学都在共同关注随机现象，共同面对 “观测” 所带来的困境，二者唇齿相依的关系就不会动摇。

敬告各位友媒，如需转载，请与统计之都小编联系（直接留言或发至邮箱：[email protected]），获准转载的请在显著位置注明作者和出处（转载自：统计之都），并在文章结尾处附上统计之都微信二维码。

← 第五届中国 R 语言会议通知 因果推断简介之四：观察性研究，可忽略性和倾向得分 →

发表 / 查看评论