Poisson processes
泊松过程是事件在时间或空间中发生的简单模型：在一维中，它可以是汽车经过公路检查站；在二维中，是草地上的花朵；在三维中，是星系某个区域内的恒星。泊松过程是更复杂的时间和空间过程的首要构建模块，而这些过程是统计学的一个分支——空间统计学（spatial statistics）的焦点。
泊松过程在概率论中也非常有用，因为它们将许多命名分布联系在一起，并为一些原本推导过程乏味的结果提供了富有洞察力的故事证明。这引出了一种我们将要展示的新解题策略：即使一个问题没有提到泊松过程，有时也可以通过假定随机变量来自某个泊松过程，从而利用便利的泊松过程性质来解题。
在本章中，我们将回顾已经熟悉的一维泊松过程定义，推导并讨论一维泊松过程的三个重要性质，然后将这些性质扩展到更高维度的泊松过程。
Markov chain Monte Carlo
贯穿本书，我们已经看到模拟是概率论中一项强大的技术。如果你无法说服你的朋友在三门问题（Monty Hall problem）中换门是一个好主意，你可以在一秒钟内模拟玩几千次这个游戏，你的朋友就会看到换门的成功率约为 2/3。如果你不确定如何计算随机变量 \(X\) 的期望和方差，但你知道如何从该分布中生成独立同分布（i.i.d.）的抽取值 \(X_1, X_2, \dots, X_n\)，你可以使用模拟抽取值的样本均值和样本方差来近似真实的期望和真实的方差： \[ E(X) \approx \bar{X}_n = \frac{1}{n}(X_1 + \dots + X_n), \] \[ Var(X) \approx \frac{1}{n-1} \sum_{j=1}^{n} (X_j - \bar{X}_n)^2. \]
大数定律告诉我们，如果 \(n\) 很大，这些近似将会很好。通过增加 \(n\)，即仅仅通过让计算机运行更长时间（而不是不得不挣扎于一个可能无法处理的求和或积分），我们可以得到越来越好的近似。正如第 10 章所讨论的，这种通过生成随机值来近似某个数值的模拟方法被称为蒙特卡罗方法（Monte Carlo method）。
Markov chains
马尔可夫链由安德烈·马尔可夫（Andrey Markov，马尔可夫不等式的提出者）于 1906 年首次引入，其目标是证明大数定律同样适用于非独立的随机变量。
为了理解马尔可夫模型的由来，首先考虑独立同分布（i.i.d.）的随机变量序列 \(X_0, X_1, \dots, X_n, \dots\)，其中 \(n\) 代表时间。这是我们在第 10 章中一直采用的设定，但对于模拟现实世界的现象，独立性假设可能过于苛刻；它意味着 \(X_n\) 彼此之间完全不提供任何信息。在另一个极端，允许 \(X_n\) 之间存在任意的相互作用会使计算变得异常困难。马尔可夫链是一种表现出“一步相关性”的随机变量序列。因此，马尔可夫链是完全独立与完全相关之间的一个理想折中点。
自发明以来，马尔可夫链已在生物学、博弈论、金融、机器学习和统计物理等众多领域变得极其重要。它们还广泛用于通过被称为马尔可夫链蒙特卡罗（MCMC）的算法来模拟复杂分布。在本章中，我们将介绍马尔可夫链及其性质，并在下一章探讨一些 MCMC 技术的示例。
Inequalities and limit theorems
“如果我无法精确计算概率或期望，我该怎么办？”几乎每个使用概率论的人有时都必须处理这种情况。不要惊慌。有一些强大的策略可用：模拟它、界定它或近似它。
• 使用蒙特卡罗（Monte Carlo）进行模拟：我们已经在本书中看到了许多模拟的例子；R 语言部分提供了大量示例，其中几行代码和计算机上的几秒钟就足以获得良好的近似答案。“蒙特卡罗”仅仅意味着模拟使用了随机数（该术语起源于摩纳哥的蒙特卡罗赌场）。
蒙特卡罗模拟是一种极其强大的技术，在许多问题中，它是目前唯一可行的合理方法。那么，为什么不总是直接进行模拟呢？以下是几个原因：
Conditional expectation
既然你已经阅读了前面的章节，你已经知道什么是条件期望了：它就是期望，只不过使用了条件概率。这是一个至关重要的概念，其原因与我们需要条件概率的原因类似：
关于条件期望，有两个不同但又紧密联系的概念：
在本章中，我们将探索这两种形式的条件期望的定义、性质、直觉和应用。
transformations
本章的主题是随机变量和随机向量的变换。在对随机变量 \(X\) 或随机向量 \(\mathbf{X}\) 应用一个函数后，目标是找到变换后的随机变量的分布或变换后的随机向量的联合分布。
随机变量的变换在统计学中无处不在。以下是一些例子，用以预演本章将要探讨的各种变换。
Joint distributions
当我们最初在第3章介绍随机变量及其分布时，我们注意到两个随机变量各自的分布并不能告诉我们这两个随机变量是相互独立还是相关的。例如，如果两个 \(Bern(1/2)\) 随机变量 \(X\) 和 \(Y\) 分别表示两次不同硬币投掷的正面向上的情况，则它们可能是独立的；如果它们分别表示同一次硬币投掷的正面向上的情况和背面向上的情况，则它们是相关的。因此，尽管 \(X\) 的 PMF 是 \(X\) 的完整蓝图，\(Y\) 的 PMF 是 \(Y\) 的完整蓝图，但这些单独的 PMF 缺失了关于这两个随机变量如何关联的重要信息。
Moments
随机变量 \(X\) 的第 \(n\) 阶矩是 \(E(X^n)\)。在本章中，我们将探讨随机变量的矩如何揭示其分布的特征。我们已经看到前两阶矩非常有用，因为它们提供了均值 \(E(X)\) 和方差 \(E(X^2) - (EX)^2\)，这些是关于 \(X\) 的平均值及其分布离散程度的重要汇总信息。但分布的含义远不止于其均值和方差。
我们将看到，第三阶和第四阶矩告诉我们分布的非对称性以及尾部或极端值的行为，这两个性质是均值和方差无法捕捉到的。在介绍矩之后，我们将讨论矩生成函数 (MGF)，它不仅能帮助我们计算矩，还提供了一种有用的替代方法来指定一个分布。
Continuous random variables
到目前为止，我们一直在研究离散随机变量，其可能的值可以列成一张清单。在本章中，我们将讨论连续随机变量，它们可以取区间内的任何实数值（区间长度可能是无限的，例如 \((0, \infty)\) 或整个实数轴）。首先，我们将考察连续随机变量的普遍性质。然后，我们将介绍三种著名的连续分布——均匀分布（Uniform）、正态分布（Normal）和指数分布（Exponential）——它们除了拥有各自重要的背景故事外，还作为许多其他有用的连续分布的构建基石。
Expectation
Definition of expectation
在上一章中，我们引入了随机变量的分布，它为我们提供了随机变量落入任何特定集合概率的完整信息。例如，我们可以计算随机变量超过 1000、等于 5 或落在区间 \([0, 7]\) 内的可能性有多大。然而，管理这么多概率可能会非常笨拙，因此我们通常只需要一个数字来总结随机变量的“平均”值。
“平均”这个词有多种含义，但到目前为止最常用的是随机变量的均值（mean），也称为其期望值（expected value）。此外，统计学很大程度上是关于理解世界中的变异性，因此了解分布的“离散程度”通常也很重要；我们将通过方差（variance）和标准差（standard deviation）的概念将其正式化。正如我们将看到的，方差和标准差是根据期望值定义的，因此期望值的用途远不止计算平均数。