Math 525: Probability

1 basic combinatorics and probability space

1.1 permutations and combinations

1.1.1 permutations

Definition 1.1 : permutations

一个 permutation 就是对一组 objects 的一个 rearrangement (这些 objects 中可以有 same 的也可以有 distinct 的).
对于 $𝑛$ 个 distinct objects, 一共存在

𝑛! = 𝑛 (𝑛 - 1) (𝑛 - 2) \dots

个 permutations.

Example 1.1

求 "STATISTICS" 的 # distinct permutations.

Solution

这里一共有 10 个 objects. 但问题是: 其中有 3 个 $𝑆$ , 3 个 $𝑇$ , 2 个 $𝐼$ 是相同的.
于是: 我们首先假设它们都是 distinct 的, 则存在 $10!$ 个 permutations. 而, 每个 permutation 都包含了对 3 个 $𝑆$ 的一个子 permutation. 而对 3 个 $𝑆$ 的任意 permutation 都是相同的! 同样的道理 apply to 3 个 $𝑇$ 和 2 个 $𝐼$ .
所以这个结果是真实结果的 $3! 3! 2!$ 倍.
同样地, 由于因而, 正确结果是:

\frac{10!}{3! 3! 2! 1! 1!}

1.1.2 combinations

Definition 1.3 : combinations

一个 combination 就是从一个 set 中选取若干个 elements, 而忽略它们的顺序.

Proposition 1.2

从 $𝑛$ 个 distinct objects 中选取 $𝑘$ 个的 combinations 的数量为:

(\binom{𝑛}{𝑘}) = \frac{𝑛!}{𝑘! (𝑛 - 𝑘)!}

Proof

我们可以将问题转化为: 从 $𝑛$ 个 distinct objects 中选取 $𝑘$ 个的 permutations 的数量, 然后再除去重复的 permutations. 而, 从 $𝑛$ 个 distinct objects 中选取 $𝑘$ 个的 permutations 的数量为:

𝑛 \times (𝑛 - 1) \times \dots \times (𝑛 - 𝑘 + 1) = \frac{𝑛!}{(𝑛 - 𝑘)!}

而其中, 对于每个 valid combination, 都包含了它的所有 ordered permutations, 即重复了 $𝑘!$ 次. 因此, 最终的结果为:

\frac{𝑛!}{𝑘! (𝑛 - 𝑘)!}

□

1.1.3 binomial theorem

Theorem 1.1 : Binomial Theorem

令 $𝑥, 𝑦 \in ℝ, 𝑛 \in ℕ$ , 则有:

(𝑥 + 𝑦)^{𝑛} = \sum_{𝑘 = 0}^{𝑛} (\binom{𝑛}{𝑘}) 𝑥^{𝑛 - 𝑘} 𝑦^{𝑘}

Proof

我们可以 prove this by combiinatorial interpretation. 因为把 $𝑥 + 𝑦$ 展开即 $𝑛$ 个 $(𝑥 + 𝑦)$ 的乘积. 即: 对于每个被乘项, 我们都是在 $𝑥$ 和 $𝑦$ 之间选择一个.
因而: $𝑥^{𝑘} 𝑦^{𝑛 - 𝑘}$ 的系数就是从 $𝑛$ 个 $(𝑥 + 𝑦)$ 中选取 $𝑘$ 个 $𝑥$ 的 combinations 的数量, 即 $(\binom{𝑛}{𝑘})$ .
考虑所有的 possible $𝑘$ 值, 我们得到:

(𝑥 + 𝑦)^{𝑛} = \sum_{𝑘 = 0}^{𝑛} (\binom{𝑛}{𝑘}) 𝑥^{𝑛 - 𝑘} 𝑦^{𝑘}

这是 combinatorial 的 proof.

□

另外一种更轮椅的思路是 prove by induction. 这需要一个辅助的 proposition:

Proposition 1.3

(\binom{𝑛}{𝑘}) = (\binom{𝑛 - 1}{𝑘 - 1}) + (\binom{𝑛 - 1}{𝑘})

这个等式的 combinatorial interpretation 很 trivial: 对于其中的任意一个 object:

这个 object 被选中的情况, combinations 的数量: $(\binom{𝑛 - 1}{𝑘 - 1})$ (从其他里面选 $𝑘 - 1$ 个);
这个 object 不被选中的情况, combinations 的数量: $(\binom{𝑛 - 1}{𝑘})$ (从其他里面选 $𝑘$ 个).

Example 1.2

一个 52-card deck, 取 5 张随机牌, 我们获得:

4 张同 rank 的牌, 最后一张不同 rank 的牌
a full house (3 张同 rank 的牌, 2 张同 rank 的牌)

的概率是多少?

Solution

一共有 $(\binom{52}{5})$ 种取法. 取 4 张同 rank 的牌: 13 种取法. 取最后一张不同 rank 的牌: 52-4 = 48 种取法. 因而, 概率是:

\frac{13 \times 48}{(\binom{52}{5})}

如果是取 3 张同 rank 的牌 + 两张 different 同 rank 的牌: 我们首先在 4 个花色里面选 3 个, 有 $(\binom{4}{3})$ 种取法.
因而选取 3 cards of the same rank 的数量为: $13 \cdot (\binom{4}{3})$ .
然后选取剩余的两张: 然后故技重施, 从剩下的 12 个 rank 里面选 1 个, 而选择它们的花色有 $(\binom{4}{2})$ 种取法. 因而, 概率是:

\frac{13 \cdot (\binom{4}{3}) \cdot 12 \cdot (\binom{4}{2})}{(\binom{52}{5})}

Example 1.3

我们有 $𝑛$ 把钥匙, 其中有一把是正确的. 尝试 $𝑘$ 次, 能够成功开门的概率是多少?

Solution

一共有 $𝑛!$ 种钥匙的 permutations. 我们需要的情况: 正确的钥匙出现在前 $𝑘$ 个位置:

正确钥匙出现在第 $1$ 个位置, 其他 $𝑛 - 1$ 随便排列: $\cdot (𝑛 - 1)!$ 种
$\dots$
正确钥匙出现在第 $𝑘$ 个位置, 其他 $𝑛 - 1$ 随便排列: $𝑘 \cdot (𝑛 - 1)!$ 种

因而正确的 permutations 的数量为:

𝑘 \cdot (𝑛 - 1)!

因而, 概率是:

\frac{𝑘 \cdot (𝑛 - 1)!}{𝑛!} = \frac{𝑘}{𝑛}

Remark

正确钥匙出现在每个位置上的概率都是 $1 / 𝑛$ . 因而它出现在前 $𝑘$ 个位置的概率就是 $𝑘 / 𝑛$ .
这是一类典型的问题: 不放回的抽取. 在只关心"是否在前 $𝑘$ 次成功"这一事件时, 这个过程等价于"正确钥匙在一个随机排列中的位置". 这一结果只和比例有关, 与过程细节无关. 只要没有信息bias, 没有偏好, 完全随机, 那么成功概率只取决于:

你允许的尝试次数 $𝑘$
总可能性数 $𝑛$

而如果是放回则是不同的情况. 通过补事件容易得:

ℙ (𝐴) = 1 - {(1 - \frac{1}{𝑛})}^{𝑘}

放回和不防回最大的区别是: 放回时, 每次尝试都是独立的, 而不放回时, 每次尝试都不是独立的. 最明显的例子就是, 如果不放回, $𝑘 = 𝑛$ 时概率为 1. 而如果放回, 不论 $𝑘$ 有多大, 概率都小于 1; 当 $𝑘 ≪ 𝑛$ 的时候, 这两个概率相近 (符合直觉, 因为 $𝑛$ 很大时放回和不放回几乎没区别.)

Example 1.4

一个篮子里有 $10$ 个 red balls 和 $5$ 个 blue balls. 我们随机从中取出 $3$ 个 balls, exactly 其中 $1$ 个是 blue ball 的概率是多少? 如果每次都放回呢?

Solution

不放回:

ℙ (exactly one blue ball) = (\binom{10}{2}) (\binom{5}{1}) (\binom{15}{3}) = \frac{45}{91}

放回: 5 ways to choose the blue ball, 10 ways to choose the red ball, 以及 3 positions to place the blue ball,

ℙ (exactly one blue ball) = 3 \cdot \frac{3 \cdot 10^{2}}{15^{3}}

1.1.4 combinations with repetition

Definition 1.4 : combinations with repetition

一个 combination with repetition 就是从一个 set 中选取若干个 elements, 而忽略它们的顺序, 并且允许重复选取.

Proposition 1.4

从 $𝑛$ 个 distinct objects 中选取 $𝑘$ 个的 combinations with repetition 的数量为:

(\binom{𝑛 + 𝑘 - 1}{𝑘})

Proof

这个问题比较巧妙. 我们上面错误的尝试已经表明: 用 "make copies" 的方法行不通. 我们需要变换一下思路. 原问题是 "要选哪几个元素, 每个元素要选几个". 而我们可以把这个问题理解为: 一共有 $𝑘$ 个位置, $𝑛$ 个组, 我们给每个组分配多少个位置?
Formalize 这个想法即: 对于第 $𝑖$ 个 object, 我们给它分配 $𝑥_{𝑖}$ 个位置. 所有满足条件的 combinations 可以 represent by:

{𝑦 = (𝑥_{1}, 𝑥_{2}, \dots, 𝑥_{𝑛}) \in ℤ_{\geq 0}^{𝑛} : 𝑥_{1} + 𝑥_{2} + \dots + 𝑥_{𝑛} = 𝑘}

到这里我们想到一个经典的问题: stars and bars. 即: 把 $𝑘$ 个星星分成 $𝑛$ 个组, 每个组至少有 1 个星星. 这个问题等价于: 把 $𝑘$ 个星星和 $𝑛 - 1$ 个隔板排成一排, 然后选择 $𝑛 - 1$ 个隔板的位置.
问题是: 我们这里, 一个组可以有 $0$ 个 stars; 但是这是小问题. 因为我们可以 set $𝑥_{𝑖}^{'} = 𝑥_{𝑖} + 1$ , 问题等价转化为:

{𝑦 = (𝑥_{1}^{'}, 𝑥_{2}^{'}, \dots, 𝑥_{𝑛}^{'}) \in ℤ_{\geq 1}^{𝑛} : 𝑥_{1}^{'} + 𝑥_{2}^{'} + \dots + 𝑥_{𝑛}^{'} = 𝑘 + 𝑛}

这就强制每个组至少有一个 star, 于是可以使用 stars and bars 的方法来解决. 即: 用 $𝑛 - 1$ 个隔板隔开 $𝑘 + 𝑛$ 个星星 (有 $𝑘 + 𝑛 - 1$ 个空档). 因而, 满足条件的 combinations 的数量为:

(\binom{𝑘 + 𝑛 - 1}{𝑛 - 1}) = (\binom{𝑘 + 𝑛 - 1}{𝑘})

□

Example 1.5

有 5 种口味的 ice creams. 一个人随机选择 20 个 scoops. 求: 每种口味至少被选中一次的 probability.

Solution

即从 $5$ 种口味中选取 $20$ 个 combinations with repetition. 于是 sample space 的大小: $(\binom{25 - 1}{20})$ .
而满足条件的 combinations: 即每种口味我们都预选一个. 然后再从 $5$ 种口味中选取 $15$ 个 combinations with repetition.

ℙ (each flavor is selected at least once) = \frac{(\binom{19}{15})}{(\binom{24}{20})} = \frac{(\binom{24}{20})}{(\binom{24}{20})}

1.1.5 inclusion-exclusion principle

Proposition 1.5 : inclusion-exclusion principle

如果 $Ω$ 是 measure space 意义下的一个 finite measure space, 那么对于任意 $𝐴_{1}, \dots, 𝐴_{𝑛} \subseteq Ω$ 的, 有:

| \cup_{𝑖 = 1}^{𝑛} 𝐴_{𝑖} | = \sum_{𝑖 = 1}^{𝑛} | 𝐴_{𝑖} | - \sum_{𝑖 < 𝑗} | 𝐴_{𝑖} \cap 𝐴_{𝑗} | + \sum_{𝑖 < 𝑗 < 𝑘} | 𝐴_{𝑖} \cap 𝐴_{𝑗} \cap 𝐴_{𝑘} | - \dots + (- 1)^{𝑛 + 1} | 𝐴_{1} \cap \dots \cap 𝐴_{𝑛} | .

Example 1.6

(Divisibility) 令 $𝑛 \in ℕ$ , 我们随机取一个 $𝑥 \in {1, 2, \dots, 𝑛}$ , 求 $𝑥$ is divisible by 2 or 3 or 5 的概率.

Solution

令 $𝐴_{2}, 𝐴_{3}, 𝐴_{5}$ 为 $𝑥$ 是 2, 3, 5 的倍数的 events. 即:

𝐴_{𝑖} = {𝑘 \in {1, 2, \dots, 𝑛} ∣ 𝑘 is divisible by 𝑖}

于是我们要计算的是:

\begin{aligned} ℙ (𝐴_{2} \cup 𝐴_{3} \cup 𝐴_{5}) & = ℙ (𝐴_{2}) + ℙ (𝐴_{3}) + ℙ (𝐴_{5}) - ℙ (𝐴_{2} \cap 𝐴_{3}) - ℙ (𝐴_{2} \cap 𝐴_{5}) - ℙ (𝐴_{3} \cap 𝐴_{5}) + ℙ (𝐴_{2} \cap 𝐴_{3} \cap 𝐴_{5}) \\ = \frac{⌊ \frac{𝑛}{2} ⌋ + ⌊ \frac{𝑛}{3} ⌋ + ⌊ \frac{𝑛}{5} ⌋ - ⌊ \frac{𝑛}{6} ⌋ - ⌊ \frac{𝑛}{10} ⌋ - ⌊ \frac{𝑛}{15} ⌋ + ⌊ \frac{𝑛}{30} ⌋}{𝑛} \end{aligned}

Example 1.7 : (matching problem)

假设有 $𝑛$ 个人参加一个 event, 每个人都上交了一顶帽子; 现在再把帽子随机地发给每个人, 求没有人拿回自己的帽子的概率.

Solution

令 $𝐴_{𝑖}$ 为第 $𝑖$ 个人拿回自己的帽子的事件. 则我们要求的概率是: $ℙ (⋂_{𝑖 = 1}^{𝑛} 𝐴_{𝑖}^{𝑐})$ .

\begin{aligned} ℙ (⋂_{𝑖 = 1}^{𝑛} 𝐴_{𝑖}^{𝑐}) & = ℙ ((⋃_{𝑖 = 1}^{𝑛} 𝐴_{𝑖})^{𝑐}) \\ = 1 - ℙ (⋃_{𝑖 = 1}^{𝑛} 𝐴_{𝑖}) \\ = 1 - \frac{| ⋃_{𝑖 = 1}^{𝑛} 𝐴_{𝑖} |}{𝑛!} \end{aligned}

由于:

\begin{aligned} | ⋃_{𝑖 = 1}^{𝑛} 𝐴_{𝑖} | & = \sum_{𝑖 = 1}^{𝑛} | 𝐴_{𝑖} | - \sum_{𝑖 < 𝑗} | 𝐴_{𝑖} \cap 𝐴_{𝑗} | + \sum_{𝑖 < 𝑗 < 𝑘} | 𝐴_{𝑖} \cap 𝐴_{𝑗} \cap 𝐴_{𝑘} | - \dots + (- 1)^{𝑛 + 1} | 𝐴_{1} \cap \dots \cap 𝐴_{𝑛} | \\ = (\binom{𝑛}{1}) (𝑛 - 1)! - (\binom{𝑛}{2}) (𝑛 - 2)! + (\binom{𝑛}{3}) (𝑛 - 3)! - \dots + (- 1)^{𝑛 + 1} \\ = 𝑛! \sum_{𝑘 = 1}^{𝑛} (- 1)^{𝑘 - 1} \frac{1}{𝑘!} \end{aligned}

我们可以得到:

ℙ (⋂_{𝑖 = 1}^{𝑛} 𝐴_{𝑖}^{𝑐}) = \sum_{𝑘 = 2}^{𝑛} \frac{(- 1)^{𝑘}}{𝑘!}

1.2 probability space

我们这里跳过所有 measure theory 的内容, 见 notes on measure theory.

Definition 1.5 : probability space , probability measure , sample space , event space

按 measure space 的定义, 一个 probability space 是三元组 $(Ω, ℱ︀, ℙ)$ , 其中 $ℙ (\emptyset) = 0, ℙ (Ω) = 1$ .
对于这样的 measure $ℙ$ , 我们称之为 probability measure (概率测度, 即概率).
而这里的 $Ω$ 我们称之为 sample space (样本空间); 这里的 $𝜎$ -algebra $ℱ︀$ , 我们称之为 event space (事件空间).
任意的 $𝐴 \subset Ω$ 都是一个 event, 但是概率论中只考虑 $𝐴 \in ℱ︀$ , 即 measurable event. 为简化, event 这个单词就指 measurable event.

Remark

回顾一下 measure space 的定义:

一个 set $Ω$ 的一个 $𝜎$ -algebra 就是一个包含空集的子集簇, 其 closed under countable unions and complements. (如果只 closed under finite unions, 则只称为一个 algebra.)
一个 Borel algebra 是一个定义在 topological space 上的 $𝜎$ -algebra, 由 all open sets 生成. (因而: closed under countable unions and complements.) $ℝ$ 的 Borel algebra 可以由 all open intervals 生成.
一个 measure on a measurable space $(Ω, ℱ︀)$ 就是一个从 $ℱ︀ \to ℝ$ 的函数, 满足 countable additivity.
measure 的性质: (1)non-negativity, (2) monotonicity, (3) countable subadditivity, (4) inclusion-exclusion principle (上节已讲), (5) continuity from below and above. 第 (5) 条具体即: For measurable sets $𝐴_{1} \subseteq 𝐴_{2} \subseteq \dots \subseteq 𝐴_{𝑛} \subseteq \dots$ , then ${lim}_{𝑛 \to \infty} ℙ (𝐴_{𝑛}) = ℙ (⋃_{𝑛 = 1}^{\infty} 𝐴_{𝑛})$ .
For measurable sets $𝐴_{1} \supseteq 𝐴_{2} \supseteq \dots \supseteq 𝐴_{𝑛} \supseteq \dots$ , then ${lim}_{𝑛 \to \infty} ℙ (𝐴_{𝑛}) = ℙ (⋂_{𝑛 = 1}^{\infty} 𝐴_{𝑛})$ .

Example 1.8

(dice roll) 如果我们掷一个 6 面的骰子, 那么样本空间 $Ω = {1, 2, 3, 4, 5, 6}$ . 一个可能的事件是 $𝐴 = {1, 2}$ . 如果假设骰子是公平的 (所有结果都是等可能的), 那么事件 $𝐴$ 的概率是

ℙ (𝐴) = \frac{Number of favorable outcomes}{Total number of outcomes} = \frac{| 𝐴 |}{| Ω |} = \frac{2}{6}

根据我们 measure-based 的定义, 这一结果自然 follows from countable additivity of $ℙ$ .

Example 1.9

三个人独立地掷一个 6 面的骰子, 求第三个人掷出的点数等于前两个人的点数之和的概率.

Solution

样本空间 $Ω = {1, 2, 3, 4, 5, 6}^{3}$ . event: $𝐸 = {𝜔 \in Ω ∣ 𝜔_{3} = 𝜔_{1} + 𝜔_{2}}$ .
这个 event 有 15 个 elements:

𝐸 = {(1, 1, 2), (1, 2, 3), (1, 3, 4), \dots, (2, 1, 3), (2, 2, 4), \dots, (3, 1, 4), \dots, (4, 1, 5), \dots, (5, 1, 6)}

因此, 概率是:

ℙ (𝐴) = \frac{| 𝐴 |}{| Ω |} = \frac{15}{216} = \frac{5}{72}

Example 1.10

两个人计划在 12:00 到 1:00 之间碰面. 他们各自都会在期间的某个时间点到达. 求: 他们彼此不会等待对方超过 10 分钟的概率.

Solution

Sample space

Ω = {(𝑥, 𝑦) : 0 \leq 𝑥 \leq 60, 0 \leq 𝑦 \leq 60} = [0, 60] \times [0, 60]

我们要求概率的事件

𝐸 = {(𝑥, 𝑦) \in Ω : | 𝑥 - 𝑦 | \leq 10}

容易画出图像:

两人在一小时内到达且等待不超过十分钟的事件区域

因而概率是

ℙ (𝐸) = \frac{𝑚 (𝐸)}{𝑚 (Ω)} = \frac{3600 - 2500}{3600} = \frac{11}{36}

1.2.1 conditional probability and Bayes’ theorem

Definition 1.6 : conditional probability

对于 probability space $(Ω, ℱ︀, ℙ)$ , 给定一个 event $𝐵 \in ℱ︀$ , 如果 $ℙ (𝐵) > 0$ , 我们定义 conditional probability of an event $𝐴 \in ℱ︀$ given $𝐵$ 为:

ℙ (𝐴 ∣ 𝐵) = \frac{ℙ (𝐴 \cap 𝐵)}{ℙ (𝐵)}

Proposition 1.6 : decomposing probability of intersection of events

令 ${(𝐴_{𝑖})}_{𝑖 \in ℕ}$ 为一个 seq of events, 对于任意 $𝑛 \in ℕ$ :

ℙ (𝐴_{1} \cap 𝐴_{2} \cap \dots \cap 𝐴_{𝑛}) = ℙ (𝐴_{1}) \cdot ℙ (𝐴_{2} ∣ 𝐴_{1}) \cdot ℙ (𝐴_{3} ∣ 𝐴_{1} \cap 𝐴_{2}) \dots \cdot ℙ (𝐴_{𝑛} ∣ 𝐴_{1} \cap \dots \cap 𝐴_{𝑛 - 1})

Proof

Naturally follows from the def.

□

Theorem 1.2 : law of total probability

令 ${(𝐴_{𝑖})}_{𝑖 \in ℕ}$ 为一个 seq of pairwise disjoint events, 如果 $⊔_{𝑖 = 1}^{\infty} 𝐴_{𝑖} = Ω$ , 那么对于任意 event $𝐸 \subseteq Ω$ :

ℙ (𝐸) = \sum_{𝑖 = 1}^{\infty} ℙ (𝐴_{𝑖}) ℙ (𝐸 ∣ 𝐴_{𝑖})

Proof

ℙ (𝐸) = ℙ (𝐸 \cap \cup_{𝑖 = 1}^{\infty} 𝐴_{𝑖}) = ℙ (\cup_{𝑖 = 1}^{\infty} 𝐸 \cap 𝐴_{𝑖}) = \sum_{𝑖 = 1}^{\infty} ℙ (𝐸 \cap 𝐴_{𝑖}) = \sum_{𝑖 = 1}^{\infty} ℙ (𝐴_{𝑖}) ℙ (𝐸 ∣ 𝐴_{𝑖})

□

Theorem 1.3 : Bayes theorem

If $𝐴, 𝐵 \subseteq Ω$ such that $ℙ (𝐵) \neq 0$ , then

ℙ (𝐴 ∣ 𝐵) = \frac{ℙ (𝐴) \cdot ℙ (𝐵 ∣ 𝐴)}{ℙ (𝐵)}

Example 1.11 : (Medical testing)

在一个群体中, 随机选取一个人患有某种罕见疾病的概率是 0.001. 该疾病有一个诊断测试, 其性质如下: 给定个体患病, 测试呈阳性的概率 (真正阳性率) 是 0.99. 给定个体健康, 测试呈阳性的概率 (假阳性率) 是 0.02. 从群体中随机选取的一个人测试呈阳性. 该个体实际上患有该疾病的概率是多少? 于是

Solution

由 law of total probability, 我们有

ℙ (positive) = ℙ (positive ∣ sick) ℙ (sick) + ℙ (positive ∣ healthy) ℙ (healthy) = 0.99 \cdot 0.001 + 0.02 \cdot 0.999 = 0.02097

于是

ℙ (sick ∣ positive) = \frac{0.99 \cdot 0.001}{0.02097} \approx 0.047

Example 1.12 : (Monty Hall problem)

假设你参加一个游戏节目, 面前有三扇门: 一扇门后面有一辆车; 其他两扇门后面是山羊. 你选择了一扇门, 比如说是 1 号门, 然后主持人打开了另一扇门, 比如说是 3 号门, 里面有一只山羊. 然后他说 "你想换成 2 号门吗?". 换门对你有利吗?

Solution

令 $𝐴_{𝑖}$ 表示: car 在 $𝑖$ 号门后面; $𝐵$ 事件表示: 主持人打开 3 号门. 我们要求的概率是在事件 $𝐵$ 发生的情况下, $𝐴_{2}$ 的个概率, 即 $ℙ (𝐴_{2} ∣ 𝐵)$ . 它的大小是:

\begin{aligned} ℙ (𝐴_{2} ∣ 𝐵) & = \frac{ℙ (𝐴_{2}) \cdot ℙ (𝐵 ∣ 𝐴_{2})}{ℙ (𝐵)} \\ = \frac{ℙ (𝐵 ∣ 𝐴_{2}) ℙ (𝐴_{2})}{ℙ (𝐵 ∣ 𝐴_{1}) ℙ (𝐴_{1}) + ℙ (𝐵 ∣ 𝐴_{2}) ℙ (𝐴_{2}) + ℙ (𝐵 ∣ 𝐴_{3}) ℙ (𝐴_{3})} \\ = \frac{1 \cdot \frac{1}{3}}{\frac{1}{2} \cdot \frac{1}{3} + 1 \cdot \frac{1}{3} + 0 \cdot \frac{1}{3}} = \frac{2}{3} > \frac{1}{3} \end{aligned}

因而, 换门是有利的.

Remark

这是一个非常反直觉的例子. 我们直觉肯定会觉得: 一共 1 辆车和 2 个山羊, 主持人帮忙排除掉了一个山羊, 那么剩下来的两个里面我们二选一, 肯定是 $1 / 2$ 概率, 而这个 "更换与否" 就是二选一的抉择. 但其实不是这样的.
在第一次选择和第二次选择之间, 主持人带来了额外的信息.

不换门: win iff 在一开始就选择对了车, 这个概率是 $1 / 3$ .
换门: win iff 在一开始选择的是山羊, 这个概率是 $2 / 3$ .

从条件概率的视角来看:

如果车在 2 号门: 主持人在这个环节里只能选择 3 号门.
如果车在 1 号门: 主持人在这个环节里可以随机在 2 号和 3 号门里面选择一扇门.

也就是说, 主持人打开 3 号门的这个动作, 把 3 号门原本含有的 "中奖潜力" 全部转移给了 2 号门. 这很反直觉. 但是可以用一段 python 程序验证:

def monty_hall_sim(trials=10000):
    stay_wins = 0
    switch_wins = 0
    for _ in range(trials):
        # 初始化门: 0代表羊, 1代表车 
        doors = [0, 0, 0]
        car_position = random.randint(0, 2)
        doors[car_position] = 1
        
        # 玩家最初的选择
        player_choice = random.randint(0, 2)

        # 主持人打开一扇有山羊的门
        possible_host_doors = [
            i for i in range(3) 
            if i != player_choice and doors[i] == 0
        ]
        host_opens = random.choice(possible_host_doors)

        # 如果"不换"赢了
        if doors[player_choice] == 1:
            stay_wins += 1
        # 如果"换门"赢了
        remaining_door = [
            i for i in range(3) 
            if i != player_choice and i != host_opens
        ][0]
        if doors[remaining_door] == 1:
            switch_wins += 1
    print(f"坚持不换中奖次数: {stay_wins} (概率: {stay_wins/trials:.2%})")
    print(f"换门后中奖次数: {switch_wins} (概率: {switch_wins/trials:.2%})")

运行结果:

总实验次数: 10000  
坚持不换中奖次数: 3312 (概率: 33.12%)
换门后中奖次数: 6688 (概率: 66.88%)

Example 1.13 : (Wizards)

两个巫师 $𝐴$ 和 $𝐵$ 进行决斗, 他们轮流射击对方. 巫师 $𝐴$ 每次射击命中 $𝐵$ 的概率是 $ℙ (𝐴) = \frac{1}{2}$ , 而巫师 $𝐵$ 每次射击命中 $𝐴$ 的概率是 $ℙ (𝐵) = \frac{2}{3}$ . 巫师 $𝐴$ 先开枪. 求: 巫师 $𝐴$ 获胜的概率是多少?

Solution

任意一轮射击 (假设前一轮没有结束, 于是游戏回到初始状态. 因而任意一轮都是独立的) 中, 令 $𝑊_{𝐴}$ 为事件: $𝐴$ 获胜; $𝑊_{𝐵}$ 为事件: $𝐵$ 获胜, 假设他们从各自开始射击. 根据全概率公式, 我们有

\begin{aligned} ℙ (𝑊_{𝐴}) = ℙ (h i t) ℙ (𝑊_{𝐴} ∣ h i t) + ℙ (m i s s) ℙ (𝑊_{𝐴} ∣ m i s s) = \frac{1}{2} + \frac{1}{2} ℙ (𝑊_{𝐵}^{𝑐}) \\ ℙ (𝑊_{𝐵}) = ℙ (h i t) ℙ (𝑊_{𝐵} ∣ h i t) + ℙ (m i s s) ℙ (𝑊_{𝐵} ∣ m i s s) = \frac{2}{3} + \frac{1}{3} ℙ (𝑊_{𝐴}^{𝑐}) \end{aligned}

Solving the system, we find $ℙ (𝑊_{𝐴}) = 0.6$ .

1.2.2 Kolmogorov definition of conditional probability

我们通过 $ℙ (𝐴 ∣ 𝐵) = \frac{ℙ (𝐴 \cap 𝐵)}{ℙ (𝐵)}$ 定义出来的 conditional probability 有一个限制, 就是 enforce $ℙ (𝐵) > 0$ .
但是, 难道 $ℙ (𝐵) = 0$ 就不能定义条件概率了吗? 我们考虑一个连续情况: 在 $ℝ^{3}$ 中任意选择一个点, 求: 该点位于单位球面上的概率. 显然, 这个概率是 0. 但是, 如果我们知道该点位于单位球内, 那么该点距离原点的距离为 $1$ 的概率应当为 $1$ . 也就是说, 即使在 $ℙ (𝐵) = 0$ 的情况下, 我们也希望定义 $ℙ (𝐴 ∣ 𝐵)$ .
在考虑这个定义之前, 首先我们发现: 基于我们先前定义的 conditional probability, 我们可以获得一个新的 probability space:

Definition 1.7 : conditional probability space and trace $𝜎$ -algebra

对于给定的 prob space $(Ω, ℱ︀, ℙ)$ , 给定一个 event $𝐵 \in ℱ︀$ 且 $ℙ (𝐵) > 0$ , 我们定义 conditional probability space as the triplet $(𝐵, {ℱ︀}_{𝐵}, ℙ (\cdot ∣ 𝐵))$ , 其中:

𝐹_{𝐵} ≔ {𝐴 \cap 𝐵 ∣ 𝐴 \in ℱ︀}

继承自原空间的 $𝜎$ -algebra $ℱ︀$ , 并被称为 trace $𝜎$ -algebra on $𝐵$ .
容易验证, 这个 triplet 是一个 prob space.

既然这样, 我们能否直接从一个新的 prob space $(𝐵, {ℱ︀}_{𝐵}, ℙ (\cdot ∣ 𝐵))$ 出发, 来定义条件概率呢? 这就是 Kolmogorov 的定义:

Definition 1.8 : Kolmogorov definition of conditional probability

对于给定的 prob space $(Ω, ℱ︀, ℙ)$ , 设 $𝒢︀ \subseteq ℱ︀$ 是一个 sub- $𝜎$ -algebra. 对于 event $𝐴 \in ℱ︀$ , 条件概率 $ℙ (𝐴 ∣ 𝒢︀)$ 是一个 $𝒢︀$ -measurable 的随机变量, 其满足对于任意 $𝐺 \in 𝒢︀$ , 有:

\int_{𝐺} ℙ (𝐴 ∣ 𝒢︀) 𝑑 ℙ = ℙ (𝐴 \cap 𝐺)

显然, 当 $ℙ (𝐵) > 0$ 时, 这个定义和我们之前的定义是等价的.
这个 random variable $ℙ (𝐴 ∣ 𝒢︀)$ 在 $ℙ$ -a.s. 意义下是唯一的.

Remark

条件概率 $ℙ (𝐴 ∣ 𝒢︀)$ 这个测度是 $ℙ (𝐴 \cap \cdot)$ 这个测度相对于背景测度 $ℙ$ 在子信息流 $𝒢︀$ 下的 Radon-Nikodym derivative, 也就是一个密度函数.
这个定义里没有指明, 给定一个 event $𝐵 \in ℱ︀$ , 如何去确定 $𝒢︀$ 以及 $ℙ (𝐴 ∣ 𝒢︀)$ . 虽然这是一个抽象的存在性唯一性定义, 但是标准的做法是:

看向产生 $𝐵$ 的 random variable $𝑋$ , 即 $𝐵 = {𝑋 = 𝑥}$ , 令 $𝒢︀ = 𝜎 (𝑋)$ , 即由 random variable $𝑋$ 生成的 $𝜎$ -algebra. 这个 $𝜎$ -algebra 包含了所有关于 $𝑋$ 可能取值的信息.
既然 $ℙ (𝐴 ∣ 𝜎 (𝑋))$ 是关于 $𝜎 (𝑋)$ 可测的, 那么它一定可以写成 $ℎ (𝑋)$ 的形式. 通过对 $𝑋$ 的所有可能取值进行积分, 我们确定了函数 $ℎ (\cdot)$ 的整体形态, 这时我们定义 $𝑃 (𝐴 ∣ 𝑋 = 𝑥)$ 为函数 $ℎ$ 在点 $𝑥$ 处的值.
$ℙ (𝐴 ∣ 𝒢︀)$ 实际就是 conditional expectation $𝔼 [𝕀_{𝐴} ∣ 𝒢︀]$ . 当 $ℙ (𝐵) > 0$ 时, 它就退化回经典定义 $\frac{ℙ (𝐴 \cap 𝐵)}{ℙ (𝐵)}$ .

1.2.3 independence of events

Definition 1.9 : independence of events

对于 prob space $(Ω, ℱ︀, ℙ)$ , 两个 events $𝐴, 𝐵 \in ℱ︀$ 如果有

ℙ (𝐴 \cap 𝐵) = ℙ (𝐴) \cdot ℙ (𝐵)

则称 $𝐴$ 和 $𝐵$ 是 independent 的.
更加 generally, 对于任意 collection of events ${𝐴_{𝑖}}_{𝑖 \in 𝐼}$ , 如果对于任意有限子集 $𝐽 \subseteq 𝐼$ , 有

ℙ (⋂_{𝑗 \in 𝐽} 𝐴_{𝑗}) = \prod_{𝑗 \in 𝐽} ℙ (𝐴_{𝑗})

则称 ${𝐴_{𝑖}}_{𝑖 \in 𝐼}$ 是 mutually independent 的.

Proposition 1.8

如果 events $𝐴$ 和 $𝐵$ independent, 则 $𝐴$ 和 $𝐵^{𝑐}$ 也是 independent 的.

Proof

\begin{aligned} ℙ (𝐴^{𝑐} \cap 𝐵^{𝑐}) & = ℙ ((𝐴 \cup 𝐵)^{𝑐}) = 1 - ℙ (𝐴 \cup 𝐵) = 1 - ℙ (𝐴) - ℙ (𝐵) + ℙ (𝐴 \cap 𝐵) \\ = 1 - ℙ (𝐴) - ℙ (𝐵) + ℙ (𝐴) \cdot ℙ (𝐵) = (1 - ℙ (𝐴)) (1 - ℙ (𝐵)) \\ = ℙ (𝐴^{𝑐}) \cdot ℙ (𝐵^{𝑐}) \end{aligned}

□

Example 1.14 : (Pairwise Independence vs. Mutual Independence)

一组事件 $𝐴_{1}, 𝐴_{2}, \dots \in ℱ︀$ 如果是 mutually independent 的, 则它们两两 independent. 但是反过来不成立.
即: 即便对于任意 $𝑖 \neq 𝑗$ , 有 $ℙ (𝐴_{𝑖} \cap 𝐴_{𝑗}) = ℙ (𝐴_{𝑖}) ℙ (𝐴_{𝑗})$ , 也并不意味着这些事件是 mutually independent 的.
下面为一个 counterexample: 考虑掷两个骰子. 令事件

𝐴 ≔ {first roll is 4}, 𝐵 ≔ {second roll is 3}, 𝐶 ≔ {the sum of the two outcomes is 7}

我们发现: $ℙ (𝐴 \cap 𝐵 \cap 𝐶) = \frac{1}{36} \neq ℙ (𝐴) ℙ (𝐵) ℙ (𝐶) = \frac{1}{6^{3}}$ , 因而 $𝐴, 𝐵, 𝐶$ 并不 mutually independent. 然而, However, $ℙ (𝐴 \cap 𝐵) = \frac{1}{36} = ℙ (𝐴) ℙ (𝐵), ℙ (𝐴 \cap 𝐶) = \frac{1}{36} = ℙ (𝐴) ℙ (𝐶)$ and $ℙ (𝐵 \cap 𝐶) = \frac{1}{36} = ℙ (𝐵) ℙ (𝐶)$ , 因而它们两两 pairwise independent.

Remark

这个反例能够成功的理由是: 事件 $𝐶$ (总和) 和事件 $𝐴$ (第一个骰子) 以及事件 $𝐵$ (第二个骰子) 分别都是独立的, 因为知道了其中一个并不会影响另一个的概率. 但是, 一旦我们知道了 $𝐴$ 和 $𝐵$ 的值, 那么 $𝐶$ 的值就被完全确定了 (因为总和就是两个骰子的和). 因而, 三个事件并不 mutually independent.
(注意: 如果 $𝐶$ 事件不是和为 7 而是一个小于 7 的数, 那就不是了, 因为如果我们知道第一次是 6, 那么和就不可能是 6, 那么就也失去了 pairwise independence).
这个例子说明了, mutual independence 是一个比较强的条件. 我们可以把这三个事件看作是对结果空间的约束:

两个骰子的结果空间有 36 个点.
$𝐴$ 是一条线 (6个点), $𝐵$ 是另一条线 (6个点), $𝐶$ 是一条对角线 (6个点)。
两两独立: 意味着任意两条线相交的点数, 恰好符合概率乘积.
相互独立: 要求这三条线交于一点的概率也符合乘积.

这个例子提醒我们: 独立性不是一种可以由低维向高维简单“归纳”的性质. 一个系统可以局部解耦（两两独立, 但在全局尺度上却存在强耦合. 总之 mutual independence 是一个很强的条件.

Example 1.15 : (coin tossing)

假设我们有一枚不均匀的硬币, 掷出正面的概率是 $𝑝 \in [0, 1]$ , 反面的概率是 $1 - 𝑝$ . 我们不断地掷这枚硬币, 直到第一次掷出正面为止, 并记录所需的掷币次数. 求: 掷币次数为奇数的概率是多少?

Solution

对于任意 $𝑖 \in ℕ$ , 考虑事件 $𝐴_{𝑖} = {$ 掷币次数为 $𝑖}$ .

ℙ (\cup_{𝑛 = 1}^{\infty} 𝐴_{2 𝑛 - 1}) = \sum_{𝑛 = 1}^{\infty} ℙ (𝐴_{2 𝑛 - 1}) = \sum_{𝑛 = 1}^{\infty} (1 - 𝑝)^{2 𝑛 - 2} 𝑝 = 𝑝 \sum_{𝑛 = 1}^{\infty} {((1 - 𝑝)^{2})}^{𝑛 - 1} = 𝑝 \cdot \frac{1}{1 - (1 - 𝑝)^{2}} = \frac{1}{2 - 𝑝}

2 random variable

2.1 random variable and generated $𝜎$ -algebra

2.1.1 random variable: 即 prob space 上的一个 Borel measurable function

Definition 2.10 : random variable

对于 probability space $(Ω, ℱ︀, ℙ)$ , 一个 random variable 是一个 Borel measurable function $𝑋 : Ω \to ℝ$ .

Remark

Random variable (Borel measurable function) 本质上是对样本空间中的事件进行 weights assignment.

原本, 一个 prob space 只能表示: 有多少个 outcomes, 每个 outcome 的概率是多少 (对于无限的 sample space, 一些 outcomes 组合, 即事件, 的概率是多少).

而 random variable 就是给这些 outcomes 以 weights: 比如

Example 2.16

在一副扑克牌中抽一张, 那么每一张的概率都是 $1 / 52$ . 但是如果我想知道抽到的牌的价值, 那么我就需要一个 random variable $𝑋$ 来给每一张牌赋予一个 weight; 比如说, $𝑋 (A) = 1$ , $𝑋 (2) = 2$ , $\dots$ , $𝑋 (K) = 13$ .

Question: 为什么对于 assigning weights 的行为, 我们一定要求它是一个 (Borel) measurable function 呢? 普通的给 outcomes 以 weights 的行为 (任意一个 function $𝑓 : Ω \to ℝ$ ) 不行吗?

Answer: 因为我们想要知道 $𝑋$ 的值在一个范围 $𝐵$ , 比如 $[1, 6]$ 之内的 probability (which is defined on 原本的 prob measure $ℙ$ 上的) 是多少. 而只有每一个这样的范围集合的 preimage $𝑋^{- 1} (𝐵)$ 都是 $ℱ︀$ 中的事件, 我们才能够通过 $ℙ$ 来计算这个 probability; that is, 我们需要这个 $𝑋$ 是一个 measurable function.

因为这一切都是建立在我们以 measure theory 的 framework 来定义 probability 的基础上的.

下面是一个简单的 proposition: 我们可以把多个 random variables 以一种 Borel measurable 的方式组合起来, 那么就成为一个新的 random variable.

Proposition 2.9 : 以 Borel measurable 的方式组合起多个 random variables

Prob space $(Ω, ℱ︀, ℙ)$ 上的 random variables $𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑘} : Ω \to ℝ$ , 任取 Borel measurable function $𝑔 : ℝ^{𝑘} \to ℝ$ ,

\begin{aligned} 𝑋 : Ω & \to ℝ \\ 𝜔 & \mapsto 𝑔 (𝑋_{1} (𝜔), 𝑋_{2} (𝜔), \dots, 𝑋_{𝑘} (𝜔)) \end{aligned}

也是一个 random variable.

Proof

我们在 measure theory 中证明过: 对于任意的 finite seq of Borel measureable functions $(𝑓_{𝑖} : Ω \to ℝ)_{𝑖 = 1}^{𝑘}$ , 其各作为一个维度组成的函数 $𝑓 = (𝑓_{1}, \dots, 𝑓_{𝑘})$ 也是一个 Borel measurable function (from $Ω$ 到 $ℝ^{𝑘}$ ).
而这里的 $𝑋$ 就是 $𝑔 \circ 𝑓$ , 是两个 Borel measurable function 的 composition, 因而也是一个 Borel measurable function (即 random variable).

□

Remark

以一种 Borel measurable 的方式组合多个 random variables, 这个函数也仍然是一个 random variable.

这个 proposition 看似没有什么卵用, 但是它其实是我们之后构造 random variable 的一个重要工具. 很多我们默认合法的行为, 它都作为基础.

比如我们:

定义了两个 random variable $𝑋$ 和 $𝑌$ , 那么它们的和 $𝑋 + 𝑌$ 以及积 $𝑋 \cdot 𝑌$ 也是 random variables.
更加复杂的: 标量变换 $𝑔 (𝑋) = sin (𝑋), ℎ (𝑋) = 𝑒^{𝑋}$ , 向量变换 $𝑔 (𝑋_{1}, 𝑋_{2}) = 𝑋_{1}^{2} + 𝑋_{2}^{2}$ , 等等, 都是 random variables.
统计学中, 我们有一堆样本, 每一个都是随机采样得到的 (即一个 random variable $𝑋_{𝑖}$ ). 因而在观测之前, 我们把它看作一个 random variable $𝑋_{𝑖}$ , 然后在观测之后取到它的一个实际值 $𝑥_{𝑖}$ .
通常我们假设所有样本都是 independent and identically distributed (i.i.d., 独立同分布) 的, 即所有的 $𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛}$ 都是 independent 的, 并且服从同一个 distribution (discuss later…).
然后, 我们就可以从这些样本中计算各种统计量, 比如平均值 $\bar{𝑋} ≔ \frac{1}{𝑛} \sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖}$ , 再比如 order statistic, sample variance 等等, 从而通过大数定律等工具的辅佐, 来估计这个 distribution 到底是什么样的一个 distribution.
这里这些统计量, 由于是以 Borel measurable 的方式组合起多个 random variables, 也是 random variables. 所以这个 proposition 其实也奠定了统计学中各种统计量的合法性.

2.1.2 由一个 random variable generate 的 $𝜎$ -algebra

Definition 2.11 : $𝜎$ -algebra generated by a random variable (measurable function)

对于 random variable $𝑋 : Ω \to ℝ$ , 其 generate 的 $𝜎$ -algebra 定义为

𝜎 (𝑋) ≔ {𝑋^{- 1} (𝐵) : 𝐵 \in ℬ︀ (ℝ)} \subseteq ℱ︀

这个集合 $𝜎 (𝑋)$ 是一个 $𝜎$ -algebra, 是一个 trivial truth. 因为里面所有的 set 都是 $𝑋$ 的 preimage, 而 $𝑋$ 是一个 measurable function, 因而任意的 $𝑋^{- 1} (𝐵) \in ℱ︀$ .

这个 $𝜎 (𝑋)$ 也是让 $𝑋$ 成为一个 measurable function (即 random variable) 的最小的 $𝜎$ -algebra. 它的意义是: 当我们仅仅观察到 $𝑋$ 的取值时, 我们所掌握的关于 underlying sample space $Ω$ 的全部 "information".

Remark

我们知道, 一个 $𝜎$ -algebra $ℱ︀$ 可以看作是一个 information structure: 它是对 underlying sample space $Ω$ 进行划分的一个工具.
最大的 $𝜎$ -algebra $𝒫︀ (Ω)$ , 即 power set, 是最细的划分, 也是信息量最大的 $𝜎$ -algebra. 它把每一个元素都区分开来. 对于 discrete 的 sample space, 通常我们的 probability measure 就是定义在 power set 上的, 正是因为我们希望区分每一个 outcome.
而给定一个 prob space $(Ω, ℱ︀, ℙ)$ , 原本的 prob measure 所 base on 的 $𝜎$ -algebra $ℱ︀$ 就成为了一个基准的 information 的颗粒度: 哪些事件是我们可以区分, 即可以在上面定义 probability 的.

而一个 random variable $𝑋$ 可能会把多个 outcomes 映射到同一个值上, 也即把多个 events 映射到同一个值上, 从而把这些 events 区分不开来. 因而, random variable $𝑋$ generate 的 $𝜎$ -algebra $𝜎 (𝑋)$ 就可能是一个更粗的划分. 当我们取这些 events 所映射到的同一个值的 preimage 的时候, 取到的是它们的 union, 也就是它们中最大的一个.

比如

Example 2.17

掷一次骰子, 所有可能结果为 sample space:

Ω = {1, 2, 3, 4, 5, 6}

而我们定义一个 random variable $𝑋$ 来表示掷出的点数的奇偶性, 即:

𝑋 (𝜔) = {\begin{cases} 1, & 𝜔 \in {2, 4, 6} \\ 0, & 𝜔 \in {1, 3, 5} \end{cases}

那么它 generate 的 $𝜎$ -algebra:

𝜎 (𝑋) = \emptyset, {1, 3, 5}, {2, 4, 6}, Ω

因为 $1, 3, 5$ 这些事件都被映射到了同一个值 $0$ 上, 即 ${1}, {3}, {5}, {1, 3}$ 这些事件都被 ${1, 3, 5}$ 这个事件吸收了, 它们在这个 random variable $𝑋$ 的映射下是区分不开的. 这就代表了这个 random variable 所蕴含的信息颗粒度: 我们只能区分掷出的点数是奇数还是偶数, 但是无法区分具体的点数是多少.
至此我们知道: 一个 random variable $𝑋$ 的 generate 的 $𝜎$ -algebra $𝜎 (𝑋)$ 表示了这个 random variable 对 underlying sample space $Ω$ 所能区分的 information granularity (信息颗粒度).

除了能表示 information granularity 以外, $𝜎 (𝑋)$ 还有什么实际用处呢:

之后讨论关于 independence of two random variables $𝑋$ 和 $𝑌$ 时, 可以用它来作严格定义, 并且展现 independence 的本质: 两个 RV 的 independence 实际表示它们蕴含的信息颗粒度之间没有任何 overlap
用以定义 conditional expectation: $𝔼 [𝑌 | 𝜎 (𝑋)]$ , 通常简写为 $𝔼 [𝑌 | 𝑋]$ , 但是其实 $𝔼 [𝑌 | 𝜎 (𝑋)]$ 是一个更加直观的事情, 表述了一种 Partial Averaging 的概念.
Stochastic Process 中有众多应用. 比如 stopping time 的定义.

至此关于 random variable, 我们已经讨论了很多 general 的刻画. 现在我们来讲一点实用的:

2.2 distributions

2.2.1 distribution and cumulative distribution function

Definition 2.12 : probability distribution

对于 random variable $𝑋 : Ω \to ℝ$ on $Ω, ℱ︀, ℙ$ , 其 probability distribution 是 $𝑋$ 对于 $ℙ$ 的 pushforward measure, 记作 $ℙ^{𝑋} : ℬ︀ (ℝ) \to [0, 1]$ . 即

ℙ^{𝑋} (𝐵) ≔ ℙ (𝑋^{- 1} (𝐵)), \forall 𝐵 \in ℬ︀ (ℝ)

我们 write:

𝑋 \sim ℙ^{𝑋}

Definition 2.13 : distribution function (也称 cumulative distribution function, cdf)

对于 random variable $𝑋 : Ω \to ℝ$ , 其 cumulative distribution function 是 $ℙ^{𝑋}$ 这一函数的 distribution function, 记作 $𝐹_{𝑋}$ . 即对于任意 $𝑥 \in ℝ$ , 有

𝐹_{𝑋} (𝑥) ≔ ℙ^{𝑋} ((- \infty, 𝑥]) = ℙ (𝑋^{- 1} ((- \infty, 𝑥]))

Example 2.18 : (geometric probability)

Fix $𝑎, 𝑏 > 0$ . 我们在正方形区域 $Ω = [0, 𝑎] \times [0, 𝑏]$ 上均匀地随机选取一个点 $(𝑥, 𝑦)$ .
我们 define 随机变量: $𝑋 : Ω \to ℝ$ by $𝑋 (𝑥, 𝑦) = 𝑥$ . 求 $𝑋$ 的 distribution function $𝐹_{𝑋}$ .
这很简单: 对于 $𝑥 \in [0, 𝑎]$ ,

𝐹_{𝑋} (𝑥) = ℙ (𝑋 \leq 𝑥) = \frac{𝑚 ([0, 𝑥] \times [0, 𝑏])}{𝑚 ([0, 𝑎] \times [0, 𝑏])} = \frac{𝑥 \cdot 𝑏}{𝑎 \cdot 𝑏} = \frac{𝑥}{𝑎}, 0 \leq 𝑥 \leq 𝑎

因为

𝐹_{𝑋} (𝑥) = {\begin{cases} 0, & 𝑥 < 0 \\ \frac{𝑥}{𝑎}, & 0 \leq 𝑥 \leq 𝑎 \\ 1, & 𝑥 > 𝑎 \end{cases}

注意: 在这个例子中, probability measure $𝑃$ 是 Lebesgue measure on $[0, 𝑎] \times [0, 𝑏]$ . 很多时候我们在计算 RV 的 distribution function 的时候, 都是直接直观地计算 $𝑃 (𝑋 \leq 𝑥)$ . 但是在稍微复杂一些的例子中, 我们需要对各个条件的 formalization 更清楚一点.

Theorem 2.4 : distribution function 的性质

对于 random variable $𝑋 : Ω \to ℝ$ , 其 distribution function $𝐹_{𝑋}$ 满足:

$𝐹_{𝑋}$ 是 non-decreasing (non-strictly increasing) 的.
${lim}_{𝑥 \to + \infty} 𝐹_{𝑋} (𝑥) = 1$ , ${lim}_{𝑥 \to - \infty} 𝐹_{𝑋} (𝑥) = 0$ .
$𝐹_{𝑋}$ 是 right-continuous 的. 即对于任意 $𝑥_{0}$ , 有 ${lim}_{𝑥 \to 𝑥_{0}^{+}} 𝐹_{𝑋} (𝑥) = 𝐹_{𝑋} (𝑥_{0})$ .
对于任意 $𝑥_{0}$ , 有 ${lim}_{𝑥 \to 𝑥_{0}^{-}} 𝐹_{𝑋} (𝑥) = 𝑃 (𝑋 < 𝑥_{0})$ . 并且 $ℙ (𝑋 = 𝑥_{0}) = {lim}_{𝑥 \to 𝑥_{0}^{+}} 𝐹_{𝑋} (𝑥) - {lim}_{𝑥 \to 𝑥_{0}^{-}} 𝐹_{𝑋} (𝑥)$ .
对于任意 $𝑥_{1} < 𝑥_{2}$ , 有 $𝑃 (𝑋 \in (𝑥_{1}, 𝑥_{2}]) = 𝐹_{𝑋} (𝑥_{2}) - 𝐹_{𝑋} (𝑥_{1})$ .

Proof

其他都显然. right-continuity 是源自 measure 的 continuity from above, 我们证明一下: 考虑一个单调递减序列 ${𝑥_{𝑛}} ↓ 𝑥_{0}$ , 令 seq of events $𝐴_{𝑛} = {𝑋 \leq 𝑥_{𝑛}}$ , 注意这是一个嵌套递减的 set seq. 通过 $ℝ$ 的 completeness 容易证明:

𝐴_{0} = ⋂_{𝑛 = 1}^{\infty} 𝐴_{𝑛} = {𝜔 : 𝑋 (𝜔) \leq 𝑥_{0}}

由 measure 的 continuity from above, $ℙ (𝐴_{0}) = {lim}_{𝑛 \to \infty} ℙ (𝐴_{𝑛})$ . 也即 ${lim}_{𝑥 \to 𝑥_{0}^{+}} 𝐹_{𝑋} (𝑥) = ℙ (𝑋 \leq 𝑥_{0})$ .
而下面一条 ${lim}_{𝑥 \to 𝑥_{0}^{-}} 𝐹_{𝑋} (𝑥) = ℙ (𝑋 < 𝑥_{0})$ 同理是源自 measure 的 continuity from below.
那么 $ℙ (𝑋 = 𝑥_{0}) = ℙ (𝑋 \leq 𝑥_{0}) - ℙ (𝑋 < 𝑥_{0})$ 是 natural 的 (by def).

□

Remark

我们此时心里会默认一件事情: 一旦知道了 RV $𝑋$ 的 distribution function $𝐹_{𝑋}$ , 就知道了 $𝑋$ 的完整 distribution $𝑃^{𝑋}$ . 这个直觉是对的.
回忆一下: 我们在 measure theory 中, 证明 Carathéodory extension theorem 的时候, 证明过一个 $𝜋 - 𝜆$ theorem, 以它作为工具才把 premeasure 从一个 algebra extend 到一个 measure on the generated $𝜎$ -algebra:

Theorem 2.5 : Dynkin’s $𝜋 - 𝜆$ theorem

设 $𝒫︀$ 是一个 $𝜋$ -system (closed under finite intersection), $ℒ︀$ 是一个 $𝜆$ -system (closed under complementation and countable disjoint union), 如果 $𝒫︀ \subseteq ℒ︀$ , 那么 $𝜎 (𝒫︀) \subseteq ℒ︀$ .

我们考虑所有的 half-open interval $(- \infty, 𝑥]$ 组成的集合 $𝒢︀$ , 这个集合 generate the Borel $𝜎$ -algebra, 并且还是一个 $𝜋$ -system, 即: 它 closed under finite intersection:

(- \infty, 𝑎] \cap (- \infty, 𝑏] \in 𝒢︀, \forall 𝑎, 𝑏 \in ℝ

然后考虑

ℒ︀ ≔ {𝐸 \in 𝜎 (𝒢︀) : ℙ_{1} (𝐸) = ℙ_{2} (𝐸)}

即两个 measure 一致的 collection of sets. 容易证明, 这个 $ℒ︀$ 是一个 $𝜆$ -system, 并且 $𝒢︀ \subset ℒ︀$ .
从而,

𝔹 (ℝ) = 𝜎 (𝒢︀) \subseteq ℒ︀

并且 $ℙ_{1} (𝐸) = ℙ_{2} (𝐸)$ 对于任意 $𝐸 \in 𝔹 (ℝ)$ .

因而:

Corollary 2.1 : distribution function $𝐹_{𝑋}$ determines distribution $ℙ^{𝑋}$

对于 random variable $𝑋 : Ω \to ℝ$ , 其 distribution function $𝐹_{𝑋}$ 确定了 distribution $ℙ^{𝑋}$ ; 即如果两个 random variable $𝑋$ 和 $𝑌$ 满足 $𝐹_{𝑋} = 𝐹_{𝑌}$ , 那么 $ℙ^{𝑋} = ℙ^{𝑌}$ .

2.2.2 discrete random variable 与 probability mass function

我们基本上研究两类 random variable: discrete random variable 和 continuous random variable.

Definition 2.14 : discrete random variable

对于 random variable $𝑋 : Ω \to ℝ$ , 如果存在一个 countable set $𝑆 \subseteq ℝ$ 使得 $ℙ (𝑋 \in 𝑆) = 1$ , 那么 $𝑋$ 是一个 discrete random variable.

值得一提的是, 这个 pmf 其实就是 $𝑋$ 的 distribution $ℙ^{𝑋}$ 对于 counting measure (for range of $𝑋$ )的 Radon-Nikodym derivative:

Proposition 2.10 : pmf 是 distribution 对于 counting measure $𝜇_{𝑆}$ 的 Radon-Nikodym 导数

对于一个 discrete random variable $𝑋$ , 假设其 range 是 countable set $𝑆$ , 则我们定义 counting measure $𝜇_{𝑆}$ on $𝑆$ 为:

𝜇_{𝑆} (𝐴) ≔ \sum_{𝑥_{𝑖} \in 𝑆} 𝟏_{𝐴} (𝑥_{𝑖})

那么, distribution $ℙ^{𝑋} ≪ 𝜇_{𝑆}$ (绝对连续), 并且有:

𝑝_{𝑋} = \frac{𝑑 ℙ^{𝑋}}{𝑑 𝜇_{𝑆}}

Proof

这很容易证明. 首先, 这个 counting measure 即: $𝐴$ 中有多少个点在 $𝑆$ 中.
那么显然, 如果 $𝜇_{𝑆} (𝐴) = 0$ , 即 $𝐴$ 中没有点在 $𝑆$ 中, 那么 $ℙ^{𝑋} (𝐴) = 0$ . 因而 $ℙ^{𝑋} ≪ 𝜇_{𝑆}$ .
且对于任意 Borel set $𝐴$ ,

ℙ^{𝑋} (𝐴) = \sum_{𝑥_{𝑖} \in 𝐴} ℙ (𝑋 = 𝑥_{𝑖}) = \sum_{𝑥_{𝑖} \in 𝐴 \cap 𝑆} 𝑝_{𝑋} (𝑥_{𝑖}) = \int_{𝐴} 𝑝_{𝑋} (𝑥) 𝑑 𝜇_{𝑆} (𝑥)

□

2.2.3 continuous random variable 与 probability density function

相对应 discrete random variable, 我们定义 continuous random variable:

Definition 2.16 : continuous random variable

我们称一个 random variable $𝑋 : Ω \to ℝ$ 是一个 continuous random variable, 如果它的 cdf $𝐹_{𝑋}$ 是一个 absolutely continuous function.

Remark

回顾 absolutely continuous function 的定义, 这是一个比较复杂的定义: 对于任意 $𝜖 > 0$ , 都存在 $𝛿 > 0$ 使得任取 finite collection of disjoint intervals ${(𝑎_{𝑖}, 𝑏_{𝑖})}$ , 都满足:

\sum_{𝑖} (𝑏_{𝑖} - 𝑎_{𝑖}) < 𝛿 ⟹ \sum_{𝑖} | 𝐹_{𝑋} (𝑏_{𝑖}) - 𝐹_{𝑋} (𝑎_{𝑖}) | < 𝜖

这是 uniform continuity 的一个加强版本. uniform continuity 对应的是 $𝑛 = 1$ 的情况, 即: 任意的区间上, 只要长度足够小, 就能保证 $𝐹_{𝑋}$ 在这个区间上的增量足够小; 而 absolutely continuity 更严格: 即便是任意数量的分散的区间, 只要总长度足够小, 就能保证 $𝐹_{𝑋}$ 在这些 interval 上的增量的总和足够小.

这个定义有点麻烦, 不过存在等价的条件. 为此我们要 recall 一系列定义与结论, 详细请见: notes on measure theory, module 12: differentiation on $ℝ$ :

给定一个 function $𝐹 : ℝ \to ℂ$ , 我们定义它的 total variation function $𝑉_{𝐹} : ℝ \to [0, + \infty]$ 为:
$𝑇_{𝐹} (𝑥) ≔ sup \sum_{𝑖 = 1}^{𝑛} | 𝐹 (𝑥_{𝑖}) - 𝐹 (𝑥_{𝑖 - 1}) ∣ - \infty < 𝑥_{0} < \dots < 𝑥_{𝑛}$
如果 $𝑇_{𝐹} (\infty) < \infty$ (注意这是单调递增函数, 因而即对于任意的 $𝑥$ 都有 $𝑇_{𝐹} (𝑥) < \infty$ ), 那么我们称 $𝐹$ 是一个 function of bounded variation, 写作 $𝐹 \in 𝐵 𝑉$ .
如果 $𝐹 \in 𝐵 𝑉$ , 且 $𝐹$ 是 right-continuous 的, 且 $𝐹 (- \infty) = 0$ , 那么我们称 $𝐹 \in 𝑁 𝐵 𝑉$ . (即 normalized function of bounded variation).
任意的 $𝐹 \in 𝑁 𝐵 𝑉$ 都 $𝑚$ -a.e. differentiable, 且导数 $𝐹^{'} \in 𝐿^{1} (𝑚)$ , 并且以下三个条件等价:
$\begin{aligned} 𝐹 \in 𝐴 𝐶 \\ \Leftrightarrow 𝜇_{𝐹} ≪ 𝑚 \\ \Leftrightarrow 𝐹 (𝑥) = \int_{- \infty}^{𝑥} 𝐹^{'} (𝑡) 𝑑 𝑡 \forall 𝑥 \in ℝ \end{aligned}$

这几行字浓缩了 measure theory 的 differentiation theory 的两个星期的内容… 具体见上文 notes 链接, 都有详细证明. 而我们这里就利用起最后这一条结论. 首先, 我们 state 一件事:

Lemma 2.1 : cdf 一定是 $𝑁 𝐵 𝑉$ 的

任意的 random variable 的 cdf $𝐹_{𝑋}$ 都是一个 $𝑁 𝐵 𝑉$ function.

Proof

依旧见 notes, 有一个关键 lemma: $𝐹 \in 𝐵 𝑉$ 当且仅当它可以表示为两个 monotone increasing function 的差. 而 random variable 的 cdf $𝐹_{𝑋}$ 自身是一个 non-decreasing function, 因而首先 $𝐹_{𝑋} \in 𝐵 𝑉$ .
其次, 由 Theorem 2.4 我们知道, $𝐹_{𝑋}$ 是 right-continuous 的, 且 $𝐹_{𝑋} (- \infty) = 0$ . 因而 $𝐹_{𝑋} \in 𝑁 𝐵 𝑉$ .

□

因而我们自然得出:

Theorem 2.6 : 一个 random variable 是 continuous random variable 的充要条件

一个 random variable $𝑋 : Ω \to ℝ$ 的 cdf 一定是 $𝑚$ -a.e. differentiable 的.
$𝑋$ 是一个 continuous random variable 当且仅当 $ℙ^{𝑋} ≪ 𝑚$ , 即当且仅当存在一个函数 $𝑓_{𝑋} : ℝ \to [0, \infty)$ , 使得使得对于任意 Borel set $𝐴 \subseteq ℝ$ , 有
ℙ𝑋(𝐴)=∫𝐴𝑓𝑋𝑑𝑚
这个函数 $𝑓_{𝑋}$ 即是:
- distribution 对于 Lebesgue measure 的 Radon-Nikodym derivative: $𝑓_{𝑋} = \frac{𝑑 ℙ^{𝑋}}{𝑑 𝑚}$ .
- cdf $𝐹_{𝑋}$ 的 $𝑚$ -a.e.导数 $𝑓_{𝑋} = 𝐹_{𝑋}^{'}$ .
我们也称这个 $𝑓_{𝑋}$ 是 continuous random variable $𝑋$ 的 probability density function (pdf).

Proof

即 remark 的最后一条结论. 由于 $𝐹_{𝑋}$ 是一个 $𝑁 𝐵 𝑉$ function, 因而 $𝐹_{𝑋}$ 是 $𝑚$ -a.e. differentiable 的.
并且, $𝐹_{𝑋} \in 𝐴 𝐶$ iff 它满足 FTC of Lebesgue integral.

□

Definition 2.17 : probability density function (pdf)

对于 continuous random variable $𝑋$ , 其 probability density function 定义为 $𝐹_{𝑋}$ 的 ( $𝑚$ -a.e.)导数, 即

𝑓_{𝑋} (𝑥) ≔ 𝐹_{𝑋}^{'} (𝑥), 𝑚 -a.e. 𝑥 \in ℝ

我们最后梳理一下.

任意的 random variable 的 cdf $𝐹_{𝑋}$ 都是一个 $𝑁 𝐵 𝑉$ function, 因而一定 a.e. 可导. 但是它的导数 $𝐹_{𝑋}^{'}$ 的积分不一定返回原函数.
如果一个 $𝑚$ -a.e. 导数 $𝐹_{𝑋}^{'}$ 满足 $𝐹_{𝑋} (𝑥) = \int_{- \infty}^{𝑥} 𝐹_{𝑋}^{'} (𝑡) 𝑑 𝑡$ 对所有 $𝑥 \in ℝ$ 成立, 即导数的积分返回原函数, 那么 $𝑋$ 就是一个 continuous random variable, 而我们定义 $𝑓_{𝑋} ≔ 𝐹_{𝑋}^{'}$ 为 $𝑋$ 的 probability density function.

以及, 显然 pdf 有以下性质:

Proposition 2.11 : probability density function 的性质

对于 continuous random variable $𝑋$ with pdf $𝑓_{𝑋}$ ,

$𝑓_{𝑋} (𝑥) \geq 0$ for $𝑚$ -a.e. $𝑥 \in ℝ$ . (因为 $𝐹_{𝑋}$ 是 non-decreasing 的.)
$\int_{- \infty}^{+ \infty} 𝑓_{𝑋} (𝑥) 𝑑 𝑥 = 1$ . (因为 $𝐹_{𝑋} (\infty) = 1$ .)
对于任意 Borel set $𝐴$ , 有
$ℙ (𝑋 \in 𝐴) = ℙ^{𝑋} (𝐴) = \int_{𝐴} 𝑓_{𝑋} (𝑥) 𝑑 𝑥$
对于 $𝑚$ -a.e. $𝑥 \in ℝ$ ,
$𝑓_{𝑋} (𝑥) = lim_{𝜖 \to 0^{+}} \frac{ℙ^{𝑋} ([𝑥, 𝑥 + 𝜖))}{𝜖} = lim_{𝜖 \to 0^{+}} \frac{𝐹_{𝑋} (𝑥 + 𝜖) - 𝐹_{𝑋} (𝑥)}{𝜖}$

2.2.4 singular continuous random variable 与 Lebesgue Decomposition Theorem

对于 continuous random variable 的定义, 有些地方会简化定义为: continuous random variable 就是指其 cdf 是一个 continuous function.

但是我们现在知道, 这个定义是错的. 首先, 标准定义中的 absolutely continuous 要强于 continuous (它能推导出 a.e. differentiable); 而且, 这个更强的定义是 necessary 的.

因为当提及 continuous random variable 时, 通常意思是它存在一个 pdf. 而存在一个 pdf 即意味着它满足 FTC of Lebesgue integral, 也就等价于 $𝐹_{𝑋}$ 一定是一个 absolutely continuous function. 而仅仅 continuous 什么都无法保证.

我们这里给出一个 counterexample: Cantor distribution. 它的 cdf 是 continuous 的, 但是它并没有能够满足 FTC of Lebesgue integral (返回原函数) 的 a.e. derivative, 因而没有 pdf.

Example 2.19 : (Cantor distribution)

令 $𝑋_{𝑛}$ be 独立同分布 (i.i.d.) 的随机变量 $𝑃 (𝑋_{𝑛} = 0) = 𝑃 (𝑋_{𝑛} = 2) = 1 / 2$ . 然后定义:

𝑋 ≔ \sum_{𝑛 = 1}^{\infty} \frac{𝑋_{𝑛}}{3^{𝑛}}

它刻画的是:

把 $[0, 1]$ 三等分, 去掉中间的部分, 然后在剩下的两部分中, 以 $1 / 2$ 的概率选择左边的区间, 以 $1 / 2$ 的概率选择右边的区间;
在选定的区间中, 再把它三等分, infinitely 重复这一过程.
最后, 这一行为会收敛于 Cantor set 上的一个点.

具体而言:

第 1 步 ( $𝑛 = 1$ ) 我们查看 $\frac{𝑋_{1}}{3^{1}}$ , 如果 $𝑋_{1} = 0$ , 你选择了左边的区间 $[0, 1 / 3]$ ; 如果 $𝑋_{1} = 2$ , 你选择了右边的区间 $[2 / 3, 1]$ .
第 2 步 ( $𝑛 = 2$ ): 在第 1 步选定的区间内，查看 $\frac{𝑋_{2}}{3^{2}} = \frac{𝑋_{2}}{9}$ 如果 $𝑋_{2} = 0$ , 你在当前小区间内选择了左侧的 1/3; 如果 $𝑋_{2} = 2$ , 你在当前小区间内选择了右侧的 1/3.
$\dots$

从而, $𝑋$ 的 range 是 Cantor set, recall: 这是一个 measure zero 的 uncountable set, 其 cardinality 是 continuum (与 $ℝ$ 等势).

𝐶 = {𝑥 \in [0, 1] ∣ 𝑥 = (0 . 𝑎_{1} 𝑎_{2} 𝑎_{3} \dots)_{3}, where 𝑎_{𝑖} \in {0, 2}}

它也表示了: 三进制小数中, 所有完全不包含数字 1 的小数的集合.

由于其 uncountability, 对于任意单点 $𝑥$ 都有 $ℙ (𝑋 = 𝑥) = 0$ , 因而 $𝐹_{𝑋}$ 在 $ℝ$ 上处处连续; 并且容易证明: $𝐹_{𝑋}$ 在 $𝑥$ 处的导数 $𝐹_{𝑋}^{'} (𝑥) = 0$ . (因为对于 $𝐶^{𝑐}$ 中的任意被挖掉的区间, $𝐹_{𝑋}$ 在这个区间上是 constant 的).

然而, $𝐹_{𝑋}^{'} = 0$ 却不满足 FTC of Lebesgue integral. 比如反例: $𝐹_{𝑋} (1) = 1$ , 但是

\int_{- \infty}^{1} 𝐹_{𝑋}^{'} (𝑡) 𝑑 𝑡 = 0

因而 $𝑋$ 没有 pdf, 也就不是 continuous random variable.

对于 Cantor distribution 这个例子, 我们称这样的 random variable 是一个 singular continuous random variable:

Definition 2.18 : singular continuous random variable

对于 random variable $𝑋 : Ω \to ℝ$ , 如果 $𝑋$ 的 cdf $𝐹_{𝑋}$ 是一个 continuous function, 并且 $ℙ^{𝑋} ⊥ 𝑚$ (即存在一个 measure zero 的 Borel set $𝑁$ 使得 $ℙ^{𝑋} (𝑁) = 1$ , 也等价于 $𝐹_{𝑋}$ 的导数 $𝐹_{𝑋}^{'} = 0$ a.e.), 那么我们称 $𝑋$ 是一个 singular continuous random variable.

这个例子向我们说明了: 除了 discrete random variable 和 continuous random variable 以外, 还有其他的奇异的 random variables. 而下面这一定理刻画了任意的 random variable 的结构:

Theorem 2.7 : Lebesgue Decomposition Theorem

对于任意 random variable $𝑋 : Ω \to ℝ$ , 其 distribution $ℙ^{𝑋}$ 可以唯一分解为三个 mutually singular 的 measure 的和:

ℙ^{𝑋} = ℙ_{𝑎 𝑐}^{𝑋} + ℙ_{𝑠 𝑐}^{𝑋} + ℙ_{𝑑}^{𝑋}

其中 $ℙ_{𝑎 𝑐}^{𝑋} ≪ 𝑚$ 是 absolutely continuous measure, $ℙ_{𝑠 𝑐}^{𝑋} ⟂ 𝑚$ 是一个 singular continuous measure, $ℙ_{𝑑}^{𝑋} ⟂ 𝑚$ 是 discrete measure.

Proof

TODO.

□

2.3 expectation and variance

Distribution 是一个 random variable 的完整刻画, 而这一节我们来谈一谈 expectation 和 variance, 这是一个 random variable 的两个重要的数值特征: 它的均值和离散程度.

最后我们会谈一谈 $𝐿^{2} (Ω, ℱ︀, ℙ)$ 空间: all square-integrable random variables; 以及它的一个重要 subspace $𝐿_{0}^{2} (Ω, ℱ︀, ℙ)$ : 所有 square-integrable 的 zero-centered random variables. 它们都是由 random variables 组成的 Hilbert space, 并且在其中, expectation, variance, covariance 都会得到一个非常自然的 interpretation, 展现这个空间的几何结构.

2.3.1 expectation and variance 的 definition 和计算方法

随机变量的 expectation 是它 w.r.t. 它所在概率空间 prob measure $ℙ$ 的积分, 表示它的值的 prob-weighted average;

而其 variance 是 $(𝑋 - 𝐸 (𝑋))^{2}$ 这个 induced RV w.r.t. $ℙ$ 的积分, 表示 $𝑋$ 离它的值的 weighted average $𝔼 (𝑋)$ 的聚集程度:

Definition 2.19 : expectation and variance of random variable

对于 random variable $𝑋 : Ω \to ℝ$ , 其 expectation 定义为

𝔼 [𝑋] ≔ \int_{Ω} 𝑋 𝑑 ℙ

其 variance 定义为

Var (𝑋) ≔ 𝔼 [(𝑋 - 𝔼 [𝑋])^{2}] = \int_{Ω} (𝑋 - 𝔼 [𝑋])^{2} 𝑑 ℙ

要计算 discrete random vairable 的 expectation 和 variance, 直接 by def, sum 就可以:

Proposition 2.12 : discrete random variable 的 expectation 和 variance

对于 discrete random variable $𝑋$ with pmf $𝑝_{𝑋}$ ,

𝔼 [𝑋] = \sum_{𝑥} 𝑥 𝑝_{𝑋} (𝑥), Var (𝑋) = \sum_{𝑥} (𝑥 - 𝔼 [𝑋])^{2} 𝑝_{𝑋} (𝑥)

非常简单.

但是对于 continuous random variable 而言, 怎么求呢? 这里有一个 w.r.t. prob measure $ℙ$ 的积分, 有点难计算. 我们更希望计算 w.r.t. Lebesgue measure $𝑚$ 的积分, 这样就可以用一些经典的方法来算它了.

为了实现这个目标, 我们首先需要一个工具来过渡一下:

Lemma 2.2 : 用 distribution ( $𝑋$ 的 push-forward measure) 计算 expectation

对于 random variable $𝑋 : Ω \to ℝ$ , 如果 $𝑋$ integrable, 那么其 expectation

𝔼 [𝑋] = \int_{ℝ} 𝑥 𝑑 ℙ^{𝑋} (𝑥)

Proof

这个结论是 Lebesgue integral 的 change of variable formula 的一个 special case. 注意, $𝑋 = id \circ 𝑋$ ( $id : ℝ \to ℝ$ 是恒等函数).

By change of variable formula,

\int_{Ω} 𝑋 𝑑 ℙ = \int_{Ω} (id \circ 𝑋) 𝑑 ℙ = \int_{ℝ} id (𝑥) 𝑑 ℙ^{𝑋} (𝑥) = \int_{ℝ} 𝑥 𝑑 ℙ^{𝑋} (𝑥)

(如果不用 change of variable theorem, 也可以证明. 考虑 simple function 的 case, 显然; 然后对 simple function 自然成立, 然后用 monotone convergence theorem 推广到一般情况.)

//TODO: 从 diffeomorphism version 的 change of variable formula 证明 push-forward version 的 change of variable formula, 然后 apply 这个结论. 参考: change of variable

□

Proposition 2.13 : continuous random variable 的 expectation 和 variance

对于 continuous random variable $𝑋$ with pdf $𝑓_{𝑋}$ , 如果 $𝔼 [𝑋]$ 和 $Var (𝑋)$ 都是 finite 的, 那么

𝔼 [𝑋] = \int_{- \infty}^{+ \infty} 𝑥 𝑓_{𝑋} (𝑥) 𝑑 𝑥, Var (𝑋) = \int_{- \infty}^{+ \infty} (𝑥 - 𝔼 [𝑋])^{2} 𝑓_{𝑋} (𝑥) 𝑑 𝑥

并且, 对于任意的 measurable function $𝑔 : ℝ \to ℝ$ , 都有

𝔼 [𝑔 (𝑋)] = \int_{- \infty}^{+ \infty} 𝑔 (𝑥) 𝑓_{𝑋} (𝑥) 𝑑 𝑥

Proof

由于 $𝔼 [𝑋] = \int_{ℝ} 𝑥 𝑑 ℙ^{𝑋} (𝑥)$ , 而对于 ctn random variable,

𝑑 ℙ^{𝑋} (𝑥) = 𝑓_{𝑋} (𝑥) 𝑑 𝜆 (𝑥)

从而得证.

□

Proposition 2.14 : expectation 的性质

令 $𝑋, 𝑌 : Ω \to ℝ$ 为 integrable random variables, 则

linearity of expectation: $𝔼 [𝑎 𝑋 + 𝑏 𝑌] = 𝑎 𝔼 [𝑋] + 𝑏 𝔼 [𝑌]$ for any $𝑎, 𝑏 \in ℝ$ .
monotonicity of expectation: 如果 $𝑋 \leq 𝑌$ a.s., 那么 $𝔼 [𝑋] \leq 𝔼 [𝑌]$ .
absolute value: $𝔼 [𝑋] \leq 𝔼 [| 𝑋 |]$

这三条性质都容易验证, 直接 follow from linearity of Lebesgue integral, monotonicity of Lebesgue integral, triangle inequality of Lebesgue integral.

Proposition 2.15 : computing variance

对于 random variable $𝑋$ with finite expectation,

Var (𝑋) = 𝔼 [𝑋^{2}] - (𝔼 [𝑋])^{2}

By def, 容易验证.

2.3.2 $𝐿_{0}^{2} (Ω, ℱ︀, ℙ)$ 与 covariance and correlation as inner product and cosine

我们 recall measure theory 中的一丢丢 functional analysis 的内容:

𝐿^{2} (Ω, ℱ︀, ℙ) = {𝑋 : Ω \to ℝ ∣ 𝑋 is measurable(即 RV)) and 𝔼 [𝑋^{2}] < \infty} / \sim

where $\sim$ 表示 almost sure equality 的等价类, 即

𝑋 \sim 𝑌 \Leftrightarrow ℙ ({𝜔 \in Ω : 𝑋 (𝜔) = 𝑌 (𝜔)}) = 1

即把所有 a.s. 相等的 random variables 都看作相等.

我们知道, 这是一个 Hilbert space, 即一个 complete inner product space, 其中

两个 random variables as vectors 的 inner product 定义为: $⟨ 𝑋, 𝑌 ⟩ ≔ 𝔼 [𝑋 𝑌]$ 即它们的 second
一个 random variable 的 norm 即: $∥ 𝑋 ∥ ≔ \sqrt{⟨ 𝑋, 𝑋 ⟩} = \sqrt{𝔼 [𝑋^{2}]}$ 即它的 second moment 的 square root. 它表示了这个 random variable 的整体离散程度.

虽然这个空间已经有一定的 information geometry 了, 但是我们实际上希望能够用一个结构来描述两个 random variables 之间的线性相关性:

任意取一个 $𝜔$ , $𝑋 (𝜔)$ 较大 (距离它的 expectation 较远) 的时候, $𝑌 (𝜔)$ 是否也通常较大 (距离它的 expectation 较远)? $𝑋 (𝜔)$ 较小的时候, $𝑌 (𝜔)$ 是否也通常较小?

而 $𝐿^{2} (Ω, ℱ︀, ℙ)$ 这个空间作为一个 Hilbert space 时, 两个 random variables 之间的距离其实是它们作为函数的相似性而不是它们变化趋势 (波动) 的相似性.

比如考虑 $𝑋 = 𝑥$ 和 $𝑌 = 𝑥 + 5$ , 它们的线性相关性其实是 1, 即变化趋势完全相同, 但是它们在 $𝐿^{2} ([0, 4], ℱ︀, ℙ)$ 中的 cosine similarity 却是

\frac{⟨ 𝑋, 𝑌 ⟩}{∥ 𝑋 ∥ ∥ 𝑌 ∥} = \frac{46 / 3}{\sqrt{(16 / 3) (151 / 3)}} = \frac{46}{\sqrt{2416}} \approx 0.936

我们希望的是这个 cosine similarity 应当是 1. 即, 应该忽略掉绝对数值, 而是考虑这两个 random variables 的变化趋势.

因而 solution: normalize 每个 random variable, 把它们移动到均值为 0 的位置! 即: 把每个 $𝑋$ center 为 $𝑋 - 𝔼 [𝑋]$ . 这就是:

Definition 2.20 : zero-centered square integrable random variables $𝐿_{0}^{2} (Ω, ℱ︀, ℙ)$

我们定义:

𝐿_{0}^{2} (Ω, ℱ︀, ℙ) ≔ {𝑋 \in 𝐿^{2} (Ω, ℱ︀, ℙ) ∣ 𝔼 [𝑋] = 0}

注意, 这个空间是 $𝐿^{2} (Ω, ℱ︀, ℙ)$ 的一个 subspace.

并且, 我们可以通过把每个 $𝑋$ center 为 $𝑋 - 𝔼 [𝑋]$ 的行为, 把 $𝑋$ 从 $𝐿^{2} (Ω, ℱ︀, ℙ)$ 投影到 $𝐿_{0}^{2} (Ω, ℱ︀, ℙ)$ 这个 subspace 上.
而投影+度量的行为, 就是计算:

Definition 2.21 : covariance

给定两个 random variables $𝑋, 𝑌$ , 我们定义它们的 covariance 为

Cov (𝑋, 𝑌) ≔ 𝔼 [(𝑋 - 𝔼 [𝑋]) (𝑌 - 𝔼 [𝑌])] = 𝔼 [𝑋 𝑌] - 𝔼 [𝑋] 𝔼 [𝑌]

Remark

Geometric intuition of covariance: 考虑取这两个 random variables 的一些 sample points 并分别作为 $(𝑥, 𝑦)$ 坐标.

如果它们的 covariance 是正的, 那么这些 sample points 倾向于拟合为一个斜率为正的 tendency line;
如果它们的 covariance 是负的, 那么这些 sample points 倾向于拟合为一个斜率为负的 tendency line;
如果它们的 covariance 是 0, 那么这些 sample points 倾向于拟合为一个水平的 tendency line.

正、负与零协方差对应的线性趋势

但是注意:

covariance 只捕捉 linear relationship, 即趋势是否呈直线, 不过不能捕捉 nonlinear relationship. 之后在学习 independence 的时候, 我们会知道即便 covariance 为 0, $𝑋$ 和 $𝑌$ 仍然可能是 dependent 的. 比如, 如果 $(𝑋, 𝑌)$ 的联合分布 as a graph 是个圆圈, 那么 covariance 就是 0, 但显然这两个变量之间是有关系的.
零协方差但不独立的圆周分布
Covariance 的数值还包括了这两个 random variables 的 scale, 因而还不能直接用来比较不同 random variables 之间的 linear relationship 的强弱程度. 真正公平的 linear relationship 还需要 normalize by norms, 把这个关系定位到 $[- 1, 1]$ 的区间上即等下定义的 correlation.

我们容易发现一件事情:

Theorem 2.8 : covariance is a positive-semidefinite symmetric bilinear form

covariance 是一个 symmetric bilinear form (并且 translation-invariant, 忽略 translation) 的 operator:
$Cov (𝑎 𝑋 + 𝑏, 𝑐 𝑌 + 𝑑) = 𝑎 𝑐 Cov (𝑋, 𝑌)$ $Cov (𝑋, 𝑌) = Cov (𝑌, 𝑋)$ $Cov (𝑋 + 𝑌, 𝑍) = Cov (𝑋, 𝑍) + Cov (𝑌, 𝑍)$
covariance 满足 positive definiteness: $Cov (𝑋, 𝑋) = Var (𝑋) \geq 0$ .

Proof

By def.

□

而当我们把空间限定在 $𝐿_{0}^{2} (Ω, ℱ︀, ℙ)$ 上时,

Theorem 2.9 : $𝐿_{0}^{2} (Ω, ℱ︀, ℙ)$ 为一个 Hilbert space, with covariance as an inner product

$𝐿_{0}^{2} (Ω, ℱ︀, ℙ), ⟨ \cdot, \cdot ⟩_{Cov}$ 为一个 Hilbert space, 即: covariance 在其上是一个 inner product (positive definite symmetric bilinear form).

Proof

很显然. 因为在 $𝐿^{2}$ space 上, 一个 constant random variable 的 variance 是 0, 但是它并不是一个零函数; 而在 $𝐿_{0}^{2}$ space 上, 所有的 random variables 都是 zero-centered 的, 因而 constant random variable 就是零函数了. 从而 covariance 在 $𝐿_{0}^{2}$ space 上是 positive definite 的, 从而是 inner product.

□

而在 $𝐿_{0}^{2} (Ω, ℱ︀, ℙ)$ 上, 两个 random variables $𝑋, 𝑌$ 之间的夹角 $𝜃$ 的 cosine, 就是它们真正的 linear relationship 的强弱程度, 因而我们把它叫做 correlation:

Definition 2.22 : correlation

𝜌 (𝑋, 𝑌) = \frac{Cov (X, Y)}{\sqrt{Var (𝑋)} \sqrt{Var (𝑌)}}

显然,

𝜌 (𝑋, 𝑌) = cos 𝜃

where $𝜃$ 是 $𝑋, 𝑌$ 之间的夹角. And we have:

Cov (𝑋, 𝑌) = 𝜎_{𝑋} 𝜎_{𝑌} 𝜌 (𝑋, 𝑌)

从而有以下显然的结论:

Proposition 2.16 : properties of correlation

$𝜌 (𝑋, 𝑌) \in [- 1, 1]$
如果 $𝜌 (𝑋, 𝑌) = 1$ , 那么 $𝑌 = 𝑎 𝑋 + 𝑏$ for some $𝑎 > 0$ and $𝑏$ ; 如果 $𝜌 (𝑋, 𝑌) = - 1$ , 那么 $𝑌 = 𝑎 𝑋 + 𝑏$ for some $𝑎 < 0$ and $𝑏$ .
By Cauchy-Schwarz inequality, $| Cov (𝑋, 𝑌) | \leq 𝜎_{𝑋} 𝜎_{𝑌}$ .

做一个总结:

求两个 random variables 之间的 correlation, 就是把它们都 center 到 zero-centered 的位置 (即投影到 $𝐿_{0}^{2}$ space 上), 然后计算它们在 $𝐿_{0}^{2}$ space 上的 cosine similarity.
此时我们看到 decomposition of variance:

Proposition 2.17 : 两个 random variables 之和的 variance

两个 random variables 的和的 variance 可分解成 variances 和 covariance:

Var (𝑋 + 𝑌) = Var (𝑋) + Var (𝑌) + 2 Cov (𝑋, 𝑌)

Proof

Var (𝑋 + 𝑌) = 𝔼 [(𝑋 + 𝑌)^{2}] - (𝔼 [𝑋 + 𝑌])^{2} = 𝔼 [𝑋^{2}] - (𝔼 [𝑋])^{2} + 𝔼 [𝑌^{2}] - (𝔼 [𝑌])^{2} + 2 (𝔼 [𝑋 𝑌] - 𝔼 [𝑋] 𝔼 [𝑌])

□

2.4 discrete random variables

Recall: discrete random variable 是指其 range a.s. 是 countable 的 random variable. (存在一个 countable set $𝑆 \subseteq ℝ$ 使得 $ℙ (𝑋 \in 𝑆) = 1$ )

discrete RV 的 probability mass unction (pmf):

𝑝_{𝑋} (𝑥) ≔ ℙ (𝑋 = 𝑥), \forall 𝑥 \in ℝ

就是 $𝑋$ 的 distribution $𝑃^{𝑋}$ 对于 counting measure of range $𝑆$ 的 Radon-Nikodym derivative:

𝑝_{𝑋} = \frac{𝑑 ℙ^{𝑋}}{𝑑 𝜇_{S}}

因为假设 $𝑋$ 的 range 是 $𝑆 = {𝑥_{1}, 𝑥_{2}, \dots}$ , 那么对于任意 Borel set $𝐵$ ,

ℙ^{𝑋} (𝐵) = \sum_{𝑥_{𝑖} \in 𝐵} ℙ (𝑋 = 𝑥_{𝑖}) = \sum_{𝑥_{𝑖} \in 𝐵 \cap 𝑆} 𝑝_{𝑋} (𝑥_{𝑖}) = \int_{𝐴} 𝑝_{𝑋} (𝑥) 𝑑 𝜇_{S} (𝑥)

下面我们给出一些经典的 discrete random variable 的例子, 以及它们的 pmf 和 cdf.

2.4.1 Bernoulli distribution and Binomial distribution

Example 2.20 : (Bernoulli distribution)

令 $Ω ≔ {𝜔_{1}, 𝜔_{2}}$ , $ℱ︀ ≔ 2^{Ω}$ .
令 $ℙ ({𝜔_{1}}) = 𝑝$ , $ℙ ({𝜔_{2}}) = 1 - 𝑝$ 来表示这两个 singular 事件的概率.
令 $𝑋 (𝜔_{1}) = 1$ , $𝑋 (𝜔_{2}) = 0$ 分别表示 success 和 failure.
那么显然可以计算:

ℙ (𝑋 = 0) = ℙ ({𝜔_{2}}) = 1 - 𝑝, ℙ (𝑋 = 1) = ℙ ({𝜔_{1}}) = 𝑝

我们称 $(Ω, ℱ︀, ℙ)$ 为一个 Bernoulli probability space (它 model 了一个 Bernoulli trial, 即一个 random experiment with two possible outcomes: success 和 failure)
称 $𝑋 : Ω \to {0, 1}$ 这个 random variable 为一个 Bernoulli random variable, 并称 $𝑋$ 的 distribution $𝑃^{𝑋}$ 为一个 Bernoulli distribution, 写作

𝑋 \sim Ber (𝑝)

这是最简单的 random variable 和 distribution 了. 它 model 的是: 比如我们 toss 一枚 biased coin, 以 $𝑝$ 的概率得到 heads (success), 以 $1 - 𝑝$ 的概率得到 tails (failure).

Proposition 2.18

如果 $𝑋 \sim Ber (𝑝)$ , 那么 $𝔼 [𝑋] = 𝑝$ , $Var (𝑋) = 𝑝 (1 - 𝑝)$ .

显然.

Example 2.21 : (Binomial distribution)

我们 independently repeat $𝑛$ 次 Bernoulli trial, 每次 trial 的 success probability 都是 $𝑝$ .
考虑:

𝑆 ≔ 𝑋_{1} + 𝑋_{2} + \dots + 𝑋_{𝑛}

为 success 的总次数. 那么 $𝑆$ 是一个 discrete random variable $𝑆 : Ω^{𝑛} \to ℤ_{\geq 0}$ 容易计算出 $𝑆$ 的 pmf:

𝑝_{𝑆} (𝑘) = ℙ (𝑆 = 𝑘) = (\binom{𝑛}{𝑘}) 𝑝^{𝑘} (1 - 𝑝)^{𝑛 - 𝑘}, 𝑘 = 0, 1, \dots, 𝑛

我们称 $𝑆$ 的 distribution $𝑃^{𝑆}$ 为一个 Binomial distribution, 写作

𝑆 \sim Bin (𝑛, 𝑝)

它 model 的是: 比如我们 toss 一枚 biased coin $𝑛$ 次, 得到 heads 的总次数.

Proposition 2.19

如果 $𝑆 \sim Bin (𝑛, 𝑝)$ , 那么 $𝔼 [𝑆] = 𝑛 𝑝$ , $Var (𝑆) = 𝑛 𝑝 (1 - 𝑝)$ .

Proof

𝔼 [𝑋] = \sum_{𝑘 = 1}^{𝑛} 𝑘 \cdot ℙ (𝑋 = 𝑘) = \sum_{𝑘 = 1}^{𝑛} 𝑘 \cdot (\binom{𝑛}{𝑘}) 𝑝^{𝑘} (1 - 𝑝)^{𝑛 - 𝑘} = 𝑝 (1 - 𝑝)^{𝑛 - 1} \sum_{𝑘 = 1}^{𝑛} 𝑘 \cdot (\binom{𝑛}{𝑘}) (\frac{𝑝}{1 - 𝑝})^{𝑘 - 1}

由于

(1 + 𝑡)^{𝑛} = \sum_{𝑘 = 0}^{𝑛} (\binom{𝑛}{𝑘}) 𝑡^{𝑘} ⟹ 𝑛 (1 + 𝑡)^{𝑛 - 1} = \sum_{𝑘 = 1}^{𝑛} 𝑘 \cdot (\binom{𝑛}{𝑘}) 𝑡^{𝑘 - 1}

可以得到

𝔼 [𝑋] = 𝑝 (1 - 𝑝)^{𝑛 - 1} \cdot 𝑛 (1 + \frac{𝑝}{1 - 𝑝})^{𝑛 - 1} = 𝑛 𝑝

然后计算得 $Var (𝑋) = 𝑛 𝑝 (1 - 𝑝)$ . 但是这是比较麻烦的方法. 也可以利用 $𝑋 = \sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖}$ , 其中 $𝑋_{𝑖} \sim Ber (𝑝)$ i.i.d 这个事实来计算, 那么直接通过线性叠加 Bernoulli random variable 的 expectation 和 variance 就可以了.

□

2.4.2 Geometric distribution and Negative Binomial distribution

Example 2.22 : (Geometric distribution)

我们 perform independent Bernoulli trial, 每次 trial 的 success probability 都是 $𝑝$ .
考虑 random variable $𝑇$ 表示第一次 success 发生的 trial number. (也就是等于: 我们一直 trial, 直到第一次 success 发生, 那么这个 trial 的 number 就是 $𝑇$ ).
那么 $𝑇$ 是一个 discrete random variable $𝑇 : Ω^{\infty} \to ℤ_{\geq 1}$ .
容易计算出 $𝑇$ 的 pmf:

𝑝_{𝑇} (𝑘) = ℙ (𝑇 = 𝑘) = (1 - 𝑝)^{𝑘 - 1} 𝑝, 𝑘 = 1, 2, \dots

我们称 $𝑇$ 的 distribution $𝑃^{𝑇}$ 为一个 Geometric distribution, 写作

𝑇 \sim Geom (𝑝)

它 model 的是: 比如我们 toss 一枚 biased coin, 第一次得到 heads 的 trial number.

Proposition 2.20

如果 $𝑋 \sim Geom (𝑝)$ , 那么 $𝔼 [𝑋] = 1 / 𝑝$ , $Var (𝑋) = (1 - 𝑝) / 𝑝^{2}$ .

Proof

𝔼 [𝑋] = \sum_{𝑘 = 1}^{\infty} 𝑘 (1 - 𝑝)^{𝑘 - 1} 𝑝 = 𝑝 \sum_{𝑘 = 1}^{\infty} 𝑘 (1 - 𝑝)^{𝑘 - 1} = 𝑝 - \frac{𝑑}{𝑑 (1 - 𝑝)} \sum_{𝑘 = 0}^{\infty} (1 - 𝑝)^{𝑘} = - 𝑝 - \frac{𝑑}{𝑑 𝑝} \frac{1}{1 - (1 - 𝑝)} = \frac{1}{𝑝}

similarly, 可以计算得

𝔼 [𝑋^{2}] = \frac{2 - 𝑝}{𝑝^{2}}

因而

Var [𝑋] = 𝔼 [𝑋^{2}] - (𝔼 [𝑋])^{2} = \frac{1 - 𝑝}{𝑝^{2}}

□

Example 2.23 : (Negative Binomial distribution)

这是 Geometric distribution 的 generalization (但不完全一样).
我们 perform independent Bernoulli trial, 每次 trial 的 success probability 都是 $𝑝$ . (即 independent and identically distributed)
令 random variable $𝑇_{𝑟}$ 表示第 $𝑟$ 次 success 发生之前的 failures 的数量. (也就是等于: 我们一直 trial, 直到第 $𝑟$ 次 success 发生, 那么这个 trial 的 number 就是 $𝑇_{𝑟} + 𝑟$ , 因为 $𝑇_{𝑟}$ 是 failures 的数量, 还要加上 $𝑟 - 1$ 个 success. ).
那么 $𝑇_{𝑟}$ 是一个 discrete random variable $𝑇_{𝑟} : Ω^{\infty} \to ℤ_{\geq 0}$ .
容易计算出 $𝑇_{𝑟}$ 的 pmf:

𝑝_{𝑇_{𝑟}} (𝑘) = ℙ (𝑇_{𝑟} = 𝑘) = (\binom{𝑘 + 𝑟 - 1}{𝑘}) (1 - 𝑝)^{𝑘} 𝑝^{𝑟}, 𝑘 = 0, 1, 2, \dots

这是因为:最后一次 success 的位置是固定的. 我们要在前 $𝑘 + 𝑟 - 1$ 次 trial 中选择 $𝑘$ 次作为 failures.
我们称 $𝑇_{𝑟}$ 的 distribution $𝑃^{𝑇_{𝑟}}$ 为一个 Negative Binomial distribution, 写作

𝑇_{𝑟} \sim NB (𝑟, 𝑝)

它 model 的是: 比如我们 toss 一枚 biased coin, 得到第 $𝑟$ 个 heads 之前会经历的 failures 的数量.

2.4.3 Poisson distribution

Example 2.24 : (Poisson distribution)

考虑这一 pmf:

ℙ (𝑋 = 𝑘) = 𝑒^{- 𝜆} \frac{𝜆^{𝑘}}{𝑘!}, 𝑘 = 0, 1, 2, \dots

我们称 $𝑋$ 的 distribution $𝑃^{𝑋}$ 为一个 Poisson distribution, 写作

𝑋 \sim Poi (𝜆), 𝜆 > 0

以 $𝜆 = 3$ 为例画出 pmf 示意图:

参数

𝜆 = 3

的 Poisson 概率质量函数

Remark

当 $𝑛 \to \infty$ 时, $Bin (𝑛, 𝜆 / 𝑛)$ 的 distribution 趋近于 $Poi (𝜆)$ .
考虑 $𝑋 \sim 𝐵 (𝑛, \frac{𝜆}{𝑛})$ , 对于固定的 $𝑘$ :

ℙ (𝑋 = 𝑘) = (\binom{𝑛}{𝑘}) {(\frac{𝜆}{𝑛})}^{𝑘} {(1 - \frac{𝜆}{𝑛})}^{𝑛 - 𝑘}

展开组合数 $(\binom{𝑛}{𝑘})$ :

ℙ (𝑋 = 𝑘) = \frac{𝑛 (𝑛 - 1) \dots (𝑛 - 𝑘 + 1)}{𝑘!} \cdot \frac{𝜆^{𝑘}}{𝑛^{𝑘}} \cdot {(1 - \frac{𝜆}{𝑛})}^{𝑛} \cdot {(1 - \frac{𝜆}{𝑛})}^{- 𝑘}

重组项:

ℙ (𝑋 = 𝑘) = \frac{𝜆^{𝑘}}{𝑘!} \cdot \underset{(1)}{\underset{⏟}{\frac{𝑛 (𝑛 - 1) \dots (𝑛 - 𝑘 + 1)}{𝑛^{𝑘}}}} \cdot \underset{(2)}{\underset{⏟}{{(1 - \frac{𝜆}{𝑛})}^{𝑛}}} \cdot \underset{(3)}{\underset{⏟}{{(1 - \frac{𝜆}{𝑛})}^{- 𝑘}}}

其中, (1) 的 limit 是 1, (2) 的 limit 是 $𝑒^{- 𝜆}$ , (3) 的 limit 是 1, 因而

lim_{𝑛 \to \infty} ℙ (𝑋 = 𝑘) = 𝑒^{- 𝜆} \frac{𝜆^{𝑘}}{𝑘!}

这个极限行为的意义是:

$𝜆$ 表示: 在一个固定时间/空间窗口内, 一个事件出现的平均次数的观测.
我们把这段时间间分成 $𝑛$ 个小窗口, 将这个观测作为先验知识用来 model 这类事件实现的平均概率, 那么每个小窗口内事件出现的概率是 $𝑝 = 𝜆 / 𝑛$ .
每个 $Bin (𝑛, 𝜆 / 𝑛)$ 都表示: 在时间细分成 $𝑛$ 个小窗口的情况下, 这个事件出现的次数的分布. (注意不是在时间上的分布, 而是在次数上的分布)
当 $𝑛 \to \infty$ 时, 其意义: 基于连续时间的估计, 这个事件在原固定事件窗口内出现的次数的分布. 这就是 $Poi (𝜆)$ 的意义.

因而 Poisson distribution 的意义本质上是: 给定对一个事件在固定窗口下出现的平均次数的观测(估计), 那么这个事件在这个窗口内出现 $𝑛$ 次 ( $𝑛 = 0, 1, 2, \dots$ )的概率是多少?
所以 Poisson 分布, 即是根据一个事件在给定 windows 内发生次数的 expectation, 来估计这个事件在该 windows 内发生次数的分布的标准方法.

Proposition 2.21

如果 $𝑋 \sim Poi (𝜆)$ , 那么 $𝔼 [𝑋] = 𝜆$ , $Var (𝑋) = 𝜆$ .

Proof

recall $𝑒^{𝑥}$ 的 taylor expansion:

𝑒^{𝑥} = \sum_{𝑘 = 0}^{\infty} \frac{𝑥^{𝑘}}{𝑘!}

因而

𝔼 [𝑋] = \sum_{𝑘 = 0}^{\infty} 𝑘 𝑒^{- 𝜆} \frac{𝜆^{𝑘}}{𝑘!} = 𝑒^{- 𝜆} 𝜆 \sum_{𝑘 = 1}^{\infty} \frac{𝜆^{𝑘 - 1}}{(𝑘 - 1)!} = 𝑒^{- 𝜆} 𝜆 𝑒^{𝜆} = 𝜆

similarly, 可以计算得

𝔼 [𝑋^{2}] = 𝜆^{2} + 𝜆

因此,

Var (𝑋) = 𝔼 [𝑋^{2}] - (𝔼 [𝑋])^{2} = 𝜆

□

2.4.3.1 Poisson distribution 的 additivity

Theorem 2.10 : additivity of Poisson distribution

如果 $𝑋 \sim Poi (𝜆_{1})$ , $𝑌 \sim Poi (𝜆_{2})$ are independent, 那么

𝑋 + 𝑌 \sim Poi (𝜆_{1} + 𝜆_{2})

2.5 continuous random variables

recall: 总而言之, continuous random variable 是指其 distribution $ℙ^{𝑋}$ 对于 Lebesgue measure $𝑚$ 是 absolutely continuous 的 random variable, 等价于存在一个 pdf $𝑓_{𝑋}$ 使得

𝐹_{𝑋} (𝑥) = \int_{- \infty}^{𝑥} 𝑓_{𝑋} (𝑦) 𝑑 𝑦

对于任意 $𝑥$ 都成立.

而由 $𝔼 [𝑋] = \int_{Ω} 𝑋 𝑑 ℙ = \int_{ℝ} 𝑥 𝑑 ℙ^{𝑋} = \int_{ℝ} 𝑥 𝑓_{𝑋} (𝑥) 𝑑 𝑥$ 可得

𝔼 [𝑋] = \int_{- \infty}^{+ \infty} 𝑥 𝑓_{𝑋} (𝑥) 𝑑 𝑥, Var (𝑋) = \int_{- \infty}^{+ \infty} (𝑥 - 𝔼 [𝑋])^{2} 𝑓_{𝑋} (𝑥) 𝑑 𝑥

这里还有一个额外的结论:

Proposition 2.22

对于任意的 measurable function $𝑔 : ℝ \to ℝ$ , 都有

𝔼 [𝑔 (𝑋)] = \int_{- \infty}^{+ \infty} 𝑔 (𝑥) 𝑓_{𝑋} (𝑥) 𝑑 𝑥

Proof

\begin{aligned} 𝔼 [𝑔 (𝑋)] & = \int_{Ω} 𝑔 (𝑋 (𝑤)) 𝑑 ℙ (𝑤) \\ = \int_{Ω} 𝑔 \circ 𝑋 𝑑 ℙ \\ = \int_{ℝ} 𝑔 𝑑 ℙ^{𝑋} \\ = \int_{- \infty}^{+ \infty} 𝑔 (𝑥) 𝑓_{𝑋} (𝑥) 𝑑 𝑥 \end{aligned}

□

下面我们介绍一些常见的 continuous random variables, 以及它们的 pdf, cdf, expectation 和 variance.

2.5.1 uniform distribution: 最简单的 continuous RV

Definition 2.23 : uniform distribution

如果 $𝑓_{𝑋} (𝑥) = \frac{1}{𝑏 - 𝑎}$ on $(𝑎, 𝑏)$ and $0$ elsewhere, 那么我们称 $𝑋$ 的 distribution $𝑃^{𝑋}$ 为一个 uniform distribution, 写作

𝑋 \sim 𝑈 ([𝑎, 𝑏])

对于 uniform distribution, 很容易计算得:

𝐹_{𝑋} (𝑥) = \frac{𝑥 - 𝑏}{𝑏 - 𝑎}, 𝔼 [𝑋] = \frac{𝑎 + 𝑏}{2}, Var (𝑋) = \frac{(𝑏 - 𝑎)^{2}}{12}

Example 2.25 : (uniform distribution 的 pdf 和 cdf)

考虑 $𝑋 \sim 𝑈 ([𝑎, 𝑏])$ , 其 pdf 和 cdf 的图像如下:

区间

[𝑎, 𝑏]

上均匀分布的概率密度函数

区间

[𝑎, 𝑏]

上均匀分布的累积分布函数

2.5.2 exponential distribution: geometric distribution 的 continuous version

Exponential random variable model 的是一盏灯的 remaining lifetime. 它 assume: 任意时间, 这盏灯有一个 constant 的磨损速率.

假设它的磨损速率是 $𝜆 = 𝜆_{𝑋} (𝑡)$ for all $𝑡$ , 那么在任意时间 $𝑡$ 上:

𝜆_{𝑋} (𝑡) = lim_{ℎ \to 0^{+}} \frac{𝑃 (𝑋 \in (𝑡, 𝑡 + ℎ])}{ℎ} = lim_{ℎ \to 0^{+}} \frac{ℙ (𝑡 \leq 𝑋 \leq 𝑡 + ℎ)}{ℎ} \cdot \frac{1}{ℙ (𝑋 > 𝑡)} = \frac{𝑓_{𝑋} (𝑡)}{1 - 𝐹_{𝑋} (𝑡)}

即 ODE:

𝜆 = \frac{𝐹_{𝑋}^{'} (𝑡)}{1 - 𝐹_{𝑋} (𝑡)}

with initial condition $𝐹_{𝑋} (0) = 0$ .

我们知道这个 ODE 的 solution 是:

\begin{matrix} 𝐹_{𝑋} (𝑡) = {1 - 𝑒^{- 𝜆 𝑡}, 𝑡 > 0 \\ 0, 𝑡 \leq 0, 𝑓_{𝑋} (𝑡) = {𝜆 𝑒^{- 𝜆 𝑡}, 𝑡 > 0 \\ 0, 𝑡 \leq 0 \end{matrix}

Definition 2.24 : exponential distribution

我们称 $𝑋$ 为一个 exponential random variable with parameter $𝜆$ , 如果它的 pdf is given by:

\begin{matrix} 𝑓 (𝑥) = {𝜆 𝑒^{- 𝜆 𝑥}, 𝑥 > 0 \\ 0, 𝑥 \leq 0 \end{matrix}

写作

𝑋 \sim Exp (𝜆)

刚才已经计算出, exponential random variable 的 distribution 为

\begin{matrix} 𝐹_{𝑋} (𝑥) = {\int_{- \infty}^{𝑥} 𝑓 (𝑡) 𝑑 𝑡 = 𝜆 \int_{0}^{𝑥} 𝑒^{- 𝜆 𝑡} 𝑑 𝑡 = 1 - 𝑒^{- 𝜆 𝑥}, 𝑥 > 0 \\ 0, 𝑥 < 0 \end{matrix}

容易验证, $𝐹_{𝑋} (𝑥) = 0$ when $𝑥 \to - \infty$ , 以及 $𝐹_{𝑋} (𝑥) \to 1$ when $𝑥 \to \infty$

计算其 expectation:

\begin{aligned} 𝔼 [𝑋^{𝑛}] & = 𝜆 \int_{0}^{\infty} 𝑥^{𝑛} 𝑒^{- 𝜆 𝑥} 𝑑 𝑥 \\ = - \int_{0}^{\infty} 𝑥^{𝑛} (𝑒^{- 𝜆 𝑥})^{'} 𝑑 𝑥 \\ = 0 + \int_{0}^{\infty} 𝑛 𝑥^{𝑛 - 1} 𝑒^{- 𝜆 𝑥} 𝑑 𝑥 \\ = \frac{𝑛}{𝜆} 𝔼 (𝑋^{𝑛 - 1}) \end{aligned}

并 notice: $𝔼 [𝑋^{0}] = 𝔼 [1] = 1$ . 因而 recursively get:

𝔼 [𝑋^{𝑛}] = \frac{𝑛!}{𝜆^{𝑛}}

即: $𝔼 [𝑋] = \frac{1}{𝜆}, 𝔼 [𝑋^{2}] = \frac{2}{𝜆^{2}}, \dots$ 从而:

𝑉 𝑎 𝑟 [𝑋] = \frac{2}{𝜆^{2}} - \frac{1}{𝜆^{2}} = \frac{1}{𝜆^{2}}

指数分布的概率密度函数

指数分布的累积分布函数

Remark

exponential 随机变量是 geometric 随机变量的 continuous analogue. 因为 geometric random variable 是假设一个事件在每个时间点以 constant 的概率发生, 用来 model 它第一次发生的时间;

而 exponential random variable 其实也是, 只是 on a continuous time scale: 它假设的 constant 损坏率其实 implies: 在任意时间, 如果灯还没坏, 那么灯此刻坏掉的概率是 constant 的.

Theorem 2.11 : memoryless property of exponential distribution

任意 continuous RV,

ℙ (𝑋 > 𝑏 + 𝑡 ∣ 𝑋 > 𝑏) = ℙ (𝑋 > 𝑡) \Leftrightarrow 𝑋 is an exponential random variable

Proof

简单而言

\begin{aligned} 𝑃 (𝑋 > 𝑏 + 𝑡 ∣ 𝑋 > 𝑏) = 𝑃 (𝑋 > 𝑡) \\ \Leftrightarrow & 𝑃 (𝑋 > 𝑏 + 𝑡) = 𝑃 (𝑋 > 𝑡) 𝑃 (𝑋 > 𝑏) \\ \Leftrightarrow & 𝑋 exponential \end{aligned}

□

因而对于 geometric RV 的 pmf, 当我们把时间间隔 (discrete time interval) 变得越来越小, 这一行为的极限就变为了 exponential RV 的 pdf.

这是一个很自然的 limit behavior, 此处不验证了.

Example 2.26

假设我们有一个 storage battery, 它的 lifetime 是 exponentially distributed 的, 并且 average 为 10 hours. Suppose 我们想要 use this battery for 5 hours for.

计算: probability of finishing the task, if:
(a) 使用一个 new battery
(b) 使用一个已经用过 2 hours 的 battery

Solution

𝔼 [𝑋] = 10 = \frac{1}{𝜆} ⟹ 𝜆 = \frac{1}{10}

如果我们使用一个 new battery, 则 want: $𝑃 (𝑋 > 5) = 1 - 𝑃 (𝑋 < 5) = 1 - 𝐹_{𝑋} (5) = 𝑒^{- \frac{1}{2}}$ 如果我们使用一个用过 2 hours 的 battery, 则 want:

𝑃 (𝑋 > 5 + 2 ∣ 𝑋 > 2) = \frac{𝑒^{- (5 + 2) 𝜆}}{𝑒^{- 2 𝜆}} = 𝑒^{- 5 𝜆} = = 𝑒^{- \frac{1}{2}}

Notice:

𝑃 (𝑋 > 5) = 𝑃 (𝑋 > 5 + 2 ∣ 𝑋 > 2)

2.5.3 Gamma distribution: negative binomial distribution 的 continuous version

recall Gamma 函数:

Γ (𝛼) = \int_{0}^{\infty} 𝑥^{𝛼 - 1} 𝑒^{- 𝑥} 𝑑 𝑥

这个函数有一个重要的性质:

Γ (𝛼 + 1) = 𝛼 Γ (𝛼)

因而对于 $𝑛 \in ℕ$ , 我们有:

Γ (𝑛) = (𝑛 - 1)!

Gamma 函数就是 factorial 函数的 continuous generalization.

Definition 2.25 : $Γ$ -distribution

如果 continuous random variable $𝑋$ 的 pdf 是:

𝑓_{𝑋} (𝑥) = {\begin{cases} \frac{𝜆^{𝛼}}{Γ (𝛼)} 𝑥^{𝛼 - 1} 𝑒^{- 𝜆 𝑥}, & 𝑥 > 0, \\ 0, & 𝑥 \leq 0 \end{cases}

那么我们称 $𝑋$ 服从 $Γ$ distribution, 写作

𝑋 \sim Γ (𝛼, 𝜆)

其中 $𝛼 > 0$ 称为 shape parameter, $𝜆 > 0$ 称为 rate parameter.

$Γ$ distribution 的 cdf 这样求: for $𝑎 \geq 0$ ,

\begin{aligned} 𝐹_{𝑋} (𝑎) = \int_{- \infty}^{𝑎} 𝑓_{𝑋} (𝑥) 𝑑 𝑥 & = \int_{0}^{𝑎} \frac{𝜆^{𝛼}}{Γ (𝛼)} 𝑥^{𝛼 - 1} 𝑒^{- 𝜆 𝑥} 𝑑 𝑥 \\ = \frac{1}{Γ (𝛼)} \int_{0}^{𝜆 𝑎} 𝑡^{𝛼 - 1} 𝑒^{- 𝑡} 𝑑 𝑡 \end{aligned}

and for $𝑎 < 0$ , $𝐹_{𝑋} (𝑎) = 0$ .

Expectation:

\begin{aligned} 𝔼 [𝑋] & = \frac{1}{Γ (𝛼)} \int_{0}^{\infty} (𝜆 𝑥)^{𝛼 - 1} 𝜆 𝑒^{- 𝜆 𝑥} 𝑑 𝑥 \\ = \frac{1}{𝜆 Γ (𝛼)} \int_{0}^{\infty} 𝑥^{𝛼} 𝑒^{- 𝑥} 𝑑 𝑥 \\ = \frac{Γ (𝛼 + 1)}{𝜆 Γ (𝛼)} = \frac{𝛼}{𝜆} \end{aligned}

(since $Γ (𝛼 + 1) = 𝛼 Γ (𝛼)$ .) 同理我们可以计算得: $𝔼 [𝑋^{2}] = \frac{𝛼 (𝛼 + 1)}{𝜆^{2}}$ 从而

Var [𝑋] = 𝔼 [𝑋^{2}] - (𝔼 [𝑋])^{2} = \frac{𝛼 (𝛼 + 1)}{𝜆^{2}} - \frac{𝛼^{2}}{𝜆^{2}} = \frac{𝛼}{𝜆^{2}}

容易发现: 当 $𝛼 = 1$ 时, $Γ$ distribution 就退化成了 exponential distribution.

Γ (1, 𝜆) = Exp (𝜆)

而当 $𝛼$ 是一个正整数 $𝑛$ 时, $Γ$ distribution 实际就是 $𝑛$ 个 independent exponential distribution 的 sum:

Proposition 2.23 : Gamma distribution as a sum of independent exponentials

Let $𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛} \sim Exp (𝜆)$ be i.i.d., 则

Γ (𝑛, 𝜆) = \sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖}

Proof

证明这一结论除了硬算之外, 更快的方法是通过 moment generating function. //TODO

□

2.5.4 normal random variables: 最重要的 continuous RV, 任意 RV 的叠加极限

Definition 2.26

我们称 $𝑋$ is normally distributed with parameter $𝜇$ and $𝜎$ , if the pdf of $𝑋$ is given by:

𝑝 (𝑥) = \frac{1}{𝜎 \sqrt{2 𝜋}} 𝑒^{- \frac{(𝑥 - 𝜇)^{2}}{2 𝜎^{2}}}

写作:

𝑋 \sim 𝒩︀ (𝜇, 𝜎^{2})

特别地, 当 $𝜇 = 0, 𝜎 = 1$ 时,

𝑋 \sim 𝒩︀ (0, 1)

被称为 standard normal distribution.

验证其为 valid pdf:
我们首先验证 standard normal distribution. 令:
$𝐼 ≔ \int_{0}^{\infty} 𝑒^{\frac{- 𝑦^{2}}{2}} 𝑑 𝑦$
则
$\begin{aligned} 𝐼^{2} & = \int_{0}^{\infty} 𝑒^{\frac{- 𝑦^{2}}{2}} 𝑑 𝑦 \cdot \int_{0}^{\infty} 𝑒^{\frac{- 𝑥^{2}}{2}} 𝑑 𝑥 \\ = \int_{ℝ_{\geq 0}^{2}} 𝑒^{- \frac{𝑥^{2} + 𝑦^{2}}{2}} 𝑑 𝑥 𝑑 𝑦 \\ = \int_{0}^{𝜋 / 2} \int_{0}^{\infty} 𝑒^{- \frac{𝑟^{2}}{2}} 𝑟 𝑑 𝑟 𝑑 𝜃 \\ = \int_{0}^{𝜋 / 2} - 𝑒^{- \frac{𝑟^{2}}{2}} 0_{\infty} 𝑑 𝜃 \\ = \int_{0}^{𝜋 / 2} 1 𝑑 𝜃 = \frac{𝜋}{2} \end{aligned}$
从而得到 $𝐼 = \frac{\sqrt{2 𝜋}}{2}$ . 因而 $\int_{- \infty}^{\infty} 𝑒^{- \frac{𝑥^{2}}{2}} 𝑑 𝑥 = \sqrt{2 𝜋}$ , 因而 $\int_{ℝ} 𝑝 (𝑥) 𝑑 𝑥 = 1$ .
从而对于任意的 $𝜇$ 和 $𝜎$ , 通过 change of variable formula 易得 $\int_{ℝ} 𝑝 (𝑥) 𝑑 𝑥 = 1$ .
计算其 expectation 和 variance:
我们只需要计算 standard normal distribution 的 expectation 和 variance, 然后通过 expectation 的 linearity 和 variance 的 scale invariance 来计算.
令 $𝑋 \sim 𝒩︀ (0, 1)$ . Then
$𝔼 [𝑋] = \frac{1}{\sqrt{2 𝜋}} \int_{ℝ} 𝑥 𝑒^{- \frac{𝑥^{2}}{2}} 𝑑 𝑥 = 0$
因为这是一个 odd function. 从而
$\begin{aligned} 𝔼 [𝑋^{2}] & = \frac{1}{\sqrt{2 𝜋}} \int_{ℝ} 𝑥^{2} 𝑒^{- \frac{𝑥^{2}}{2}} 𝑑 𝑥 = \frac{1}{\sqrt{2 𝜋}} \int_{ℝ} 𝑥 (𝑥 𝑒^{- \frac{𝑥^{2}}{2}}) 𝑑 𝑥 = \frac{1}{\sqrt{2 𝜋}} \int_{ℝ} 𝑥 (𝑒^{- \frac{𝑥^{2}}{2}})^{'} 𝑑 𝑥 \\ = - \frac{1}{\sqrt{2 𝜋}} 𝑥 𝑒^{- \frac{𝑥^{2}}{2}} {- \infty}_{\infty} + \frac{1}{\sqrt{2 𝜋}} \int_{ℝ} 𝑒^{- \frac{𝑥^{2}}{2}} 𝑑 𝑥 = 0 + 1 = 1 \end{aligned}$
从而:
$Var (𝑋) = 1$
For general normally distributed $𝑌$ , 我们知道了 $𝑋 : = \frac{𝑌 - 𝜇}{𝜎}$ 的 $𝔼 [𝑋] = 0$ , $Var (𝑋) = 1$ , 因而
$𝔼 [𝑌] = 𝔼 [𝜎 𝑋 + 𝜇] = 𝜇$
and
$Var (𝑌) = Var (𝜎 𝑋 + 𝜇) = 𝔼 [(𝜎 𝑋 + 𝜇 - 𝜇)^{2}] = 𝔼 (𝜎^{2} 𝑋^{2}) = 𝜎^{2} 𝔼 [𝑋^{2}] = 𝜎^{2}$
对于多个 i.i.d. normally distributed $𝑋$ ,
$𝔼 [𝑋^{𝑘}] = \frac{1}{\sqrt{2 𝜋}} \int_{ℝ} 𝑥^{𝑘} 𝑒^{- \frac{𝑥^{2}}{2}} 𝑑 𝑥$
For $𝑘$ odd, it is $0$ .
For $𝑘$ even:
$\begin{aligned} 𝔼 [𝑋^{𝑘}] & = \frac{1}{\sqrt{2 𝜋}} \int_{ℝ} 𝑥^{𝑘 - 1} (𝑥 𝑒^{- \frac{𝑥^{2}}{2}}) 𝑑 𝑥 \\ = - \frac{1}{\sqrt{2 𝜋}} \int_{ℝ} 𝑥^{𝑘 - 1} (𝑒^{- \frac{𝑥^{2}}{2}})^{'} 𝑑 𝑥 \\ = 0 + \frac{1}{\sqrt{2 𝜋}} \int_{ℝ} (𝑥^{𝑘 - 1})^{'} 𝑒^{- \frac{𝑥^{2}}{2}} 𝑑 𝑥 \\ = \frac{𝑘 - 1}{\sqrt{2 𝜋}} \int_{ℝ} 𝑥^{𝑘 - 2} 𝑒^{- \frac{𝑥^{2}}{2}} 𝑑 𝑥 \\ = (𝑘 - 1) 𝔼 [𝑋^{𝑘 - 2}] \end{aligned}$
从而:
$\begin{matrix} 𝔼 [𝑋^{𝑘}] = {0, 𝑘 = 2 𝑗 - 1 \\ (2 𝑗 - 1) (2 𝑗 - 3) \dots 1 = \frac{(2 𝑗)!}{2^{𝑗} 𝑗!}, 𝑘 = 2 𝑗 \end{matrix}$
其 cdf:
$Φ (𝑎) ≔ 𝐹_{𝑋} (𝑎) = \int_{(- \infty, 𝑎]} 𝜌 (𝑥) 𝑑 𝑥 = \frac{1}{\sqrt{2 𝜋}} \int_{(- \infty, 𝑎]} 𝑒^{- \frac{𝑥^{2}}{2}} 𝑑 𝑥$
我们在微积分中知道, 这个 integral 没有 closed form solution. 因而我们只能给出数值 approximation. Important numerical values:
$Φ (- 3) \approx 0.0013; Φ (- 2) \approx 0.023; Φ (- 1) \approx 0.159$
Note 由于 $𝜌$ (std) 是一个 even function, 有 $𝑃 (𝑋 < - 1) = 𝑃 (𝑋 > 1)$ 因而
$𝑃 (𝑋 is one std dev from mean) = 2 (𝑃 (𝑋 < - 1)) = 2 Φ (- 1) \approx 0.32 = 32 %$
Similarly,
$𝑃 (𝑋 is two std dev from mean) \approx 0.046 = 4.6 %$ $𝑃 (𝑋 is three std dev from mean) \approx 0.0026 = 0.26 %$

为什么 normal random variables 非常重要: 因为有一个 universality property called central limit theorem. 之后的章节我们会展开讨论:

任意的 random variable, 只要 expectation 和 variance 都是 finite 的, 那么它们的叠加极限都会服从 normal distribution.

这里我们先给出一个 special case of central limit theorem:

Theorem 2.12 : De Moivre–Laplace theorem

令 $𝑆_{𝑛} \sim Bin (𝑛, 𝑝)$ , 则

lim_{𝑛 \to \infty} 𝑃 \frac{𝑆_{𝑛} - 𝔼 (𝑆_{𝑛})}{𝜎 (𝑆_{𝑛})} \in (𝑎, 𝑏) = Φ (𝑏) - Φ (𝑎) = \frac{1}{\sqrt{2 𝜋}} \int_{(𝑎, 𝑏)} 𝑒^{- \frac{𝑥^{2}}{2}} 𝑑 𝑥

(Proof: later chapters.)

Example 2.27

Toss a million times 一个 fair coin. Approximate the prob that we get more than $501000$ heads:

𝔼 (𝑆_{1000000}) = 𝑛 𝑝 = 500000

𝜎 (𝑆_{1000000}) = \sqrt{𝑛 𝑝 𝑞} = 500

因而:

\begin{aligned} ℙ (𝑆_{1000000} > 501000) & = ℙ (𝑆_{1000000} - 𝔼 (𝑆_{1000000}) > 1000) \\ = ℙ (\frac{𝑆_{1000000} - 𝔼 (𝑆_{1000000})}{𝜎 (𝑆_{1000000})} > \frac{1000}{500}) \\ \approx 1 - Φ (2) = Φ (- 2) \approx 0.159 \end{aligned}

除此之外 need to mention: Poission distribution 当 $𝜆 \to \infty$ 时, 也得到 normal distribution.

这并不是一个令人惊讶的事情. 也可以用 central limit theorem 来解释. 因为 recall: Poisson distribution 有一个很重要的 property: additivity. 因而 $𝜆 \to \infty$ 也可以看作 $𝑛$ 个 i.i.d. Poisson distribution 的 sum 在 $𝑛 \to \infty$ 时的极限行为, 从而通过 central limit theorem 得到 normal distribution.

2.5.5 summmary of discrete and continuous variables examples

3 joint and conditional distributions

3.1 random vector and joint distributions

3.1.1 random vector

Definition 3.27 : random vector

对于 prob space $(Ω, ℱ︀, 𝑃)$ , 一个 function $𝐗 : Ω \to ℝ^{𝑛}$ 如果是一个 $(ℱ︀, ℬ︀ (ℝ^{𝑛}))$ -measurable function (即 $(ℳ︀, 𝒩︀)$ -measurable function 在这两个 measurable spaces 上的情形), 则称它为一个 $𝑛$ -dimensional random variable, 或者 $𝑛$ -dimensional random vector.

通常我们将 random vector 写成分量形式

𝐗 (𝜔) = (𝑋_{1} (𝜔), 𝑋_{2} (𝜔), \dots, 𝑋_{𝑛} (𝜔))^{𝑇}

random vector 相当于在一个 prob space 上, 考虑多个重新分配 mass 的方法, 并把它们并列起来.

Proposition 3.24 : 由 $𝑛$ 个 random variable 构成的 vector 是一个 random vector

令 $𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛}$ 是定义在同一个 prob space $(Ω, ℱ︀, ℙ)$ 上的 $𝑛$ 个 random variables. 则函数 $𝐗 : Ω \to ℝ^{𝑛}$ defined by

𝜔 \mapsto (𝑋_{1} (𝜔), 𝑋_{2} (𝜔), \dots, 𝑋_{𝑛} (𝜔))^{𝑇}

是一个 random vector.

Proof

□

Proposition 3.25 : 一个 random vector 的每个分量都是一个 random variable

令 $𝐗 = (𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛})^{𝑇}$ 是一个 random vector. 则对于任意 $𝑖$ , $𝑋_{𝑖}$ 都是一个 random variable.

Proof

对于 $𝐗 : Ω \to ℝ^{𝑛}$ 是 $(ℱ︀, ℬ︀ (ℝ^{𝑛}))$ -measurable, 我们可以将第 $𝑖$ 个分量 $𝑋_{𝑖}$ 看作是 composition of two maps:

𝑋_{𝑖} = 𝜋_{𝑖} \circ 𝐗

其中 $𝜋_{𝑖} : ℝ^{𝑛} \to ℝ$ projection map $𝜋_{𝑖} (𝑥_{1}, \dots, 𝑥_{𝑛}) = 𝑥_{𝑖}$ .
由于 projection map $𝜋_{𝑖}$ 是一个 Borel measurable function, 我们可以得出: $𝑋_{𝑖} = 𝜋_{𝑖} (𝐗)$ 也是一个 Borel measurable function, 也就是一个 random variable.

□

Remark

上两条 propositions 说明了一个事情: random vectors 和其分量 random variables 完全相互决定.

random variables 组合起来一定是一个 random vector.
random vector 拆开每个分量一定是 random variable.

因而, 研究一个 random vector 也就相当于研究分量 random variables 之间的关系.

这一章节我们会从 random vector 的性质 (比如 joint distribution 和 marginal distribution, conditional distribution) 出发, 研究分量 random variables 之间的关系.

(但是注意: 前提是这些 random variables 必须定义在同一个 prob space 上. 也就是, 它们的 base probability measure 一定相同. 如果我们考虑不同 prob space 上的 random variables 的话, 那它们没有一个公共的 base probability measure, 很难说它们之间有什么关系. 这种情况下, 我们需要 coupling: 构造一个新的 prob space (说白了就是 product space), 让这两个 random variables 都有一个新 version. 这一问题我们之后再讨论.)

3.1.2 joint distribution

Definition 3.28 : joint distribution and joint cdf

令 $𝑋_{1}, \dots, 𝑋_{𝑛}$ 为 RV from the same prob space. 即 $𝐗 ≔ (𝑋_{1}, \dots, 𝑋_{𝑛})$ 是一个 random vector. 下面的两个对象分别将 probability distribution 和 distribution function (也称 cumulative distribution function, cdf) 推广到 random vector.

我们称 $ℙ^{𝐗} : ℝ^{𝑛} \to ℝ$ defined by

ℙ^{𝐗} (𝐵) = ℙ (𝐗^{- 1} (𝐵)), \forall 𝐵 \in ℬ︀ (ℝ^{𝑛})

为 $𝑋_{1}, \dots, 𝑋_{𝑛}$ 的 joint distribution.

而我们称 $𝐹_{𝐗} = 𝐹_{𝑋_{1}, \dots, 𝑋_{𝑛}} : ℝ^{𝑛} \to ℝ$ defined by

𝐹_{𝐗} (𝑥_{1}, \dots, 𝑥_{𝑛}) = ℙ (𝑋_{1} \leq 𝑥_{1}, \dots, 𝑋_{𝑛} \leq 𝑥_{𝑛})

(即 $ℙ^{𝐗}$ restricted to the set of rectangles ${(- \infty, 𝑥_{1}] \times \dots \times (- \infty, 𝑥_{𝑛}] : (𝑥_{1}, \dots, 𝑥_{𝑛}) \in ℝ^{𝑛}}$ ) 为它们的 joint distribution function (或称 joint cdf).

joint distribution 的定义已经包括了如何从多个 random variables 的 distributions 得到一个 joint distribution. 而, 我们也可以从一个 joint distribution 的 limit behavior 得到每个 random variable 分量的 distributions, 称之为 marginal distribution:

Definition 3.29 : marginal distribution

令 $𝐗 = (𝑋_{1}, \dots, 𝑋_{𝑛})^{𝑇}$ 是一个 random vector. 则对于任意 $𝑖$ , $𝑋_{𝑖}$ 的 distribution $ℙ^{𝑋_{𝑖}}$ 被称为 $𝐗$ 的第 $𝑖$ 个分量的 marginal distribution.

我们以 $ℝ^{2}$ 为例. 得出的结论可以推广到 $ℝ^{𝑛}$ .

Proposition 3.26 : 通过 joint distribution 的极限得到 marginal distribution

令 $𝐗 = (𝑋_{1}, 𝑋_{2})^{𝑇}$ 是一个 random vector. 则对于任意 $𝑥 \in ℝ$ , 有

ℙ (𝑋_{1} \leq 𝑥) = lim_{𝑦 \to \infty} 𝐹_{𝐗} (𝑥, 𝑦)

$𝑋_{2}$ 的 marginal distribution 也可以通过同样的方法得到.

此外, joint distribution 有其他明显的 limit behaviors:

$lim_{𝑥 \to - \infty} 𝐹 (𝑥, 𝑦) = lim_{𝑦 \to - \infty} 𝐹 (𝑥, 𝑦) = 0$
$𝐹_{𝐗}$ 对于每个维度都是 increasing 且 right-continuous 的.
$ℙ (𝑋 \leq 𝑥, 𝑌 \leq 𝑦) = lim_{𝑧 ↑ 𝑦} 𝐹 (𝑥, 𝑧) = lim_{𝑧 ↑ 𝑥} 𝐹 (𝑧, 𝑦) = lim_{𝑧_{1} ↑ 𝑥, 𝑧_{2} ↑ 𝑦} 𝐹 (𝑧_{1}, 𝑧_{2})$
$ℙ (𝑥_{1} \leq 𝑋 \leq 𝑥_{2}, 𝑦_{1} \leq 𝑌 \leq 𝑦_{2}) = 𝐹 (𝑥_{2}, 𝑦_{2}) - 𝐹 (𝑥_{1}, 𝑦_{2}) = 𝐹 (𝑥_{2}, 𝑦_{1}) + 𝐹 (𝑥_{1}, 𝑦_{1})$

discrete random vector 很容易处理. 我们可以直接定义 joint pmf. 而 continuous random vector 需要展开讨论. 接下来我们讲单独讨论 continuous random vector 的 joint distribution.

3.1.3 condinuous joint cdf 与 joint pdf

recall: continuous random variable $𝑋$ 的 cdf 是 absolutely continuous 的. 这个条件也等价于, 存在一个函数 $𝑓_{𝑋} : ℝ \to [0, \infty)$ 使得

𝐹_{𝑋} (𝑥) = \int_{- \infty}^{𝑥} 𝑓_{𝑋} (𝑡) 𝑑 𝑡

这个定义可以 generalize 到 random vector 上.

Definition 3.30 : continuous random vector 和 continuous joint cdf

对于 random vector $𝐗 = (𝑋_{1}, \dots, 𝑋_{𝑛})^{𝑇}$ 如果 $ℙ^{𝐗} ≪ 𝜆^{𝑛}$ , 即它满足 absolute continuity of signed measures 中的绝对连续性条件, 即存在一个函数 $𝑓_{𝐗} : ℝ^{𝑛} \to [0, \infty)$ 使得对于任意 Borel set $𝐵 \subseteq ℝ^{𝑛}$ , 有

ℙ^{𝐗} (𝐵) = \int_{𝐵} 𝑓_{𝐗} (𝑥_{1}, \dots, 𝑥_{𝑛}) 𝑑 𝜆^{𝑛} (𝑥_{1}, \dots, 𝑥_{𝑛})

则称 $𝐗$ 是一个 continuous random vector.

注意: 由于是在 $ℝ^{𝑛}$ 上, 这等价于存在一个函数 $𝑓_{𝐗} : ℝ^{𝑛} \to [0, \infty)$ 使得对于任意 $𝑥_{1}, \dots, 𝑥_{𝑛}$ , 有

𝐹_{𝐗} (𝑥_{1}, \dots, 𝑥_{𝑛}) = \int_{- \infty}^{𝑥_{1}} \dots \int_{- \infty}^{𝑥_{𝑛}} 𝑓_{𝐗} (𝑡_{1}, \dots, 𝑡_{𝑛}) 𝑑 𝑡_{𝑛} \dots 𝑑 𝑡_{1}

Remark

我们已经知道, 只要存在导数 $𝑓_{𝐗}$ 可以对于任意 $𝐱 \in ℝ^{𝑛}$ 还原出 joint cdf $𝐹_{𝐗}$ 的值, 那么 $𝑓_{𝐗}$ 就是 joint pdf, 这个 random vector 就是一个 continuous random vector.

那么这个还原积分的计算可以任意换序吗?

显然是可以的. 因为 recall Fubini’s Theorem: 只要 $𝑓$ 绝对可积, 即 $\int_{ℝ^{𝑛}} | 𝑓 | 𝑑 𝜆^{𝑛} < \infty$ , 那么对于任意的 permutation $𝜎$ of ${1, 2, \dots, 𝑛}$ , 我们都可以将积分的顺序换成

\int_{- \infty}^{𝑥_{𝜎 (1)}} \dots \int_{- \infty}^{𝑥_{𝜎 (𝑛)}} 𝑓 (𝑡_{1}, \dots, 𝑡_{𝑛}) 𝑑 𝑡_{𝜎 (𝑛)} \dots 𝑑 𝑡_{𝜎 (1)}

而我们知道, $𝑓$ 一定是非负的, 而且积分一定是 1, 因而可以任意换序积分.

这就很舒服. 这也给出了 margin distribution 的计算方法: 只要对 joint pdf $𝑓_{𝐗}$ 在其他维度上积分掉就行了.

Proposition 3.27 : joint pdf 和 joint cdf 的性质

令 $𝐗 = (𝑋_{1}, \dots, 𝑋_{𝑛})^{𝑇}$ 是一个 continuous random vector, 则它的 joint pdf $𝑓_{𝐗}$ 和 joint cdf $𝐹_{𝐗}$ 有以下性质:

$𝑓_{𝐗} \geq 0$ a.e. 并且 $\int_{ℝ^{𝑛}} 𝑓_{𝐗} 𝑑 𝜆^{𝑛} = 1$ .
(如果一个集合 $𝐴$ 有一个零测维度, 那么 $ℙ^{𝐗} (𝐴) = 0$ )
$ℙ (𝑋_{1} = 𝑥_{1}, 𝑥_{2} \leq 𝑋_{2} \leq 𝑥_{2}^{'} \dots, 𝑥_{𝑛} \leq 𝑋_{𝑛} \leq 𝑥_{𝑛}^{'}) = 0$
每个 $𝑋_{𝑖}$ 的 marginal distribution 也是 (absolutely) continuous 的, 并且
$𝑓_{𝑋_{𝑖}} (𝑥) = \int_{ℝ^{𝑛 - 1}} 𝑓_{𝐗} (𝑡_{1}, \dots, 𝑡_{𝑖 - 1}, 𝑥, 𝑡_{𝑖 + 1}, \dots, 𝑡_{𝑛}) 𝑑 𝑡_{1} \dots 𝑑 𝑡_{𝑖 - 1} 𝑑 𝑡_{𝑖 + 1} \dots 𝑑 𝑡_{𝑛}$
例如,
$𝑓_{𝑋} (𝑥) = \int_{- \infty}^{\infty} 𝑓_{𝐗} (𝑥, 𝑦) 𝑑 𝑦$
对每个 $𝑥_{1}, \dots, 𝑥_{𝑛} \in ℝ$ , 都可以通过偏导数从 joint cdf 得到 joint pdf (这个偏导数一定 (a.e.) 存在):
$𝑓_{𝐗} (𝑥_{1}, \dots, 𝑥_{𝑛}) = \frac{𝜕^{𝑛}}{𝜕 𝑥_{1} \dots 𝜕 𝑥_{𝑛}} 𝐹_{𝐗} (𝑥_{1}, \dots, 𝑥_{𝑛})$
并且 by Fubini’s theorem 可以 (a.e.) 任意换序:
$\frac{𝜕^{𝑛}}{𝜕 𝑥_{𝜎 (1)} \dots 𝜕 𝑥_{𝜎 (𝑛)}} 𝐹_{𝐗} \overset{𝑎 . 𝑒 .}{=} 𝑓_{𝐗}$

Proof

由于 $𝑓_{𝐗}$ 是 $ℙ^{𝐗}$ 对于 $𝜆^{𝑛}$ 的 Radon-Nikodym derivative, 因为任何 Borel 集 $𝐵$ 都有 $𝑃^{𝐗} (𝐵) \geq 0$ , 假设存在一个集合 $𝐴 \in ℬ︀ (ℝ^{𝑛})$ 使得在其上 $𝑓_{𝐗} < 0$ 且 $𝜆^{𝑛} (𝐴) > 0$ , 那么根据积分定义
$ℙ^{𝐗} (𝐴) = \int_{𝐴} 𝑓_{𝐗} 𝑑 𝜆^{𝑛} < 0$
因而反证得 $𝑓_{𝐗} \geq 0$ a.e.
并且
$\int_{ℝ^{𝑛}} 𝑓_{𝐗} 𝑑 𝜆^{𝑛} = ℙ^{𝐗} (ℝ^{𝑛}) = 1$
natural.
即 marginal distribution 的定义在 continuous case 中的展开
by Fubini’s theorem, 以及 joint cdf 的定义.

□

Example 3.28

考虑

𝑓_{𝑋, 𝑌} (𝑥, 𝑦) = {\begin{cases} 𝑐 𝑒^{- 𝑥} 𝑒^{- 2 𝑦}, & if 𝑥, 𝑦 > 0 \\ 0, & otherwise \end{cases}

Find $𝑐$ 使得这是一个合法的 joint pdf, 并且计算 $𝑋$ 和 $𝑌$ 的 marginal pdfs, 以及 $ℙ (𝑋 > 1, 𝑌 < 1)$ .

Solution

我们需要

𝑐 (\int_{0}^{\infty} 𝑒^{- 𝑥} 𝑑 𝑥) (\int_{0}^{\infty} 𝑒^{- 2 𝑦} 𝑑 𝑦) = 1

evaluate 这两个积分:

\int_{0}^{\infty} 𝑒^{- 𝑥} 𝑑 𝑥 = {[- 𝑒^{- 𝑥}]}_{0}^{\infty} = 1,

\int_{0}^{\infty} 𝑒^{- 2 𝑦} 𝑑 𝑦 = {[- \frac{1}{2} 𝑒^{- 2 𝑦}]}_{0}^{\infty} = \frac{1}{2}

因为 $𝑐$ 必须为 2.

计算 $𝑋$ 的 marginal pdf:

𝑓_{𝑋} (𝑥) = \int_{0}^{\infty} 2 𝑒^{- 𝑥} 𝑒^{- 2 𝑦} 𝑑 𝑦 = 2 𝑒^{- 𝑥} {[- \frac{1}{2} 𝑒^{- 2 𝑦}]}_{0}^{\infty} = 𝑒^{- 𝑥}

然后计算 $𝑌$ 的 marginal pdf:

𝑓_{𝑌} (𝑦) = \int_{0}^{\infty} 2 𝑒^{- 𝑥} 𝑒^{- 2 𝑦} 𝑑 𝑥 = 2 𝑒^{- 2 𝑦} {[- 𝑒^{- 𝑥}]}_{0}^{\infty} = 2 𝑒^{- 2 𝑦}

最后计算 $ℙ (𝑋 > 1, 𝑌 < 1)$ :

ℙ (𝑋 > 1, 𝑌 < 1) = \int_{1}^{\infty} \int_{0}^{1} 2 𝑒^{- 𝑥} 𝑒^{- 2 𝑦} 𝑑 𝑦 𝑑 𝑥 = (\int_{1}^{\infty} 𝑒^{- 𝑥} 𝑑 𝑥) (\int_{0}^{1} 2 𝑒^{- 2 𝑦} 𝑑 𝑦)

这两个定积分分别为:

\int_{1}^{\infty} 𝑒^{- 𝑥} 𝑑 𝑥 = {[- 𝑒^{- 𝑥}]}_{1}^{\infty} = 𝑒^{- 1},

\int_{0}^{1} 2 𝑒^{- 2 𝑦} 𝑑 𝑦 = {[- 𝑒^{- 2 𝑦}]}_{0}^{1} = 1 - 𝑒^{- 2}

因而

ℙ (𝑋 > 1, 𝑌 < 1) = 𝑒^{- 1} (1 - 𝑒^{- 2}) = 𝑒^{- 1} - 𝑒^{- 3}

Theorem 3.13

对于 continuous random vector $𝐗 = (𝑋_{1}, \dots, 𝑋_{𝑛})^{𝑇}$ , 取任意 Borel measurable function $𝑔 : ℝ^{𝑛} \to ℝ$ , 则 $𝑔 (𝐗)$ 是一个 random variable, 并且如果 $𝔼 [| 𝑔 (𝐗) |] < \infty$ , 则 , 则

𝔼 [𝑔 (𝐗)] = \int_{ℝ^{𝑛}} 𝑔 (𝐱) 𝑓_{𝐗} (𝐱) 𝑑 𝜆^{𝑛} (𝐱)

Example 3.29

Let $(𝑋, 𝑌)$ be a two-dimensional random variable with joint density function

𝑓_{𝑋, 𝑌} (𝑥, 𝑦) = {\begin{cases} 1, & 0 < \frac{𝑦}{2} < 𝑥 < 1 \\ 0, & otherwise \end{cases}

求 marginal density $𝑓_{𝑌}$
计算概率 $ℙ (𝑋 = 1 / 2)$ 和 $ℙ (𝑋 + 𝑌 \leq 3 / 2)$

Solution

对固定 $𝑦$ 需要满足 $0 < 𝑦 < 2 𝑥$ 且 $𝑥 < 1$ , 等价于 $𝑥 > 𝑦 / 2$ 且 $𝑥 < 1$ . 因而 $0 < 𝑦 < 2$
$𝑓_{𝑌} (𝑦) = \int_{- \infty}^{\infty} 𝑓_{𝑋, 𝑌} (𝑥, 𝑦) 𝑑 𝑥 = \int_{𝑦 / 2}^{1} 1 𝑑 𝑥 = 1 - \frac{𝑦}{2}, 0 < 𝑦 < 2$
否则 $𝑓_{𝑌} (𝑦) = 0$ .
由于 $𝑋$ 是一个 continuous random variable, $ℙ (𝑋 = 1 / 2) = 0$ .
$ℙ (𝑋 + 𝑌 \leq 3 / 2)$ 略微难算一点: 满足条件的区域为 ${(𝑥, 𝑦) : 0 < \frac{𝑦}{2} < 𝑥 < 1, 𝑦 \leq 3 / 2 - 𝑥}$ ,
$0 < 𝑦 < min (2 𝑥, 3 / 2 - 𝑥)$
比较两条上界直线: $2 𝑥 = 3 / 2 - 𝑥 \Rightarrow 𝑥 = 1 / 2$ 当 $0 < 𝑥 < 1 / 2$ , 有 $2 𝑥 < 3 / 2 - 𝑥$ , 所以上界是 $2 𝑥$ ; 当 $1 / 2 < 𝑥 < 1$ , 上界是 $3 / 2 - 𝑥$ .
所以概率等于面积积分：
$ℙ (𝑋 + 𝑌 \leq 3 / 2) = \int_{0}^{1 / 2} \int_{0}^{2 𝑥} 1 𝑑 𝑦 𝑑 𝑥 + \int_{1 / 2}^{1} \int_{0}^{3 / 2 - 𝑥} 1 𝑑 𝑦 𝑑 𝑥$
计算：
$\begin{matrix} \int_{0}^{1 / 2} 2 𝑥 𝑑 𝑥 = {[𝑥^{2}]}_{0}^{1 / 2} = \frac{1}{4} \\ \int_{1 / 2}^{1} (\frac{3}{2} - 𝑥) 𝑑 𝑥 = {[\frac{3}{2} 𝑥 - \frac{𝑥^{2}}{2}]}_{1 / 2}^{1} = 1 - \frac{5}{8} = \frac{3}{8} \end{matrix}$
合并得
$ℙ (𝑋 + 𝑌 \leq 3 / 2) = \frac{1}{4} + \frac{3}{8} = \frac{5}{8}$
也可以通过画图来做. 我们画出 support set 的图:
联合分布 support 中满足 $𝑋 + 𝑌 \leq \frac{3}{2}$ 的积分区域
在这个图上对联合函数积分即可.

3.2 independence of two random variables

3.2.1 independence of two random variables 的三种等价定义

Definition 3.31 : independence via product distribution of marginal distributions

两个 random variables $𝑋, 𝑌 : Ω \to ℝ$ 被称为 independent 的, 如果对于任意的 Borel sets $𝐴, 𝐵 \subseteq ℝ$ , 都有

ℙ (𝑋 \in 𝐴, 𝑌 \in 𝐵) = ℙ (𝑋 \in 𝐴) \cdot ℙ (𝑌 \in 𝐵)

注意这个定义等价于 for all points $(𝑥, 𝑦) \in ℝ^{2}$ ,

𝐹_{𝑋, 𝑌} (𝑥, 𝑦) = 𝐹_{𝑋} (𝑥) 𝐹_{𝑌} (𝑦)

即它们的 joint distribution 是它们 marginal distributions 的 product.

对于 discrete 和 continuous random variables 而言, 这还意味着 independence 等价于:

joint pmf 是 marginal pmfs 的 product, for discrete case.
joint pdf 是 marginal pdfs 的 product, for continuous case.

这里离散情形沿用 discrete random variable 的定义. 详细而言:

Theorem 3.14 : independence via joint-density factorization marginal densities

令 $𝑋, 𝑌$ 是两个 random variables.

如果 $𝑋, 𝑌$ 是 discrete random variables, 则它们 independent 的条件等价于对于任意 $𝑥, 𝑦$ , 都有
$𝑝_{𝑋, 𝑌} (𝑥, 𝑦) = 𝑝_{𝑋} (𝑥) \cdot 𝑝_{𝑌} (𝑦)$
如果 $𝑋, 𝑌$ 是 continuous random variables, 则它们 independent 的条件等价于对于任意 $𝑥, 𝑦$ , 都有
$𝑓_{𝑋, 𝑌} (𝑥, 𝑦) = 𝑓_{𝑋} (𝑥) \cdot 𝑓_{𝑌} (𝑦)$

Proof

discrete case: 显然可得.

continuous case:

$𝐹_{𝑋, 𝑌} (𝑥, 𝑦) = 𝐹_{𝑋} (𝑥) 𝐹_{𝑌} (𝑦) ⟹ 𝑓_{𝑋, 𝑌} (𝑥, 𝑦) = 𝑓_{𝑋} (𝑥) \cdot 𝑓_{𝑌} (𝑦)$ : 取偏导数即可.
$𝑓_{𝑋, 𝑌} (𝑥, 𝑦) = 𝑓_{𝑋} (𝑥) \cdot 𝑓_{𝑌} (𝑦) ⟹ 𝐹_{𝑋, 𝑌} (𝑥, 𝑦) = 𝐹_{𝑋} (𝑥) 𝐹_{𝑌} (𝑦)$ : 积分即可.

□

因而对于 independent 的两个 random variables, 固定 $𝑋 = 𝑥_{0}$ , 那么联合密度函数 $𝑓_{𝑋, 𝑌} (𝑥_{0}, 𝑦)$ 就是 $𝑌$ 的边际密度函数 $𝑓_{𝑌} (𝑦)$ 乘上一个常数 $𝑓_{𝑋} (𝑥_{0})$ .

Remark

Recall independence of events 的定义:

ℙ (𝐴 \cap 𝐵) = ℙ (𝐴) \cdot ℙ (𝐵)

也等价于对于任意的 Borel sets $𝐴, 𝐵$ where $ℙ (𝐵) > 0$ , 都有

ℙ (𝐴 ∣ 𝐵) = ℙ (𝐴)

即: 一个事件发生与否都不会对另一个事件发生的概率产生任何影响.

而再看到两个 random variables independence 的定义是:

ℙ (𝑋 \in 𝐴, 𝑌 \in 𝐵) = ℙ (𝑋 \in 𝐴) \cdot ℙ (𝑌 \in 𝐵)

这个定义也当然等价于:

Proposition 3.28 : independence via conditional distribution: marginal distribution

两个 random variables $𝑋, 𝑌$ 是 independent 的, iff: 对于任意的 Borel sets $𝐴, 𝐵$ , 如果 $ℙ (𝑌 \in 𝐵) > 0$ , 则

ℙ (𝑋 \in 𝐴 ∣ 𝑌 \in 𝐵) = ℙ (𝑋 \in 𝐴)

即: $𝑋$ 的 conditional distribution, 不论给定 $𝑌$ 的任何信息, 都等于 $𝑋$ 的 marginal distribution.

所以它实际上意义是: 知道一个 random variable 的任何信息, 对于另外一个都没有任何帮助.

因而它们的 joint distribution 可以分解成 marginal distributions 的 product.

Remark

Furthermore: 我们不难发现一件事情, 可以在 independence of two events 和 independence of two random variables 之间建立一个桥梁:

Proposition 3.29 : independence via generated sigma-algebras

令 $𝑋, 𝑌$ 是两个 random variables. 则 $𝑋, 𝑌$ 是 independent 的 iff: $𝑋$ 和 $𝑌$ 按 $𝜎$ -algebra generated by a random variable (measurable function) 分别生成的 $𝜎 (𝑋)$ 和 $𝜎 (𝑌)$ 中分别任取一个事件, 这两个事件都是 independent 的. 即:

\forall 𝐴 \in 𝜎 (𝑋), \forall 𝐵 \in 𝜎 (𝑌), ℙ (𝐴 \cap 𝐵) = ℙ (𝐴) \cdot ℙ (𝐵)

这严格说明了: 两个 random variables 之间的 independence, 本质上是它们各自蕴含的 information (由 generated sigma-algebra 严格刻画) 的完全不相关: 对 $𝑋$ 的观测对于预测 $𝑌$ 的任何行为都不提供任何帮助, 反之亦然.

以上就是 independence of two random variables 的定义, 以及其 information geometric intuition.

下面我们讲 independence between two random variables, generalize 到 mutual independence among 任意的 family of random variables.

3.2.2 mutual independence of a family of random variables: 强于 pairwise independence

我们定义了两个 random variables 的 independence, 但是这个定义可以推广到多个 (甚至 uncountably many) random variables 上.

Definition 3.32 : mutual independence of multiple random variables

令 ${𝑋_{𝑖} : 𝑖 \in 𝐼}$ 是一个 random variables 的 family, 其中 $𝐼$ 是一个 index set. 则如果对于任意的 finite subset $𝐽 \subseteq 𝐼$ , 以及对于任意的 Borel sets ${𝐴_{𝑗} : 𝑗 \in 𝐽}$ , 都有

ℙ (𝑋_{𝑗} \in 𝐴_{𝑗}, \forall 𝑗 \in 𝐽) = \prod_{𝑗 \in 𝐽} ℙ (𝑋_{𝑗} \in 𝐴_{𝑗})

则称这个 family of random variables 是 independent 的.

注意: joint mass density 的 factorization 也可以推广到多个 random variables 上. 有一件事情值得说明: 这里定义的是mutual independence, 也就是说, 对于任意的 finite subset $𝐽$ , 它们的 joint distribution 都 factorizes into product of marginal distributions.

而两两 independent 的 random variables family 不一定是 mutual independent 的. 即: 如果对于任意的 $𝑖 \neq 𝑗$ , $𝑋_{𝑖}$ 和 $𝑋_{𝑗}$ 是 independent 的, 并不意味着对于任意的 finite subset $𝐽$ , ${𝑋_{𝑗} : 𝑗 \in 𝐽}$ 是 independent 的.

举个例子:

Example 3.30 : pairwise independence does NOT imply mutual independence

假设我们抛掷两枚公平的硬币. 令 $𝑋, 𝑌$ 是两个 independent 的 random variables, 且都服从 uniform distribution on ${- 1, 1}$ . 即:

ℙ (𝑋 = 1) = ℙ (𝑋 = - 1) = \frac{1}{2}, ℙ (𝑌 = 1) = ℙ (𝑌 = - 1) = \frac{1}{2}

现在, 我们定义第三个 random variable $𝑍$ 为前两者的 product:

𝑍 = 𝑋 \cdot 𝑌

容易验证: $𝑋, 𝑌, 𝑍$ 两两 independent, 但不 mutual independent. 因为如果只是知道 $𝑋$ 的值, 那么我们对于 $𝑍$ 的值完全没有信息 (因为有一个完全随机的 $𝑌$ 没有任何已知信息); 同样, 如果只是知道 $𝑌$ 的值, 那么我们对于 $𝑍$ 的值也完全没有信息;

但是, 如果我们同时知道 $𝑋$ 和 $𝑌$ 的值, 那么 $𝑍$ 的值就完全确定了.

这说明 pairwise independence 只能保证局部的信息解耦, 而 mutual independence 则保证了在这个 family of random variables 之间的全局信息解耦.

3.2.3 independent $⟹$ uncorrelated

Independence 的概念会让我们回忆起另外一个刻画两个 random variables 之间关系的概念: covariance, 它丈量了两个 random variables 之间的线性关系.

covariance 的定义:

Cov (𝑋, 𝑌) ≔ 𝔼 [(𝑋 - 𝔼 [𝑋]) (𝑌 - 𝔼 [𝑌])] = 𝔼 [𝑋 𝑌] - 𝔼 [𝑋] 𝔼 [𝑌]

我们称 covariance 为 0 的两个 random variables 为 uncorrelated random variables . 我们容易发现: independence 是一个比 uncorrelated 更强的概念:

Proposition 3.30 : independent 严格强于 uncorrelated

令 $𝑋, 𝑌$ 是两个 random variables. 则 $𝑋, 𝑌$ 是 independent 的 $⟹$ $Cov (𝑋, 𝑌) = 0$ . 但是 $Cov (𝑋, 𝑌) = 0$ 不一定 $⟹$ $𝑋, 𝑌$ 是 independent 的.

Proof

independence $⟹$ covariance 是 0, 因为 independence 显然 imply $𝐸 [𝑋 𝑌] = 𝐸 [𝑋] 𝐸 [𝑌]$ , 从而 covariance 的定义式中 $𝐸 [𝑋 𝑌] - 𝐸 [𝑋] 𝐸 [𝑌] = 0$ .
有一个经典反例: 考虑 $𝑋$ 是任意按原点对称的分布, 比如一个 standard normal distribution; 而定义 $𝑌 = 𝑋^{2}$ , 此时
$Cov (𝑋, 𝑋^{2}) = 𝐸 [𝑋 \cdot 𝑋^{2}] - 𝐸 [𝑋] 𝐸 [𝑋^{2}] = 𝐸 [𝑋^{3}] - 𝐸 [𝑋] 𝐸 [𝑋^{2}]$
由于 $𝑋$ 的分布是关于原点对称的, $𝐸 [𝑋^{3}] = 0$ 且 $𝐸 [𝑋] = 0$ , 因而 covariance 是 0. 但是 $𝑋$ 和 $𝑌$ 显然不是 independent 的.

□

刚才说到, 两个 random variables 的 independence 显然 imply $𝔼 [𝑋 𝑌] = 𝔼 [𝑋] 𝔼 [𝑌]$ . 而 BTW: 这个性质其实可以 generalize 到任意 finite number of independent random variables 的 product 上, 并且我们可以在这些 random variables 上任意地施加 Borel measurable functions, 只要保证这些函数的 expectation 是 finite 的,

Theorem 3.15 : independence $⟹$ expectation is closed under product

令 ${𝑋_{𝑖} : 𝑖 \in 𝐼}$ 是一个 independent 的 random variables 的 family, 则对于任意的 finite subset $𝐽 \subseteq 𝐼$ , 以及对于任意的 Borel measurable functions ${𝑔_{𝑗} : 𝑗 \in 𝐽}$ , 如果 $𝔼 [| 𝑔_{𝑗} (𝑋_{𝑗}) |] < \infty$ for all $𝑗 \in 𝐽$ , 则

𝔼 [\prod_{𝑗 \in 𝐽} 𝑔_{𝑗} (𝑋_{𝑗})] = \prod_{𝑗 \in 𝐽} 𝔼 [𝑔_{𝑗} (𝑋_{𝑗})]

特别地, 取每个 $𝑔_{𝑗} (𝑥) = 𝑥$ , 则

𝔼 [\prod_{𝑗 \in 𝐽} 𝑋_{𝑗}] = \prod_{𝑗 \in 𝐽} 𝔼 [𝑋_{𝑗}]

Proof

令 $𝐽 = {1, 2, \dots, 𝑛}$ . 由于 $𝑋_{1}, \dots, 𝑋_{𝑛}$ 是 independent 的, 它们的 joint distribution $𝜇_{𝐗}$ 是其 marginal distributions $𝜇_{𝑋_{𝑗}}$ 的 product measure:

𝜇_{𝐗} = 𝜇_{𝑋_{1}} \times 𝜇_{𝑋_{2}} \times \dots \times 𝜇_{𝑋_{𝑛}}

根据 Change of Variables Formula,

𝔼 [\prod_{𝑗 = 1}^{𝑛} 𝑔_{𝑗} (𝑋_{𝑗})] = \int_{ℝ^{𝑛}} (\prod_{𝑗 = 1}^{𝑛} 𝑔_{𝑗} (𝑥_{𝑗})) 𝑑 𝜇_{𝐗} (𝑥_{1}, \dots, 𝑥_{𝑛}) = \int_{ℝ} \dots \int_{ℝ} (\prod_{𝑗 = 1}^{𝑛} 𝑔_{𝑗} (𝑥_{𝑗})) 𝑑 𝜇_{𝑋_{1}} (𝑥_{1}) \dots 𝑑 𝜇_{𝑋_{𝑛}} (𝑥_{𝑛})

由于被积函数 $\prod 𝑔_{𝑗} (𝑥_{𝑗})$ 是变量分离的, 根据 Fubini’s Theorem 可以把积分分解成多个积分的 product:

= (\int_{ℝ} 𝑔_{1} (𝑥_{1}) 𝑑 𝜇_{𝑋_{1}} (𝑥_{1})) \times \dots \times (\int_{ℝ} 𝑔_{𝑛} (𝑥_{𝑛}) 𝑑 𝜇_{𝑋_{𝑛}} (𝑥_{𝑛}))

其中每一项都是 $𝔼 [𝑔_{𝑗} (𝑋_{𝑗})]$ .

□

实际上: 当这些 Borel measurable functions ${𝑔_{𝑗} : 𝑗 \in 𝐽}$ 全都 bounded 时, 这个定理其实反向也是成立的:

Theorem 3.16

令 ${𝑋_{𝑖} : 𝑖 \in 𝐼}$ 是一个family of random variables. 如果对于任意的 finite subset $𝐽 \subseteq 𝐼$ , 以及任意的 bounded Borel measurable functions ${𝑔_{𝑗} : 𝑗 \in 𝐽}$ , 都有

𝔼 [\prod_{𝑗 \in 𝐽} 𝑔_{𝑗} (𝑋_{𝑗})] = \prod_{𝑗 \in 𝐽} 𝔼 [𝑔_{𝑗} (𝑋_{𝑗})]

则这个 family of random variables 是 independent 的.

Proof

不妨特取 indicator functions. 对于任意的 Borel sets $𝐴, 𝐵 \subseteq ℝ$ , 令 $𝑓 (𝑥) = 𝐼_{𝐴} (𝑥)$ , $𝑔 (𝑦) = 𝐼_{𝐵} (𝑦)$ . 代入等式得到:

𝔼 [𝐼_{𝐴} (𝑋) \cdot 𝐼_{𝐵} (𝑌)] = 𝔼 [𝐼_{𝐴} (𝑋)] \cdot 𝔼 [𝐼_{𝐵} (𝑌)]

注意到 $𝐼_{𝐴} (𝑋) \cdot 𝐼_{𝐵} (𝑌) = 𝐼_{{𝑋 \in 𝐴, 𝑌 \in 𝐵}}$ . 根据 expectation of indicator function 等于 probability, 我们立刻得到:

ℙ (𝑋 \in 𝐴, 𝑌 \in 𝐵) = ℙ (𝑋 \in 𝐴) \cdot ℙ (𝑌 \in 𝐵)

□

注意: $𝑔 (𝑥) = 𝑥$ 并不是 bounded 的 function, 因而 uncorrelation $⟹̸$ independence.
OK. 以上是 pretty much general properties of independence. 最后我们看一下, 对于 discrete 和 continuous random variables 而言, independence 的 characterization 具体长什么样子.

3.2.4 discrete RV independence 的 characterization

Remark

关于两个 discrete random variables $𝑋, 𝑌$ 是否 independent 的判断, 还有一个直观的方法.

Proposition 3.31 : discrete RV independence 的 characterization

两个 discrete random variables $𝑋, 𝑌$ 是 independent 的 iff 它们的 joint pmf as a matrix 有 rank 1(每行每列都互为倍数).

Proof

note: 一个矩阵 $𝑀$ 的 rank 等于 1 iff 它可以被分解为两个向量的 outer product :

𝑀 = 𝐮 𝐯^{⊤}

where $𝐮$ 和 $𝐯$ 是非零列向量.

( $⟹$ ): 如果 independent, 那么对于所有 $𝑖, 𝑗$ , joint probability $𝑝_{𝑖 𝑗} = ℙ (𝑋 = 𝑥_{𝑖}, 𝑌 = 𝑦_{𝑗})$ 满足:

𝑝_{𝑖 𝑗} = ℙ (𝑋 = 𝑥_{𝑖}) \cdot ℙ (𝑌 = 𝑦_{𝑗})

如果我们定义向量 $𝐩_{𝑋} = [𝑝_{𝑋} (𝑥_{1}), 𝑝_{𝑋} (𝑥_{2}), \dots]^{⊤}$ 和 $𝐩_{𝑌} = [𝑝_{𝑌} (𝑦_{1}), 𝑝_{𝑌} (𝑦_{2}), \dots]^{⊤}$ , 那么整个联合分布矩阵 $𝑃$ 就可以写成:

𝑃 = 𝐩_{𝑋} 𝐩_{𝑌}^{⊤}

这正是 Rank 1 矩阵的标准形式.

( $⟸$ ) 如果 $𝑃$ 的 rank 为 1, 那么存在向量 $𝐮$ 和 $𝐯$ 使得 $𝑝_{𝑖 𝑗} = 𝑢_{𝑖} 𝑣_{𝑗}$ .由于 $\sum_{𝑖, 𝑗} 𝑝_{𝑖 𝑗} = 1$ , 我们可以归一化这两个向量, 使得 $\sum 𝑢_{𝑖} = 1$ 且 $\sum 𝑣_{𝑗} = 1$ .此时, $𝑢_{𝑖}$ 恰好就是 $𝑋$ 的 marginal PMF, $𝑣_{𝑗}$ 恰好就是 $𝑌$ 的 marginal PMF. 因此满足 $𝑝_{𝑖 𝑗} = 𝑝_{𝑖} \cdot 𝑝_{𝑗}$ , 即两个变量独立.

□

Example 3.31

\begin{aligned} 𝑃 = 𝑋 ∖ 𝑌 & 0 & 1 & Marginal ℙ (𝑋) \\ 0 & 0.4 & 0.1 & 0.5 \\ 1 & 0.4 & 0.1 & 0.5 \\ Marginal ℙ (𝑌) & 0.8 & 0.2 & 1.0 \end{aligned}

这里的 $𝑋, 𝑌$ 就是 independent 的 random variables.

3.2.5 continuous RV independence 的 geometric intuition

对于 independent continuous random variables $𝑋, 𝑌$ , 它的 characterization 我们已经知道了: 即 joint pdf factorizes into marginal pdfs. 这一个 characterization 的 geometric intuition 是:

joint pdf 的 support set 一定是一个矩形 (不一定 bounded)
joint pdf 的每个维度上的任意截面的形状都是一样的 (因为固定 $𝑥$ , 则 $𝑦$ 方向的性质只由 $𝑓_{𝑌}$ 决定.)
即: 固定 $𝑥$ , $𝑦$ -distribution 的横截面永远长得像 $𝑓_{𝑌}$ , 只是乘上了一个常数 $𝑓_{𝑋} (𝑥)$ 而已. 同样的, 固定 $𝑦$ , $𝑥$ 分布的横截面永远长得像 $𝑓_{𝑋}$ , 只是乘上了一个常数 $𝑓_{𝑌} (𝑦)$ 而已.

独立连续随机变量的矩形 support 与等形横截面

3.3 conditional distribution function and density

3.3.1 conditional distribution and its distribution function

Definition 3.33 : conditional distribution

给定 random variables $𝑋, 𝑌 : Ω \to ℝ$ , 其中下面极限里的条件概率按 conditional probability 理解. 我们定义 the conditional distribution of $𝑋$ given $𝑌 = 𝑦$ 为 the probability measure $ℙ^{𝑋 | 𝑌 = 𝑦}$ :

ℙ^{𝑋 | 𝑌 = 𝑦} (𝐴) ≔ lim_{ℎ \to 0^{+}} ℙ (𝑋 \in 𝐴 ∣ 𝑦 \leq 𝑌 \leq 𝑦 + ℎ), \forall 𝐴 \in ℬ︀ (ℝ)

并将 function $𝐹_{𝑋 | 𝑌 = 𝑦} : ℝ \to ℝ$ defined by $𝐹_{𝑋 | 𝑌 = 𝑦} (𝑥) ≔ ℙ^{𝑋 | 𝑌 = 𝑦} ((- \infty, 𝑥])$ :

𝐹_{𝑋 | 𝑌} (𝑥 | 𝑦) ≔ lim_{ℎ \to 0^{+}} ℙ (𝑋 \leq 𝑥 ∣ 𝑦 \leq 𝑌 \leq 𝑦 + ℎ)

称为 the conditional distribution function of $𝑋$ given $𝑌 = 𝑦$ .

3.3.2 conditional density for random variables jointly continuous

Theorem 3.17 : jointly continuous RVs 之间所有 defined 处总有 conditional density

令 $𝐗 = (𝑋, 𝑌)^{𝑇}$ 是一个 continuous random vector, 则对于任意 $𝑦$ 使得 $𝑓_{𝑌} (𝑦) > 0$ , 都有 conditional distribution of $𝑋$ given $𝑌 = 𝑦$ 的 pdf:

𝑓_{𝑋 | 𝑌} (𝑥 | 𝑦) ≔ \frac{𝑓_{𝑋, 𝑌} (𝑥, 𝑦)}{𝑓_{𝑌} (𝑦)}

即: $\forall 𝑥 \in ℝ$ 有:

𝐹_{𝑋 | 𝑌} (𝑥 | 𝑦) = \int_{- \infty}^{𝑥} \frac{𝑓_{𝑋, 𝑌} (𝑡, 𝑦)}{𝑓_{𝑌} (𝑦)} 𝑑 𝑡

Proof

注意: $(𝑋, 𝑌)^{𝑇}$ 是 continuous random vector $⟹$ $𝑌$ 是一个 continuous random variable. 因而因而 $𝑓_{𝑌} (𝑦)$ 是 well-defined 的. (反过来不成立) 取 $𝑦$ s.t. $𝑓_{𝑌} (𝑦) > 0$ .

则

\begin{aligned} ℙ^{𝑋 ∣ 𝑌 = 𝑦} (𝐴) & = lim_{ℎ \to 0^{+}} ℙ (𝑋 \in 𝐴 ∣ 𝑦 \leq 𝑌 \leq 𝑦 + ℎ) \\ = lim_{ℎ \to 0^{+}} \frac{ℙ (𝑋 \leq 𝑥, 𝑦 \leq 𝑌 \leq 𝑦 + ℎ)}{ℙ (𝑦 \leq 𝑌 \leq 𝑦 + ℎ)} = lim_{ℎ \to 0^{+}} \frac{𝐹_{𝑋, 𝑌} (𝑥, 𝑦 + ℎ) - 𝐹_{𝑋, 𝑌} (𝑥, 𝑦)}{𝐹_{𝑌} (𝑦 + ℎ) - 𝐹_{𝑌} (𝑦)} \\ = \frac{𝜕_{𝑦} 𝐹_{𝑋, 𝑌} (𝑥, 𝑦)}{𝑓_{𝑌} (𝑦)} = \int_{- \infty}^{𝑥} \frac{𝑓_{𝑋, 𝑌} (𝑠, 𝑦)}{𝑓_{𝑌} (𝑦)} 𝑑 𝑠 \end{aligned}

因而, $𝑓_{𝑋 | 𝑌} (𝑥 | 𝑦) ≔ \frac{𝑓_{𝑋, 𝑌} (𝑥, 𝑦)}{𝑓_{𝑌} (𝑦)}$ 是 $𝐹_{𝑋 | 𝑌 = 𝑦}$ 的 pdf.

□

3.3.3 Law of Total Probability for continuous random vector

Theorem 3.18

令 $𝐗 = (𝑋, 𝑌)^{𝑇}$ 是一个 continuous random vector, 则对于任意 $𝐴 \in ℬ︀ (ℝ)$ ,

ℙ ((𝑋, 𝑌) \in 𝐴) = \int_{- \infty}^{+ \infty} ℙ ((𝑋, 𝑦) \in 𝐴 ∣ 𝑌 = 𝑦) 𝑓_{𝑌} (𝑦) 𝑑 𝑦

Proof

注意:

ℙ (𝑌 \in {𝑦 \in ℝ : 𝑓_{𝑌} (𝑦) = 0}) = 0

即, ${𝑌 \in 𝑓_{𝑌}^{- 1} ({0})}$ 是一个 null set. (不是说 $𝑓_{𝑌} (𝑦) = 0$ 的 $𝑦$ 是 null set, 意思是说 $𝑌$ 落在这些 $𝑦$ 上的事件是 null set.)

因而 compute:

\begin{aligned} ℙ (𝑋 \in (- \infty, 𝑥], 𝑌 \leq 𝑦) & = ℙ (𝑋 \in (- \infty, 𝑥], {𝑌 \leq 𝑦} \cap {𝑌 \notin 𝑓_{𝑌}^{- 1} ({0})}) = \int_{(- \infty, 𝑦] \cap 𝑓_{𝑌}^{- 1} ({0}^{𝑐})} \int_{- \infty}^{\infty} 𝑓_{𝑋, 𝑌} (𝑠, 𝑡) 𝑑 𝑠 𝑑 𝑡 \\ = \int_{(- \infty, 𝑦] \cap 𝑓_{𝑌}^{- 1} ((0, + \infty))} (\int_{- \infty}^{𝑥} \frac{𝑓_{𝑋, 𝑌} (𝑠, 𝑡)}{𝑓_{𝑌} (𝑡)} 𝑑 𝑠) 𝑓_{𝑌} (𝑡) 𝑑 𝑡 \\ = \int_{(- \infty, 𝑦] \cap 𝑓_{𝑌}^{- 1} ((0, + \infty))} ℙ (𝑋 \leq 𝑥 ∣ 𝑌 = 𝑡) 𝑓_{𝑌} (𝑡) 𝑑 𝑡 \\ = \int_{(- \infty, 𝑦] \cap 𝑓_{𝑌}^{- 1} ((0, + \infty))} ℙ (𝑋 \leq 𝑥 ∣ 𝑌 = 𝑡) 𝑓_{𝑌} (𝑡) 𝑑 𝑡 + \int_{(- \infty, 𝑦] \cap 𝑓_{𝑌}^{- 1} ({0})} ℙ (𝑋 \leq 𝑥 ∣ 𝑌 = 𝑡) 𝑓_{𝑌} \\ = \int_{(- \infty, 𝑦]} ℙ (𝑋 \leq 𝑥 ∣ 𝑌 = 𝑡) 𝑓_{𝑌} (𝑡) 𝑑 𝑡 \\ = \int_{- \infty}^{𝑦} ℙ (𝑋 \leq 𝑥 ∣ 𝑌 = 𝑡) 𝑓_{𝑌} (𝑡) 𝑑 𝑡 \end{aligned}

□

Remark

recall 最普通的全概率公式: 把样本空间 partition 成几个 disjoint 的事件 $𝐵_{1}, \dots, 𝐵_{𝑛}$ , 则任意事件 $𝐴$ 等于它在每个 $𝐵_{𝑖}$ 上的 conditional probability 的和:

ℙ (𝐴) = \sum_{𝑖 = 1}^{𝑛} ℙ (𝐴 \cap 𝐵_{𝑖}) = \sum_{𝑖 = 1}^{𝑛} ℙ (𝐴 ∣ 𝐵_{𝑖}) ℙ (𝐵_{𝑖})

这很容易理解. 而这里的 law of total probability for continuous random vector 就是这个公式在 continuous case 的推广:

由于在每一点 $𝑦$ 上, $(𝑋, 𝑌) \in 𝐴$ 的概率都有一个 conditional distribution $(𝑋, 𝑌) \in 𝐴 | 𝑌 = 𝑦$ , 因而 $(𝑋, 𝑌) \in 𝐴$ 的概率就等于这个 conditional distribution 在所有 $𝑦$ 上的加权和, 权重就是 $𝑌$ 的 pdf $𝑓_{𝑌} (𝑦)$ . 因而才有

ℙ ((𝑋, 𝑌) \in 𝐴) = \int_{- \infty}^{+ \infty} ℙ ((𝑋, 𝑦) \in 𝐴 ∣ 𝑌 = 𝑦) 𝑓_{𝑌} (𝑦) 𝑑 𝑦

Example 3.32

考虑 random vector $𝐗 = (𝑋, 𝑌)^{𝑇}$ with joint pdf

𝑓_{𝑋, 𝑌} (𝑥, 𝑦) = {\begin{cases} 4 𝑥 𝑦, & if 0 \leq 𝑥 \leq 1, 0 \leq 𝑦 \leq 1 \\ 0, & otherwise \end{cases}

计算: $𝑓_{𝑋}, 𝑓_{𝑌}, 𝑓_{𝑋 | 𝑌}, 𝑓_{𝑌 | 𝑋}$ .

Solution

首先计算 margianl pdfs:

𝑓_{𝑋} (𝑥) = \int_{- \infty}^{+ \infty} 𝑓_{𝑋, 𝑌} (𝑥, 𝑦) 𝑑 𝑦 = \int_{0}^{1} 4 𝑥 𝑦 𝑑 𝑦 = 2 𝑥, for 0 \leq 𝑥 \leq 1

and

𝑓_{𝑌} (𝑦) = \int_{- \infty}^{+ \infty} 𝑓_{𝑋, 𝑌} (𝑥, 𝑦) 𝑑 𝑥 = \int_{0}^{1} 4 𝑥 𝑦 𝑑 𝑥 = 2 𝑦, for 0 \leq 𝑦 \leq 1

由于这是一个 continuous random vector, 因而根据Theorem 3.17 可以得到:

𝑓_{𝑋 ∣ 𝑌} (𝑥 ∣ 𝑦) = {\begin{cases} \frac{𝑓_{𝑋, 𝑌} (𝑥, 𝑦)}{𝑓_{𝑌} (𝑦)} = \frac{4 𝑥 𝑦}{2 𝑦} = 2 𝑥, & if 𝑥 \in [0, 1], \\ 0, & otherwise. \end{cases}

同理计算出

𝑓_{𝑌 ∣ 𝑋} (𝑦 ∣ 𝑥) = {\begin{cases} \frac{𝑓_{𝑋, 𝑌} (𝑥, 𝑦)}{𝑓_{𝑋} (𝑥)} = \frac{4 𝑥 𝑦}{2 𝑥} = 2 𝑦, & if 𝑦 \in [0, 1], \\ 0, & otherwise. \end{cases}

3.4 conditional expectation

Definition 3.34 : conditional expectation

令 $𝑋, 𝑌 : Ω \to ℝ$ 为 RVs. 这里沿用 expectation and variance of random variable 中 expectation 的积分定义. 对于 $𝑦 \in ℝ$ where $𝐹_{𝑋 | 𝑌} = ℙ^{𝑋 | 𝑌 = 𝑦} (𝑋 \leq 𝑥)$ is defined (这个条件对于 discrete 是筛选掉 $ℙ (𝑦) = 0$ 的点, 对于 continuous 这是为了筛选掉 $𝑓_{𝑌} = 0$ 的点), 我们定义 conditional expectation:

𝔼 [𝑋 | 𝑌 = 𝑦] ≔ \int_{- \infty}^{\infty} 𝑥 𝑑 ℙ^{𝑋 | 𝑌 = 𝑦} (𝑥)

特别地, 如果 $(𝑋, 𝑌)$ 是一个 discrete random vector, 则它即是:

𝔼 [𝑋 | 𝑌 = 𝑦] = \sum_{𝑥} 𝑥 ℙ (𝑋 | 𝑌) (𝑥 | 𝑦) = \sum_{𝑥} 𝑥 ℙ (𝑋 = 𝑥 | 𝑌 = 𝑦)

而如果 $(𝑋, 𝑌)$ 是一个 (absolutely) continuous random vector, 则它即是:

𝔼 [𝑋 | 𝑌 = 𝑦] = \int_{- \infty}^{\infty} 𝑥 𝑓_{𝑋 | 𝑌} (𝑥 | 𝑦) 𝑑 𝑥

Proposition 3.32 : independence 下 conditional distribution 不变 , independence 下 conditional density 不变 和 independence 下 conditional expectation 不变

如果 $𝑋, 𝑌$ 是 independent 的, 那么在任意 defined $𝑦$ 上,

𝐹_{𝑋 | 𝑌 = 𝑦} = 𝐹_{𝑋}, 𝑓_{𝑋 | 𝑌 = 𝑦} = 𝑓_{𝑋},

以及

𝔼 [𝑋 | 𝑌] = 𝔼 [𝑋]

Example 3.33

(constant random variable 的 conditional expectation)

令 $𝑋 ≔ 𝑏$ 为一个 constant random variable. $𝑌$ 为一个 (absolutely) continuous random variable. compute: $𝔼 [𝑋 | 𝑌]$ when $𝑓_{𝑌} (𝑦) > 0$ .

Solution

\begin{aligned} 𝐹_{𝑋, 𝑌} (𝑥, 𝑦) = ℙ (𝑋 \leq 𝑥, 𝑌 \leq 𝑦) = {𝐹_{𝑌} (𝑦), & if 𝑥 \leq 𝑏, \\ 0, & if 𝑥 > 𝑏 = 𝐹_{𝑋} (𝑥) \cdot 𝐹_{𝑌} (𝑦) \end{aligned}

因而它们 independent (当然,,) 因而

𝔼 [𝑋 | 𝑌] = 𝔼 [𝑋] = 𝑏

为什么我们要提及这个很呆的例子因为我们要说一个很呆但是要说一下的事情:

Proposition 3.33

conditional expectation 满足 linear property. 即任取 $𝑎, 𝑏 \in ℝ$ ,

𝔼 [𝑎 𝑋 + 𝑏 | 𝑌] = 𝑎 𝔼 [𝑋 | 𝑌] + 𝑏

Example 3.34

(computation exercise) 令 $𝑋, 𝑌$ 为 RVs with joint pdf

𝑓_{𝑋, 𝑌} (𝑥, 𝑦) = {\begin{cases} \frac{1}{𝑦} 𝑒^{- \frac{𝑥}{𝑦}} 𝑒^{- 𝑦}, & 𝑥 > 0, 𝑦 > 0 \\ 0, & otherwise \end{cases}

计算: $𝔼 [𝑋 | 𝑌 = 𝑦]$ .

Solution

根据 Theorem 3.17 和 Definition 3.34, 我们就是要做两件事情: 一个是计算 $𝑓_{𝑌}$ , 然后根据 $𝑓_{𝑌}$ 和 $𝑓_{𝑋, 𝑌}$ 计算出 $𝑓_{𝑋 | 𝑌}$ , 最后根据 $𝑓_{𝑋 | 𝑌}$ 积分计算出 $𝔼 [𝑋 | 𝑌]$ .

那么

𝑓_{𝑌} (𝑦) = \int_{- \infty}^{+ \infty} 𝑓_{𝑋, 𝑌} (𝑥, 𝑦) 𝑑 𝑥 = 𝑒^{- 𝑦} \int_{0}^{+ \infty} \frac{1}{𝑦} 𝑒^{- 𝑥 / 𝑦} 𝑑 𝑥 = 𝑒^{- 𝑦}, 𝑦 > 0

我们发现 $𝑌 \sim Exp (1)$ . 然后对于 $𝑦 > 0$ ,

𝑓_{𝑋 ∣ 𝑌} (𝑥 ∣ 𝑦) = \frac{𝑓_{𝑋, 𝑌} (𝑥, 𝑦)}{𝑓_{𝑌} (𝑦)} = \frac{1}{𝑦} 𝑒^{- 𝑥 / 𝑦}

因而 $𝑋 | 𝑌 = 𝑦 \sim Exp (1 / 𝑦)$ . 最后,

𝔼 [𝑋 ∣ 𝑌 = 𝑦] = \int_{- \infty}^{+ \infty} 𝑥 𝑓_{𝑋 ∣ 𝑌} (𝑥 ∣ 𝑦) 𝑑 𝑥 = \frac{1}{𝑦} \int_{0}^{+ \infty} 𝑥 𝑒^{- 𝑥 / 𝑦} 𝑑 𝑥 = 𝑦

而对于 $𝑦 \leq 0$ , 因为 $𝑓_{𝑌} (𝑦) = 0$ , $𝔼 [𝑋 ∣ 𝑌 = 𝑦]$ is not defined.

//TODO: 如果 $𝑋$ 是 continous 的, 而 $𝑌$ 是 discrete 的, 那么我们怎么 define conditional distribution, 以及 expectation 呢? 这个时候我们就需要用到之前说的 generated $𝜎$ -algebra 的概念了.

3.5 law of total expectation

Theorem 3.19 : law of total expectation

令 $𝑋, 𝑌 : Ω \to ℝ$ 为 RVs, 我们知道它们的 conditional expectation $𝔼 [𝑋 | 𝑌]$ 也是一个 $Ω \to ℝ$ 的 RV.

如果 $𝔼 [| 𝔼 [𝑋 | 𝑌] |] < \infty$ , 则

𝔼 [𝑋] = 𝔼 [𝔼 [𝑋 | 𝑌]]

Proof

对于更加严格的 conditional expectation 的定义而言 (as an orthogonal projection from $𝐿^{2} (Ω, ℱ︀, ℙ)$ onto the subspace of $𝑌$ -measurable functions), 这个定理是 trivial 的, 直接 follow from def. 这个定义在 indicator function 上也包含 Kolmogorov definition of conditional probability 的情形. 在该定义中, $𝔼 [𝑋 | 𝑌]$ 被定义为一个 $𝜎 (𝑌)$ -measurable function $𝑍$ , 使得对于任意 $𝐴 \in 𝜎 (𝑌)$ , 都有

\int_{𝐴} 𝑍 𝑑 ℙ = \int_{𝐴} 𝑋 𝑑 ℙ

那么取 $𝐴 = Ω$ , 自然得到.

而我们目前的定义下, 要证明它则要对于 discrete 和 continuous 两种情况分别计算证明. (recall Lebesgue Decomposition Theorem: 任意 measure 都可以被分解成一个 discrete 的部分和一个 continuous 的部分以及一个可以忽略的 singular 的部分. 因而证明了 discrete 和 continuous 两种情况即可.)

For discrete case:

\begin{aligned} 𝔼 [𝔼 [𝑋 ∣ 𝑌]] & = 𝔼_{𝜔} [𝔼 [𝑋 ∣ 𝑌 = 𝑌 (𝜔)]] = 𝔼_{𝜔} [\sum_{𝑥} 𝑥 ℙ (𝑋 = 𝑥 ∣ 𝑌 = 𝑌 (𝜔))] \\ = \sum_{𝑥} 𝑥 𝔼_{𝜔} [ℙ (𝑋 = 𝑥 ∣ 𝑌 = 𝑌 (𝜔))] \\ = \sum_{𝑥} 𝑥 \sum_{𝑦} ℙ (𝑋 = 𝑥 ∣ 𝑌 = 𝑦) \cdot ℙ (𝑌 = 𝑦) \\ = \sum_{𝑥} 𝑥 \sum_{𝑦} ℙ (𝑋 = 𝑥, 𝑌 = 𝑦) \\ = \sum_{𝑥} 𝑥 ℙ (𝑋 = 𝑥) = 𝔼 [𝑋] \end{aligned}

For continuous case:

\begin{aligned} 𝔼 [𝔼 [𝑋 ∣ 𝑌]] & = 𝔼_{𝜔} [\int_{- \infty}^{+ \infty} 𝑥 𝑓_{𝑋 ∣ 𝑌} (𝑥 ∣ 𝑌 (𝜔)) 𝑑 𝑥] = \int_{- \infty}^{+ \infty} 𝑥 𝔼_{𝜔} [𝑓_{𝑋 ∣ 𝑌} (𝑥 ∣ 𝑌 (𝜔))] 𝑑 𝑥 \\ = \int_{- \infty}^{+ \infty} 𝑥 \int_{- \infty}^{+ \infty} 𝑓_{𝑋 ∣ 𝑌} (𝑥 ∣ 𝑦) 𝑓_{𝑌} (𝑦) 𝑑 𝑦 𝑑 𝑥 \\ = \int_{- \infty}^{+ \infty} \int_{- \infty}^{+ \infty} 𝑥 𝑓_{𝑋, 𝑌} (𝑥, 𝑦) 𝑑 𝑥 𝑑 𝑦 \\ = \int_{- \infty}^{+ \infty} 𝑥 \int_{- \infty}^{+ \infty} 𝑓_{𝑋, 𝑌} (𝑥, 𝑦) 𝑑 𝑥 𝑑 𝑥 \\ = \int_{- \infty}^{+ \infty} 𝑥 𝑓_{𝑋} (𝑥) 𝑑 𝑥 = 𝔼 [𝑋] \end{aligned}

□

Example 3.35

(fair coin toss) 我们投掷一枚 fair coin. $𝑋_{1}$ : 直到 HH 出现钱, 投掷的次数;

$𝑋_{2}$ : 直到 HT 出现钱, 投掷的次数.

问题: 计算 $𝔼 [𝑋_{1}]$ 和 $𝔼 [𝑋_{2}]$ .

Solution

We condition on 第一次 toss $𝑌_{1}$ , 以及第二次 toss $𝑌_{2}$ .

\begin{aligned} 𝔼 [𝑋_{1}] & = 𝔼 [𝔼 [𝑋_{1} ∣ 𝑌_{1}]] = \frac{1}{2} 𝔼 [𝑋_{1} ∣ 𝑌_{1} = 𝐻] + \frac{1}{2} 𝔼 [𝑋_{1} ∣ 𝑌_{1} = 𝑇] \\ = \frac{1}{2} (\frac{1}{2} 𝔼 [𝑋 ∣ 𝑌_{1} = 𝐻, 𝑌_{2} = 𝐻] + \frac{1}{2} 𝔼 [𝑋 ∣ 𝑌_{1} = 𝐻, 𝑌_{2} = 𝑇]) + \frac{1}{2} (1 + 𝔼 [𝑋_{1}]) \\ = \frac{1}{2} (\frac{2}{2} + \frac{1}{2} (𝔼 [𝑋_{1}] + 2)) + \frac{1}{2} (1 + 𝔼 [𝑋_{1}]) . \end{aligned}

解出 $𝔼 [𝑋_{1}] = 6$ . 同理, 可以解出 $𝔼 [𝑋_{2}] = 4$ .

Example 3.36

一只鸡在一段时间内下 $𝑁$ 个蛋, 其中 $𝑁 \sim Pois (𝜆)$ . 每只蛋孵化成小鸡的概率为 $𝑝$ , 互相独立. 令 $𝐾$ 表示孵化成小鸡的蛋的数量, 计算 $𝐾 | 𝑁, 𝔼 [𝐾]$ , 以及 $𝐾$ 的 distribution.

Solution

由题意得

ℙ (𝐾 = 𝑘 | 𝑁 = 𝑛) = (\binom{𝑛}{𝑘}) 𝑝^{𝑘} (1 - 𝑝)^{𝑛 - 𝑘}

因此, $𝐾 | 𝑁 = 𝑛 \sim Bin (𝑛, 𝑝)$ 因而 $𝔼 [𝐾 | 𝑁 = 𝑛] = 𝑛 𝑝$ . 由 law of total expectation,

𝔼 [𝐾] = 𝔼 [𝔼 [𝐾 | 𝑁]] = 𝔼 [𝑁] \cdot 𝑝 = 𝜆

然后由 law of total probability,

\begin{aligned} ℙ (𝐾 = 𝑘) & = \sum_{𝑛 = 𝑘}^{+ \infty} ℙ (𝐾 = 𝑘, 𝑁 = 𝑛) = \sum_{𝑛 = 𝑘}^{+ \infty} ℙ (𝐾 = 𝑘 | 𝑁 = 𝑛) \cdot ℙ (𝑁 = 𝑛) \\ = \sum_{𝑛 = 𝑘}^{+ \infty} (\binom{𝑛}{𝑘}) 𝑝^{𝑘} (1 - 𝑝)^{𝑛 - 𝑘} \cdot \frac{𝜆^{𝑛} 𝑒^{- 𝜆}}{𝑛!} \\ = \sum_{𝑛 = 𝑘}^{+ \infty} \frac{𝑛!}{𝑘! (𝑛 - 𝑘)!} 𝑝^{𝑘} (1 - 𝑝)^{𝑛 - 𝑘} \cdot \frac{𝜆^{𝑛} 𝑒^{- 𝜆}}{𝑛!} \\ = \sum_{𝑛 = 𝑘}^{+ \infty} \frac{𝜆^{𝑛} 𝑒^{- 𝜆}}{𝑘! (𝑛 - 𝑘)!} 𝑝^{𝑘} (1 - 𝑝)^{𝑛 - 𝑘} \\ = \sum_{𝑛 = 𝑘}^{+ \infty} \frac{(𝜆 𝑝)^{𝑘} (𝜆 (1 - 𝑝))^{𝑛 - 𝑘} 𝑒^{- 𝜆}}{𝑘! (𝑛 - 𝑘)!} \\ = \frac{(𝜆 𝑝)^{𝑘} 𝑒^{- 𝜆}}{𝑘!} \sum_{𝑛 = 𝑘}^{+ \infty} \frac{(𝜆 (1 - 𝑝))^{𝑛 - 𝑘}}{(𝑛 - 𝑘)!} \\ = \frac{(𝜆 𝑝)^{𝑘} 𝑒^{- 𝜆}}{𝑘!} \sum_{𝑚 = 0}^{+ \infty} \frac{(𝜆 (1 - 𝑝))^{𝑚}}{𝑚!} \\ = \frac{(𝜆 𝑝)^{𝑘} 𝑒^{- 𝜆}}{𝑘!} \cdot 𝑒^{𝜆 (1 - 𝑝)} = \frac{(𝜆 𝑝)^{𝑘} 𝑒^{- 𝜆 𝑝}}{𝑘!} \end{aligned}

因而 $𝐾 \sim Pois (𝜆 𝑝)$ .

Example 3.37

令 $(𝑋, 𝑌)$ 为一对 continuous RVs with joint pdf:

𝑓_{𝑋, 𝑌} (𝑥, 𝑦) = 2 𝑒^{- (𝑥 + 2 𝑦)} 𝟏_{{𝑥 > 0, 𝑦 > 0}}

首先, verify $𝑓_{𝑋, 𝑌}$ is a valid joint pdf, 然后计算 $𝔼 [𝑋 | 𝑌 = 𝑦]$ 和 $𝔼 [𝑋]$ .

Solution

\int_{0}^{\infty} \int_{0}^{\infty} 2 𝑒^{- (𝑥 + 2 𝑦)} 𝑑 𝑥 𝑑 𝑦 = \int_{0}^{\infty} 2 𝑒^{- 2 𝑦} (\int_{0}^{\infty} 𝑒^{- 𝑥} 𝑑 𝑥) 𝑑 𝑦 = \int_{0}^{\infty} 2 𝑒^{- 2 𝑦} 𝑑 𝑦 = 1

verify 很简单. 然后我们首先计算 density of $𝑌$ :

𝑓_{𝑌} (𝑦) = \int_{0}^{\infty} 2 𝑒^{- (𝑥 + 2 𝑦)} 𝑑 𝑥 = 2 𝑒^{- 2 𝑦}, 𝑦 > 0

然后计算 conditional density of $𝑋$ given $𝑌 = 𝑦$ :

𝑓_{𝑋 ∣ 𝑌} (𝑥 ∣ 𝑦) = \frac{𝑓_{𝑋, 𝑌} (𝑥, 𝑦)}{𝑓_{𝑌} (𝑦)} = 𝑒^{- 𝑥}, 𝑥 > 0

因而 by Definition 3.34,

𝔼 [𝑋 ∣ 𝑌 = 𝑦] = \int_{0}^{\infty} 𝑥 𝑒^{- 𝑥} 𝑑 𝑥 = 1

然后 by law of total expectation,

𝔼 [𝑋] = 𝔼 [𝔼 [𝑋 | 𝑌]] = 𝔼 [1] = 1

since $𝔼 [𝑋 | 𝑌]$ is a constant function.

4 Behaviors of a sequence of random variables

4.1 Toolbox review: inequalities in probability

这一节是一个 review, 复习一些在 measure theory 中我们已经证明过, 在 probability theory 中经常用到的 inequalities.

4.1.1 Markov’s ineqaulity and Chebyshev’s inequality

Theorem 4.20 : Markov’s inequality

对于一个 non-negative random variable $𝑋$ (即 $𝑋 \geq 0$ a.s.), 任取 $𝑡 > 0$ , 都有

ℙ (𝑋 \geq 𝑡) \leq \frac{𝔼 [𝑋]}{𝑡}

Proof

我们考虑一个 indicator function $𝟏_{{𝑋 \geq 𝑡}}$ , 这也是一个 non-negative random variable. 显然:

𝑋 \geq 𝑡 \cdot 𝟏_{{𝑋 \geq 𝑡}}

(在 $𝑋 \geq 𝑡$ 的事件上等于, 其他事件上小于), 并且这个 indicator function 的 expectation 正是 $𝑋$ 大于 $𝑡$ 的概率 $ℙ (𝑋 \geq 𝑡)$ .

因而 by linearity of expectation,

𝔼 [𝑋] \geq 𝑡 𝔼 [𝟏_{{𝑋 \geq 𝑡}}] = 𝑡 ℙ (𝑋 \geq 𝑡)

其值为 1 当 $𝑋 \geq 𝑡$ 时, 否则为 0. 对于任意的 $𝑡 > 0$ , 有

□

Corollary 4.2 : Chebyshev’s inequality

对于一个 random variable $𝑋$ 和任意的 $𝑡 > 0$ , 如果它的方差 $Var (𝑋)$ 是有限的, 那么有

ℙ (| 𝑋 - 𝔼 [𝑋] | \geq 𝑡) \leq \frac{Var (𝑋)}{𝑡^{2}}

Proof

考虑 non-negative random variable $(𝑋 - 𝔼 [𝑋])^{2}$ , 那么

ℙ (| 𝑋 - 𝔼 [𝑋] | \geq 𝑡) = ℙ ((𝑋 - 𝔼 [𝑋])^{2} \geq 𝑡^{2}) \leq \frac{𝔼 [(𝑋 - 𝔼 [𝑋])^{2}]}{𝑡^{2}} = \frac{Var (𝑋)}{𝑡^{2}}

□

4.1.2 Cauchy-Schwarz and Jensen’s ineq

Theorem 4.21 : Cauchy-Schwarz inequality

对于任意的 random variables $𝑋$ 和 $𝑌$ , 都有

| 𝔼 [𝑋 𝑌] | \leq \sqrt{𝔼 [𝑋^{2}] \cdot 𝔼 [𝑌^{2}]}

这是 prob space 作为一个 measure space, 其上的函数空间 $𝐿^{2} (Ω, ℱ︀, ℙ)$ 作为一个 Hilbert space, 自然的 Cauchy-Schwarz inequality. 不赘述了.

Theorem 4.22 : Jensen’s inequality

对于一个 convex function $𝜙$ 和任意的 random variable $𝑋$ , 只要 $𝔼 [𝑋]$ 和 $𝔼 [𝜙 (𝑋)]$ 都是 well-defined 的 (即 finite), 都有

𝜙 (𝔼 [𝑋]) \leq 𝔼 [𝜙 (𝑋)]

Proof

Let $𝑥_{0} ≔ 𝔼 [𝑋]$ .

Since $𝜙$ is convex, for any $𝑥$ , there exists a supporting line to the graph of $𝜙$ at $𝑥$ . 即存在一个 $𝑚 \in ℝ$ s.t. 对于任意的 $𝑦$ , 都有

𝜑 (𝑥) \geq 𝜑 (𝑥_{0}) + 𝑚 (𝑥 - 𝑥_{0})

因而 apply to $𝑋$ , 我们 a.s. 有

𝜑 (𝑋) \geq 𝜑 (𝔼 [𝑋]) + 𝑚 (𝑋 - 𝔼 [𝑋])

因此 by linearity of expectation,

𝔼 [𝜑 (𝑋)] \geq 𝜑 (𝔼 [𝑋]) + 𝑚 (𝔼 [𝑋] - 𝔼 [𝑋]) = 𝜑 (𝔼 [𝑋])

□

4.1.3 Fatou’s Lemma, MCT and DCT

我们在 measure theory 中最熟悉的三个定理. 复习一下. 这里不 prove 了. proof 请左转 measure theory notes.

Theorem 4.23 : Fatou’s Lemma

令 ${𝑋_{𝑛}}$ 是一列 non-negative random variables, 那么

𝔼 [\underset{𝑛 \to \infty}{lim inf} 𝑋_{𝑛}] \leq \underset{𝑛 \to \infty}{lim inf} 𝔼 [𝑋_{𝑛}]

Theorem 4.24 : monotone convergence theorem

令 ${𝑋_{𝑛}}$ 是一列递增的 non-negative random variables (即 $𝑋_{𝑛} ↑ 𝑋$ a.s.), 那么 suppose $𝑋 ≔ {lim}_{𝑛 \to \infty} 𝑋_{𝑛}$ a.e. exists, 那么 a.s. 有

lim_{𝑛 \to \infty} 𝔼 [𝑋_{𝑛}] = 𝔼 [𝑋]

Theorem 4.25 : dominated convergence theorem

令 ${𝑋_{𝑛}}$ 是一列 random variables, 并且存在一个 a.e. pointwise limit $𝑋$ (即 $𝑋_{𝑛} \to 𝑋$ a.s.), 并且存在一个 integrable random variable $𝑌$ 作为一个 bound: 使得 $| 𝑋_{𝑛} | \leq 𝑌$ a.s. 对所有的 $𝑛$ 成立,

那么

lim_{𝑛 \to \infty} 𝔼 [𝑋_{𝑛}] = 𝔼 [𝑋]

4.1.4 Tonneli and fubini

Theorem 4.26 : Tonelli

对于一列 non-negative random variables ${𝑋_{𝑛}}$ , 累加和积分(求期望)的顺序可以交换:

𝔼 [\sum_{𝑛 = 1}^{+ \infty} 𝑋_{𝑛}] = \sum_{𝑛 = 1}^{+ \infty} 𝔼 [𝑋_{𝑛}]

Theorem 4.27 : Fubini’s Theorem

对于一列任意的 random variables ${𝑋_{𝑛}}$ , 只要其绝对值的 sum 的 expectation 是 finite 的 (或者绝对值的 expectation 的 sum 是 finite 的, by Tonneli 都是一样的), 那么就有 linearity of expectation 的推广:

𝔼 [\sum_{𝑛 = 1}^{+ \infty} 𝑋_{𝑛}] = \sum_{𝑛 = 1}^{+ \infty} 𝔼 [𝑋_{𝑛}]

4.2 Definition review: modes of convergence

这一个 section 也是一个 review. 讲讲不同的 convergence mode 的定义, 以及它们之间的关系.

首先, 我们对 pointwise limit 和 uniform limit 的定义已经很熟悉了, 这里就不赘述了. (算了 uniform 还是提一嘴, 意思是我们需要 pointwise limit 的收敛速度也是 uniform 的, 即对任意的 $𝜖 > 0$ , 都存在一个 $𝑁$ 使得对于所有的 $𝑛 \geq 𝑁$ 和所有的 $𝜔$ , 都有 $| 𝑋_{𝑛} (𝜔) - 𝑋 (𝜔) | < 𝜖$ , 是一个严格强于 pointwise 的收敛方式. )

Definition 4.35 : RV 序列的三种收敛方式

converge a.s. (almost surely) 或称 converge with probability 1:
$ℙ (lim_{𝑛 \to \infty} 𝑋_{𝑛} = 𝑋) = 1$
即:
$ℙ ({𝜔 \in Ω : lim_{𝑛 \to \infty} 𝑋_{𝑛} (𝜔) = 𝑋 (𝜔)}) = 1$
也就是说 $𝑋_{𝑛}$ 的 a.e. pointwise limit 是 $𝑋$ .
converge in $𝐿^{𝑝}$ : 对于 $𝐿^{𝑝}$ -integrable 的 random variables sequence $𝑋_{𝑛}$ 和 $𝑋$ , 我们称 $𝑋_{𝑛} \overset{𝐿^{𝑝}}{\to} 𝑋$ , 如果
$lim_{𝑛 \to \infty} 𝔼 [{| 𝑋_{𝑛} - 𝑋 |}^{𝑝}] = 0$
即: 这个 seq of RVs 与这个 limit function 之间的 $𝐿^{𝑝}$ distance 收敛到 0; 也就是它们的偏差 as a random variable, 其 $𝑝$ -th moment 收敛到 0.
converge in probability: 对于任意的 $𝜖 > 0$ , 如果
$lim_{𝑛 \to \infty} ℙ (| 𝑋_{𝑛} - 𝑋 | > 𝜖) = 0$
即 $𝑋_{𝑛}$ 与 $𝑋$ 之间的偏差超过 $𝜖$ 的概率收敛到 0.

4.3 Borel-Cantelli Lemma

4.4 Laws of Large Numbers

4.4.1 weak and strong LLN

下面是概率论中最重要的定律之一: 大数定律 (Laws of Large Numbers, LLN).

它证明的是一个十分符合直觉的结论: 一个 random variable 的 sample mean (即 $𝑛$ 个 i.i.d. 的 copy 的均值), 随着 sample 数量的增加, 会 converge to 它的 expectation.

就是说: 我们重复做一个相同的实验并取结果的平均值, 当我们做的实验足够多时, 这个平均值就会非常接近于这个实验的 expectation, 也就是理论的均值.
例如最经典的例子就是抛硬币: 我们连续抛 $𝑛$ 次一个公平的硬币, 记录每次抛出正面 (记为 1) 或者反面 (记为 0), 然后计算这些结果的平均值, 随着 $𝑛$ 的增加, 这个平均值会趋近于 0.5, 等于理论的 expectation (这是个 Bernouli random variable, expectation = $𝑝$ ).
LLN 有两个阶段, weak LLN 和 strong LLN, weak LLN 证明的是这个 convergence 是 in probability 的, 而 strong LLN 证明的是这个 convergence 是 a.s. 的. 就是说 strong LLN 是严格强于 weak LLN 的.

Theorem 4.28 : weak Law of Large Numbers

对于一列 i.i.d. 的 random variables ${𝑋_{𝑖}}$ , 只要这个 random variable 的 expectation 是 finite 的 $𝔼 [𝑋_{1}^{2}] < \infty$ , 那么就有:

\frac{𝑋_{1} + 𝑋_{2} + \dots + 𝑋_{𝑛}}{𝑛} \overset{𝑝}{\to} 𝔼 [𝑋_{1}] as 𝑛 \to \infty

Proof

简写 $𝜇 ≔ 𝔼 [𝑋_{1}]$ , $𝑆_{𝑛} ≔ \frac{𝑋_{1} + 𝑋_{2} + \dots + 𝑋_{𝑛}}{𝑛}$ for each $𝑛$ .

Let $𝜀 > 0$ . It suffices to show: $ℙ (| 𝑆_{𝑛} - 𝜇 | > 𝜀) \to 0$ as $𝑛 \to \infty$ . By Chebyshev’s inequality, we have

\begin{aligned} ℙ (| 𝑆_{𝑛} / 𝑛 - 𝜇 | > 𝜀) & \leq \frac{Var (𝑆_{𝑛} / 𝑛)}{𝜀^{2}} \\ = \frac{1}{𝑛^{2} 𝜀^{2}} (\sum_{𝑛 = 1}^{𝑛} 𝔼 [| 𝑋_{𝑖} - 𝜇 |^{2}] + 2 \sum_{1 \leq 𝑖 < 𝑗 \leq 𝑛} 𝔼 [(𝑋_{𝑖} - 𝜇) (𝑋_{𝑗} - 𝜇)]) \end{aligned}

notice: 由于每个 $𝑋_{𝑖}$ 都是 i.i.d. 的, independence $⟹$ uncorrelatedness $⟹ Cov (𝑋, 𝑌) = 𝔼 [𝑋 𝑌] - 𝔼 [𝑋] 𝔼 [𝑌] = 0$ , 因而 $𝔼 [(𝑋_{𝑖} - 𝜇) (𝑋_{𝑗} - 𝜇)] = 𝔼 [(𝑋_{𝑖} - 𝜇)] 𝔼 [(𝑋_{𝑗} - 𝜇)] = 0 \cdot 0 = 0$ for each $𝑖 \neq 𝑗$ .

因而

ℙ (| 𝑆_{𝑛} / 𝑛 - 𝜇 | > 𝜀) = \frac{1}{𝜀^{2} 𝑛^{2}} \sum_{𝑛 = 1}^{𝑛} 𝔼 [| 𝑋_{𝑖} - 𝜇 |^{2}] = \frac{1}{𝜀^{2} 𝑛} \cdot 𝑛 Var (𝑋_{1}) \overset{𝑛 \to \infty}{\to} 0

□

Theorem 4.29 : strong Law of Large Numbers

在 weak LLNTheorem 4.28 的相同条件 (其实可以更弱, 让 $𝐸 [𝑋_{1}] < \infty$ 即可) 下, 我们其实可以得到一个更强的结论:

\frac{𝑋_{1} + \dots + 𝑋_{𝑛}}{𝑛} \overset{a.s.}{\to} 𝔼 [𝑋_{1}], as 𝑛 \to \infty

Proof

For simplicity, 我们不证明更弱的条件 ( $𝐸 [𝑋_{1}] < \infty$ ) 下的 strong LLN 了. 只沿用相同的条件.

简写 $𝜇 ≔ 𝔼 [𝑋_{1}]$ , $𝜎^{2} ≔ Var (𝑋_{1})$ , $𝑆_{𝑛} ≔ \frac{𝑋_{1} + 𝑋_{2} + \dots + 𝑋_{𝑛}}{𝑛}$ for each $𝑛$ , 以及

𝑌_{𝑛} ≔ \frac{𝑆_{𝑛}}{𝑛} - 𝜇

我们将要证明: $𝑌_{𝑛} \overset{𝑎 . 𝑠 .}{\to} 0$ .

首先, 在 weak LLN 的 proof 中, 我们已经证明了:

𝔼 (𝑌_{𝑛}) = 0, 𝔼 [𝑌_{𝑛}^{2}] = \frac{𝜎^{2}}{𝑛}

我们发现: 当我们只采样 $𝑛^{2}$ indexed 的时候, 它们的 expectation 的 sum 是 finite 的, by p-test (因为 $\sum_{𝑛 = 1}^{\infty} \frac{1}{𝑛^{𝑝}}$ 收敛当且仅当 $𝑝 > 1$ ), 即:

𝔼 [\sum_{𝑛 = 1}^{+ \infty} 𝑌_{𝑛^{2}}^{2}] = \sum_{𝑛 = 1}^{+ \infty} 𝔼 [𝑌_{𝑛^{2}}^{2}] = \sum_{𝑛 = 1}^{+ \infty} \frac{𝜎^{2}}{𝑛^{2}} < \infty

先考虑所有 $𝑌_{𝑛}$ 都非负的 case. 我们知道: expectation of 一个 non-negative random variable 是 finite 的, 就 imply 它是 a.e. finite 的. 因而

\sum_{𝑛 = 1}^{+ \infty} 𝑌_{𝑛^{2}}^{2} < \infty a.s.

因而

lim_{𝑛 \to \infty} 𝑌_{𝑛^{2}} = 0 a.s.

意味把在 $1, 4, 9, 16 . . .$ 这些 index 的 $𝑌_{𝑖}$ 求 average, 确实收敛到了 $𝜇$ .

而我们可以通过 squeeze theorem 得到 general case: 对于任意正整数 $𝑘$ , 总能找到一对平方数把它夹在中间. 比如令 $𝑛^{2} < 𝑘 < (𝑛 + 1)^{2}$ .

我们发现:

\frac{𝑆_{𝑛^{2}}}{(𝑛 + 1)^{2}} \leq \frac{𝑆_{𝑘}}{𝑘} \leq \frac{𝑆_{(𝑛 + 1)^{2}}}{𝑛^{2}}

notice: $\frac{𝑆_{𝑛^{2}}}{(𝑛 + 1)^{2}} = \frac{𝑆_{𝑛^{2}}}{𝑛^{2}} \cdot \frac{𝑛^{2}}{(𝑛 + 1)^{2}}$ , 前向 converge to $𝜇$ , 后向 converge to 1, 因而 $\frac{𝑆_{𝑛^{2}}}{(𝑛 + 1)^{2}} \to 𝜇$ , 后面那个也同理. 因而夹逼得到 $𝑆_{𝑘} / 𝑘 \to 𝜇$ . 从而得证.

General case:

𝑋_{𝑛} = max {𝑋_{𝑛}, 0} - max {- 𝑋_{𝑛}, 0} = : 𝑋_{𝑛}^{+} - 𝑋_{𝑛}^{-}

因而

\frac{𝑋_{1} + \dots + 𝑋_{𝑛}}{𝑛} = \frac{𝑋_{1}^{+} + \dots + 𝑋_{𝑛}^{+}}{𝑛} - \frac{𝑋_{1}^{-} + \dots + 𝑋_{𝑛}^{-}}{𝑛} \overset{a.s.}{\to} 𝔼 [𝑋_{1}^{+}] - 𝔼 [𝑋_{1}^{-}] = 𝔼 [𝑋_{1}]

得证.

□

4.4.2 application: Monte Carlo methods

任何利用 LLN 来近似计算一个 quantity 的方法, 都可以称之为 Monte Carlo 方法.

它的核心思想是:

选择一个随机变量, 其 expectation 等于我们要计算的 quantity.
大量重复采样这个随机变量, 并计算样本的平均值
根据大数定律, 这个平均值近似于我们要计算的 quantity.
我们可以用 Chebyshev’s inequality 来给出这个近似的误差 bound.

Example 4.38 : 估算 $𝜋$

我们令 $𝑋, 𝑌 \sim 𝑈 ([- 1, 1])$

那么

𝔼 [𝟏_{𝐶} (𝑋, 𝑌)] = \int_{- 1}^{1} \int_{- 1}^{1} 𝟏_{𝐶} (𝑥, 𝑦) 𝑓_{𝑋, 𝑌} (𝑥, 𝑦) 𝑑 𝑥 𝑑 𝑦 = \frac{1}{4} \int_{- 1}^{1} \int_{- 1}^{1} 𝟏_{𝐶} (𝑥, 𝑦) 𝑑 𝑥 𝑑 𝑦 = \frac{𝜋}{4}

注意我们每次随机采样 $𝑋, 𝑌$ 的时候, 都是在 $[- 1, 1] \times [- 1, 1]$ 这个正方形里随机选一个点, 即创建了一个 random variable $(𝑋_{𝑖}, 𝑌_{𝑖})$ 并进行观测.

根据 LLN, 不论单次的采样结果如何, 我们都可以得到

lim_{𝑛 \to \infty} \frac{𝟏_{𝐶} (𝑋_{1}, 𝑌_{1}) + \dots + 𝟏_{𝐶} (𝑋_{𝑛}, 𝑌_{𝑛})}{𝑛} = \frac{𝜋}{4}, a.s.

我们还可以用 Chebyshev’s inequality 来给出这个近似的误差 bound:

ℙ (| 4 𝑆_{𝑛} / 𝑛 - 𝜋 | > 𝜀) \leq \frac{Var (4 𝑆_{𝑛} / 𝑛)}{𝜀^{2}} = \frac{4^{2}}{𝑛^{2} 𝜀^{2}} Var (\sum_{𝑖 = 1}^{𝑛} 𝟏_{𝐶} (𝑋_{𝑖}, 𝑌_{𝑖})) = \frac{16}{𝑛 𝜀^{2}} Var (𝟏_{𝐶} (𝑋_{1}, 𝑌_{1})) \approx \frac{1}{𝑛 𝜀^{2}}

因而当 $𝑛$ 足够大时, 几乎一定可以得到目标值.

import random
def estimate_pi(n):
    S_n = 0 # This step 1
    for _ in range(n):
        # Here is step 2 (and 3)
        X = random.uniform(-1, 1)
        Y = random.uniform(-1, 1)
        # Check if the point is inside the unit circle
        if X**2 + Y**2 <= 1:
            S_n += 1
    pi_estimate = 4 * S_n / n
    return pi_estimate
# Example usage
n = 1000000
pi_approx = estimate_pi(n)
print(pi_approx)

4.4.3 application: Bernstein Polynomials

4.4.4 application: Hypothesis testing

5 Central Limit Theorem

5.1 convergence in distribution

Definition 5.36 : convergence in distribution

我们称一个 seq of random variables ${𝑋_{𝑛}}$ converge in distribution to a random variable $𝑋$ , 写作 $𝑋_{𝑛} \overset{𝑑}{\to} 𝑋$ , 如果 $𝑋$ 的分布函数 $𝐹_{𝑋}$ 下所有右连续的 $𝑥$ (即 $𝐹_{𝑋} (𝑥) = 𝐹_{𝑋} (𝑥 -)$ ), 都有

lim_{𝑛 \to \infty} 𝐹_{𝑋_{𝑛}} (𝑥) = 𝐹_{𝑋} (𝑥)

Remark

Convergence in distribution 的意思就是: 随着 $𝑛$ 越来越大, $𝑋_{𝑛}$ 的分布是否越来越接近 $𝑋$ 的分布. 这是一个非常弱的收敛概念, 因为它甚至不要求 $𝑋_{𝑛}$ 和 $𝑋$ 在同一个概率空间上定义, 也不要求 $𝑋_{𝑛}$ 和 $𝑋$ 之间有任何关系. 只需要分布函数收敛即可.

并且 notice: 并不要求对所有点 $𝑥$ 都有 $𝐹_{𝑋_{𝑛}} (𝑥) \to 𝐹_{𝑋} (𝑥)$ , 而是只要求对 $𝑋$ 的分布函数 $𝐹_{𝑋}$ 下所有右连续的点 $𝑥$ . 这是因为如果不加这个限制, 很多直观上应该收敛的情况在数学上就会失败.

比如: 令 $𝑋_{𝑛} = 1 / 𝑛$ , 一个 constant random variable, 那么 $𝑋_{𝑛}$ 的分布函数 $𝐹_{𝑋_{𝑛}}$ 是一个 step function. 但是在 $𝑥 = 0$ 处, $𝐹_{𝑋_{𝑛}} (0) = 0$ for all $𝑛$ , 因而 ${lim}_{𝑛 \to \infty} 𝐹_{𝑋_{𝑛}} (0) = 0$ .

而 $𝐹_{𝑋} (0) = 1$ .

所以对于这种跳跃不连续点, 如果不跳过, 那么就会得出 $𝑋_{𝑛}$ 不收敛于 $𝑋$ 的错误结论. 但是我们知道, 分布函数作为一个单调递增的函数, 是 a.e. continuous 的, 因而这些点是可以忽略掉的.

5.2 Characterization of a distribution

5.2.1 moment generating function

Definition 5.37 : moment generating function

对于一个随机变量 $𝑋$ , 其 moment generating function (MGF) 定义为

𝑀_{𝑋} (𝑡) = 𝔼 [𝑒^{𝑡 𝑋}], 𝑡 \in ℝ

Proposition 5.34

如果 $𝑀_{𝑋} (𝑡)$ 在 $𝑡 = 0$ 的某个 neighborhood 内存在, 则 $𝑋$ 的 $𝑛$ 阶矩可以表示为

𝔼 [𝑋^{𝑛}] = 𝑀_{𝑋}^{(𝑛)} (0)

其中 $𝑀_{𝑋}^{(𝑛)} (0)$ 表示 $𝑀_{𝑋} (𝑡)$ 在 $𝑡 = 0$ 处的 $𝑛$ 阶导数.

5.2.2 characteristic function

5.3 Central Limit Theorem

Theorem 5.30 : Lindeberg-Levy Central Limit Theorem

对于任意一个 seq of i.i.d. random variables ${𝑋_{𝑖}}$ with mean $𝜇$ and variance $𝜎^{2} < \infty$ , set $𝑆_{𝑛} = 𝑋_{1} + 𝑋_{2} + \dots + 𝑋_{𝑛}$ for each $𝑛$ .

我们有:

\frac{𝑆_{𝑛} - 𝑛 𝜇}{\sqrt{𝑛 𝜎^{2}}} \overset{𝑑}{\to} 𝑁 (0, 1)

在进行证明前, 我们先看一些 applications of CLT. 可能会帮助我们更好地理解 CLT 的意义.

5.3.1 applications of CLT

Example 5.39 : (判断 coin 是否 fair)

我们有两个 coins, 想要判断它们是否是 fair coin. 我们可以 toss 这个 coin $𝑛$ 次, 记录下每次 toss 的结果, 记为 $𝑋_{1}, 𝑋_{2}, \dots, 𝑋_{𝑛}$ , 其中 $𝑋_{𝑖} = 1$ if the $𝑖$ -th toss is heads.

现在: 观测到第一个 coin 100 次 toss 中有 38 次是 heads, 第二个 coin 100 次 toss 中有 43 次是 heads.

Solution

假设这两个 coins 是 fair coin. 那么 $𝑋_{𝑖}$ 是 i.i.d. Bernoulli random variables with parameter $𝑝 = 0.5$ , 因而 $𝜇 = 𝑝 = \frac{1}{2}$ , $𝜎^{2} = 𝑝 (1 - 𝑝) = \frac{1}{4}$ . 从而根据 CLT,

ℙ (𝑆_{100} < 38) = ℙ (\frac{𝑆_{100} - 100 \cdot \frac{1}{2}}{\sqrt{100 \cdot \frac{1}{4}}} < \frac{38 - 100 \cdot \frac{1}{2}}{\sqrt{100 \cdot \frac{1}{4}}}) \approx ℙ (𝑍 < \frac{38 - 50}{5}) \approx ℙ (𝑍 < - 2.4) \approx 0.0082 < 0.01

因而这个第一个 coin 很可能不是 fair coin. 同样的方法计算出 $ℙ (𝑆_{100} \leq 43) \approx 0.0887$ , 因而第二个 coin 虽然也可疑不是 fair coin, 但是不如第一个 coin 可疑. 如果以 0.05 作为显著性水平, 那么我们可以拒绝第一个 coin 是 fair coin 的假设.

Example 5.40 : (样本量需求的计算)

工厂生产了一批电线, 我们想知道它们的平均断裂强度 $𝜇$ 是多少. 遂抽取 $𝑛$ 根电线进行测量, 得到 $𝑋_{1}, . . ., 𝑋_{𝑛}$ , 然后计算它们的样本平均值 ${\bar{𝑋}}_{𝑛}$ 来估计 $𝜇$ .

已知量: 强度的方差 $𝜎^{2} = 1 / 10$ .; 我们想估计的是 $𝜇$ 的值. 并且我们希望我们的估计是准的, in the sense that: 误差 $| {\bar{𝑋}}_{𝑛} - 𝜇 |$ 不超过 0.01 的概率至少为 0.95.

Solution

我们要达到: $ℙ (| {\bar{𝑋}}_{𝑛} - 𝜇 | \leq 1 / 100)$ .

我们要把它转成标准的 normal distribution 的形式, 即 $𝑍 = \frac{𝑆_{𝑛} - 𝑛 𝜇}{\sqrt{𝑛 𝜎^{2}}}$ 的形式.

于是我们把 ${\bar{𝑋}}_{𝑛} - 𝜇$ 写为 $\frac{𝑆_{𝑛}}{𝑛} - 𝜇$ , 然后两边同时乘 $\frac{\sqrt{𝑛}}{𝜎}$ . 右边的常数项也做相同的变换: $\frac{1 / 100}{𝜎 / \sqrt{𝑛}} = \frac{\sqrt{𝑛}}{100 𝜎}$ .

于是原式变为:

ℙ (| 𝑍 | \leq \frac{\sqrt{𝑛}}{100 𝜎}) \approx 0.95

对于正态分布我们知道

ℙ (| 𝑍 | \leq 𝑥) = 2 Φ (𝑥) - 1

于是想要:

2 Φ (\frac{\sqrt{𝑛}}{100 𝜎}) - 1 \geq 0.95 ⟹ Φ (\frac{\sqrt{𝑛}}{100 𝜎}) \geq 0.975

通过查表我们知道当 $Φ (𝑧) = 0.975$ 时, $𝑧 \approx 1.96$ . 因此要求 $\frac{\sqrt{𝑛}}{100 𝜎} \geq 1.96$ , 解得至少需要 $𝑛 \geq (61.98)^{2} \approx 384.16$ , floor 一下得到 $𝑛 \geq 385$ .

5.3.2 Berry-Esseen Theorem: CLT 的收敛速度

之前的例子中, 我们都使用了 $\approx$ 表示: 我们直接把此时的分布近似当作了一个 normal distribution, 来计算一些概率.

但是: 这两个分布的近似行为的本身有多么精准?

下面有一个 theorem 刻画了这件事.

Theorem 5.31 : Berry-Esseen Theorem

给定一个 seq of i.i.d. random variables ${𝑋_{𝑖}}$ with mean $𝜇$ and variance $𝜎^{2} < \infty$ , 以及 $𝔼 [| 𝑋_{𝑖} - 𝜇 |^{3}] = 𝜌 < \infty$ , set $𝑆_{𝑛} = 𝑋_{1} + 𝑋_{2} + \dots + 𝑋_{𝑛}$ , 我们有: 对于任意 $𝑥 \in ℝ$ ,

| ℙ (\frac{𝑆_{𝑛} - 𝑛 𝜇}{\sqrt{𝑛 𝜎^{2}}} \leq 𝑥) - Φ (𝑥) | \leq \frac{3 𝜌}{𝜎^{2} \sqrt{𝑛}}

Remark

给定一个 number of samples $𝑛$ , 我们可以给出此时的真实概率与正态近似值之间的差值的一个 upper bound.
并且, 这个 bound 不是概率意义上的 bound, 而是一个 deterministic bound, 没有任何的随机性; 并且是 uniform across all $𝑥$ 的 bound.
这是因为这里本身就是两个概率的值之间的差, 而不是样本之间的差. 因而其实这是一个非常强大的结论, 表面我们用正态分布近似估计出的概率和真实的概率之间的差值是 determinstically controllable 意义上非常小的.
我们马上可以想到: 对于控制样本数量来达到某个置信水平的问题, 这是一个非常有用的工具, 因为它告诉我们, 当 $𝑛$ 足够大时, 我们用正态分布近似估计出的概率和真实的概率之间的差值是非常小并且可以控制的.
并且, 这个控制应该是比较精准的. 因为相比其他的控制方法: Chebyshev 只需要 first, second order moments 的信息; Hoeffding 只需要有界性的假设, 甚至不需要知道分布的任何 moment 信息; 而 Berry-Esseen 需要 third order moment 的信息, 因此它应该能够给一个更精准的控制.

Proof

//TODO:

□

Example 5.41

一个工厂生产电子元件, 每个原件有概率是有缺陷的.

令

𝑋_{𝑖} = {\begin{cases} 1, & if the 𝑖 th tested component is defective, \\ 0, & otherwise . \end{cases}

并假设 i.i.d. with parameter

ℙ (𝑋_{𝑖} = 1) = 𝑝

其中 $𝑝$ 是一个未知的参数.

工厂方面表示这个 process 是 under control 的, 并给出了假设: $𝐻_{0} : 𝑝 \leq 0.02$ .

为了验证这个假设, 一个 quality control manager 需要从生产线上需要随机 $𝑛$ 个元件进行测试, 并估计出 $𝑝$ 的值 by 样本均值:

{\hat{𝑝}}_{𝑛} ≔ \frac{1}{𝑛} \sum_{𝑖 = 1}^{𝑛} 𝑋_{𝑖}

我们希望这个估计的误差最多为 0.005, 并且这个误差的置信度至少为 0.99, 即我们希望:

ℙ (| {\hat{𝑝}}_{𝑛} - 𝑝 | > 0.005) \leq 0.01

那么我们至少需要多少样本量 $𝑛$ 来达到这个要求呢?

Solution

首先计算样本均值 ${\hat{𝑝}}_{𝑛}$ 的 mean 和 variance:

𝔼 [{\hat{𝑝}}_{𝑛}] = 𝑝, Var ({\hat{𝑝}}_{𝑛}) = \frac{1}{𝑛^{2}} \sum_{𝑖 = 1}^{𝑛} Var (𝑋_{𝑖}) = \frac{𝑝 (1 - 𝑝)}{𝑛}

此时我们有三个办法:

办法1: Chebyshev’s inequality.
$ℙ (| {\hat{𝑝}}_{𝑛} - 𝑝 | \geq 𝜀) \leq \frac{Var ({\hat{𝑝}}_{𝑛})}{𝜀^{2}} = \frac{𝑝 (1 - 𝑝)}{𝑛 𝜀^{2}}$
由于 $𝑝 (1 - 𝑝) \leq 1 / 4$ for any $𝑝 \in [0, 1]$ , 式子可以进一步控制为
$ℙ (| {\hat{𝑝}}_{𝑛} - 𝑝 | \geq 𝜀) \leq \frac{1}{4 𝑛 𝜀^{2}}$
我们希望此概率不超过 0.01, 并且 $𝜀 = 0.005$ , 那么进一步得到需要
$\frac{1}{4 𝑛 (0.005)^{2}} \leq 0.01$
解得至少需要 $𝑛 \geq 1000000$ .
办法2: Hoeffding’s inequality.
由于 $0 \leq 𝑋_{𝑖} \leq 1$ , 我们可以直接使用 Hoeffding’s inequality 来控制:
$ℙ (| {\hat{𝑝}}_{𝑛} - 𝑝 | \geq 𝜀) \leq 2 𝑒^{- 2 𝑛 𝜀^{2}}$
我们 require 了 $2 𝑒^{- 2 𝑛 (0.005)^{2}} \leq 0.01$ , 因而可以解得
$𝑛 \geq \frac{| ln (0.005) |}{2 (0.005)^{2}} \approx 106, 000$
办法3: Berry-Esseen Theorem.
首先我们假设报告的 $𝑝$ 的值 0.02 是正确的, 从而可以计算出:
$𝔼 [𝑋_{1}] = 𝑝, 𝜎^{2} ≔ Var (𝑋_{1}) = 𝑝 (1 - 𝑝) = 0.0196, 𝜎 = 0.14$
并且, 由于 $| 𝑋_{1} - 𝑝 | \leq 1$ , 我们知道偏度 $𝜌 ≔ 𝔼 [{| 𝑋_{1} - 𝑝 |}^{3}] < \infty$ .
因而可以应用 Berry-Esseen Theorem. 我们希望:
$ℙ (| {\hat{𝑝}}_{𝑛} - 𝑝 | \leq 𝜀) = ℙ (| 𝑆_{𝑛} - 𝑛 𝑝 | \leq 𝑛 𝜀) \geq 0.99, 𝜀 = 0.005$
等价于
$ℙ (| \frac{𝑆_{𝑛} - 𝑛 𝑝}{𝜎 \sqrt{𝑛}} | \leq \frac{𝜀 \sqrt{𝑛}}{𝜎}) \geq 0.99$
Berry-Esseen Theorem 可以得到: 对于任意的 $𝑥 > 0$ , 有
$ℙ (| \frac{𝑆_{𝑛} - 𝑛 𝑝}{𝜎 \sqrt{𝑛}} | \leq 𝑥) \geq 2 Φ (𝑥) - 1 - \frac{6 𝜌}{𝜎^{2} \sqrt{𝑛}}$
因而我们需要选择 $𝑛$ s.t.
$2 Φ (\frac{𝜀 \sqrt{𝑛}}{𝜎}) - 1 - \frac{6 𝜌}{𝜎^{2} \sqrt{𝑛}} \geq 0.99$
忽略掉 $\frac{6 𝜌}{𝜎^{2} \sqrt{𝑛}}$ 这个很小的项 (计算可以再精细地选择 $𝑛$ ), 我们也可以得到:
$\frac{𝜀 \sqrt{𝑛}}{𝜎} \geq 𝑧_{0.995} \approx 2.576$
因而至少需要 $𝑛 \geq 5200$ .

我们可以看到

通过 Chebyshev’s inequality 来控制, 我们需要的样本量是 100 万级别的;
通过 Hoeffding’s inequality 来控制, 我们需要的样本量是 10 万级别的;
通过 Berry-Esseen Theorem 来控制, 我们需要的样本量是 5000 级别的, 显然更为高效.

不过, 这个结果是基于我们假设 $𝑝 = 0.02$ 的前提下得到的. Chebyshev 的逻辑 (保守估计): 我不相信厂家的任何话, 我要建立一个无论真实 $𝑝$ 是多少都绝对成立的置信区间. 所以我必须用最差的情况 $𝑝 = 0.5$ 来算 $𝑛$ . CLT/Berry-Esseen 的逻辑 (假设检验): 厂家宣称 $𝑝 \leq 0.02$ . 在统计学中, 我们通常先假设这个宣称是正确的 (即 $𝐻_{0}$ 假设). 如果我们用在这个假设下得出的需要的样本量 $𝑛 = 5200$ 去测, 发现结果远超 $0.02$ , 那我们就直接推翻厂家的说法.

1 basic combinatorics and probability space

1.1 permutations and combinations

1.1.1 permutations

1.1.2 combinations

1.1.3 binomial theorem

1.1.4 combinations with repetition

1.1.5 inclusion-exclusion principle

1.2 probability space

1.2.1 conditional probability and Bayes’ theorem

1.2.2 Kolmogorov definition of conditional probability

1.2.3 independence of events

2 random variable

2.1 random variable and generated 𝜎-algebra

2.1.1 random variable: 即 prob space 上的一个 Borel measurable function

2.1.2 由一个 random variable generate 的 𝜎-algebra

2.2 distributions

2.2.1 distribution and cumulative distribution function

2.2.2 discrete random variable 与 probability mass function

2.2.3 continuous random variable 与 probability density function

2.2.4 singular continuous random variable 与 Lebesgue Decomposition Theorem

2.3 expectation and variance

2.3.1 expectation and variance 的 definition 和计算方法

2.3.2 𝐿02(Ω,ℱ︀,ℙ) 与 covariance and correlation as inner product and cosine

2.4 discrete random variables

2.4.1 Bernoulli distribution and Binomial distribution

2.4.2 Geometric distribution and Negative Binomial distribution

2.4.3 Poisson distribution

2.4.3.1 Poisson distribution 的 additivity

2.5 continuous random variables

2.5.1 uniform distribution: 最简单的 continuous RV

2.5.2 exponential distribution: geometric distribution 的 continuous version

2.5.3 Gamma distribution: negative binomial distribution 的 continuous version

2.5.4 normal random variables: 最重要的 continuous RV, 任意 RV 的叠加极限

任意的 random variable, 只要 expectation 和 variance 都是 finite 的, 那么它们的叠加极限都会服从 normal distribution.

除此之外 need to mention: Poission distribution 当 𝜆→∞ 时, 也得到 normal distribution.

2.5.5 summmary of discrete and continuous variables examples

3 joint and conditional distributions

3.1 random vector and joint distributions

3.1.1 random vector

3.1.2 joint distribution

3.1.3 condinuous joint cdf 与 joint pdf

3.2 independence of two random variables

3.2.1 independence of two random variables 的三种等价定义

3.2.2 mutual independence of a family of random variables: 强于 pairwise independence

3.2.3 independent ⟹ uncorrelated

3.2.4 discrete RV independence 的 characterization

3.2.5 continuous RV independence 的 geometric intuition

3.3 conditional distribution function and density

3.3.1 conditional distribution and its distribution function

3.3.2 conditional density for random variables jointly continuous

3.3.3 Law of Total Probability for continuous random vector

3.4 conditional expectation

3.5 law of total expectation

4 Behaviors of a sequence of random variables

4.1 Toolbox review: inequalities in probability

4.1.1 Markov’s ineqaulity and Chebyshev’s inequality

4.1.2 Cauchy-Schwarz and Jensen’s ineq

4.1.3 Fatou’s Lemma, MCT and DCT

4.1.4 Tonneli and fubini

4.2 Definition review: modes of convergence

4.3 Borel-Cantelli Lemma

4.4 Laws of Large Numbers

4.4.1 weak and strong LLN

4.4.2 application: Monte Carlo methods

4.4.3 application: Bernstein Polynomials

4.4.4 application: Hypothesis testing

5 Central Limit Theorem

5.1 convergence in distribution

5.2 Characterization of a distribution

5.2.1 moment generating function

5.2.2 characteristic function

5.3 Central Limit Theorem

5.3.1 applications of CLT

5.3.2 Berry-Esseen Theorem: CLT 的收敛速度

5.3.3 proof of CLT

2.1 random variable and generated $𝜎$ -algebra

2.1.2 由一个 random variable generate 的 $𝜎$ -algebra

2.3.2 $𝐿_{0}^{2} (Ω, ℱ︀, ℙ)$ 与 covariance and correlation as inner product and cosine

除此之外 need to mention: Poission distribution 当 $𝜆 \to \infty$ 时, 也得到 normal distribution.

3.2.3 independent $⟹$ uncorrelated