
PMF and PDF
对于离散型随机变量,我们可以定义:
$fX(x)=P(X=x)$
称为 probability mass function
它在 S 上上 sum 为 1
满足:
P(X∈A)=x∈A∑fX(x)
对于连续性随机变量,我们没法定义 probability mass function, 因为任意 P(X=x)=0,by 集合论。
因而我们定义:
$fX(x)=FX′(x)$
称为 probability density function
它在 S 上 integral 为 1
满足
P(X∈A)=∫x∈AfX(x)
注意:pmf 并不是 pdf 的一种特殊情况。因为我们通过取导数的行为并不能得到 pmf。容易发现,对于离散型随机变量的 cdf,在取值的离散点上导数不存在(跳跃不连续),在其他点上导数为 0。这表示了 X 的分布集中在这些点上。
尽管如此,之后我们都只 focus on 连续型,因为离散型的公式很容易类比。
我们也习惯用
$p(x):=fX(x)$
来指代一个 pmf/ pdf 函数
一些经典的 pdf/pmf
离散型:
连续型:
这些经典的分布都可以用几个参数来表达。
Expectation 和 Variance
expectation 表示一个 random variable 的 weighted average, 是一个 constant. 它表示一个随机变量在 Ω 上,与它的 pmf/pdf 的乘积的 sum / integral
离散:
$E(X):=∑x∈SX(x)fX(x)连续:E(X):=∫X(x)fX(x)$
而 variance 表示一个 random variable 上每个 x 的 mass/density 离这个随机变量的 weighted average 的距离 的平均值. 即这个随机变量作为一个函数有多么平稳
$Var(X):=E((X−E(X))2)$
期望和方差对于复合随机变量的properties
Note: 我们可以定义一个 S 上到自身的可测函数 g:S→S,对随机变量 X:Ω→S 加以复合,
从而 g(X):Ω→S 也是一个随机变量
对于复合型随机变量,我们有以下性质:
经典分布的期望和方差
product prob space and multiple random variables
我们这里考虑两个 prob spaces, 以及它们的 product probability space, with the product probability measure.
joint CDF
我们定义 the joint cumulatibe distribution function of X,Y 这两个 random varables on the product prob space 为:
$FXY(x,y):=P(X≤x,Y≤y)通过取极限的行为,我们还可以用这个jointCDF来获得单个CDF:FX(x)=limy→∞FXY(x,y)Y$ 同理.
直观理解是:我们对 Y 取 unboundedly large 的值,使得 Y≤y 这个约束变得无关紧要。
对于两个 random variables X:Ω1→S,Y:Ω2→Q 我们取任意一个 measurable function g on the product space(S,Q) with respect to the product measure to itself, 即 g:(S,Q)→(S,Q) measurable, 那么 g(X,Y):Ω1×Ω2→(S,Q).为一个 product random variable
我们定义这个 product random variable 的 expectation, 以及 covariance 为:

如果这两个 random variables 的 cov 为 0,则称它们是 unrelated 的.
把两个 prob spaces 的 product prob space 上的 product random variable 推广到 multiple 个 prob spaces 的 product prob space 上的 product random variable:



random vector
刚才我们虽然讨论的都是 abstract prob space 和 random variables 的情况,但是我们主要在 R 上讨论。现在我们讨论
X:Ω→Rn 形式的 random variables, 称其为 random vector.
这等价于 n 个 Xi:Ω→R 的 product random variable. 这是 by product measure 的性质.



Definition: The vector X=(X1,X2,…,Xn) has the multivariate normal distribution (or multinormal distribution), written N(μ,V), if its joint density function is