几何分布

若随机变量 $X$ 的概率分布为

\[
P\{X=k\}=pq^{k-1},\quad k=1,2,\ldots.
\]

其中 $q=1-p$, 则称 $X$ 服从几何分布, 记为 $X\sim $.

证明: $E(X)=\frac{1}{p}$.

$\Gamma$-分布

若随机变量 $X$ 的概率密度函数定义为

\[
f(x)=\begin{cases}
\frac{\lambda^{\alpha}}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}, & x > 0,\\
0, & x\leqslant 0,
\end{cases}
\]

其中 $\lambda > 0$, $\alpha > 0$, 则称 $X$ 服从参数为 $\lambda,\alpha$ 的 Gamma 分布, 记为 $X\sim\Gamma(\lambda,\alpha)$.

(关于 Gamma 函数 )

特别地, 当 $\alpha=1$ 时, 对于 $x > 0$,

\[
f(x)=\frac{\lambda^1}{\Gamma(1)}x^{1-1}e^{-\lambda x}=\lambda e^{-\lambda x}.
\]

此时 $X$ 服从参数为 $\lambda$ 的指数分布 $\mathrm{Exp}(\lambda)$.

(1) 均匀分布 $U[a,b]$

若随机变量 $X$ 的概率密度函数(Probability density function, PDF)定义为

\[
f(x)=\begin{cases}
\frac{1}{b-a}, & x\in[a,b],\\
0, & x\in(-\infty,a)\cup(b,+\infty).
\end{cases}
\]

则称此随机变量服从于均匀分布 $U[a,b]$, 记为 $X\sim U[a,b]$.

显然, $f(x)$ 满足 $\int_{-\infty}^{+\infty}f(x)\mathrm{d}x=1$.

期望: $E(X)=\frac{a+b}{2}$.

对于离散型随机变量 $X$, 期望定义为

\[
E(X)=\sum_{k=1}^{+\infty}x_k p_k.
\]

前提是这个级数是收敛的.

换句话说, 所谓的期望是指随机变量的每个可能取值乘上其概率（作为权重）, 然后累加得到的一个线性权重和.

定理.  设 $X_1,X_2,\ldots,X_n$ 是 $n$ 个相互独立的随机变量, 且 $X_i\sim N(\mu_i,\sigma_i^2)$, $i=1,2,\ldots,n$. 则它们的线性函数 $V=\sum_{i=1}^{n}c_i X_i$ (其中 $c_i$ 不全为零) 也服从正态分布, 且

\[
V\sim N(\sum_{i=1}^{n}c_i\mu_i,\ \sum_{i=1}^{n}c_i^2 \sigma_i^2).
\]

[Hint] 使用归纳法证明.

参考:  李东风《概率统计讲义》[pdf]

对应教材：何书元《概率论与数理统计》第一版
课件制作：李东风
2016 年秋季学期

（1）均匀分布 $U[a,b]$ (参见问题2133)

若随机变量 $X$ 的概率密度函数(Probability density function, PDF)定义为

\[
f(x)=\begin{cases}
\frac{1}{b-a}, & x\in[a,b],\\
0, & x\in(-\infty,a)\cup(b,+\infty).
\end{cases}
\]

则称此随机变量服从于均匀分布 $U[a,b]$, 记为 $X\sim U[a,b]$.

显然, $f(x)$ 满足 $\int_{-\infty}^{+\infty}f(x)\mathrm{d}x=1$.

（2）指数分布 $\mathrm{Exp}(\lambda)$.

若随机变量 $X$ 的概率密度函数定义为

\[
f(x)=\begin{cases}
\lambda e^{-\lambda x}, & x > 0,\\
0, & x\leqslant 0,
\end{cases}
\]

其中 $\lambda > 0$, 则称 $X$ 服从参数为 $\lambda$ 的指数分布, 记为 $X\sim\mathrm{Exp}(\lambda)$.

（3） $\Gamma$-分布 (参见问题2134)

若随机变量 $X$ 的概率密度函数定义为

\[
f(x)=\begin{cases}
\frac{\lambda^{\alpha}}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}, & x > 0,\\
0, & x\leqslant 0,
\end{cases}
\]

其中 $\lambda > 0$, $\alpha > 0$, 则称 $X$ 服从参数为 $\lambda,\alpha$ 的 Gamma 分布, 记为 $X\sim\Gamma(\lambda,\alpha)$.

(关于 Gamma 函数 )

（4）$\chi^2$ 分布  (参见问题2128)

若随机变量 $X_1,X_2,\ldots,X_n$ 相互独立, 都服从标准正态分布 $N(0,1)$, 则随机变量

\[
Y=X_1^2+X_2^2+\cdots+X_n^2
\]

服从自由度为 $n$ 的 $\chi^2$ 分布, 记为 $Y\sim\chi^2(n)$ , 证明 $Y$ 的均值 $E(Y)=n$, 方差 $S^2=2n$.

性质:

$\chi^2$ 分布的密度函数为

\[
f(x)=\begin{cases}
\frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}e^{-\frac{x}{2}},& x > 0,\\
0, & x\leqslant 0.
\end{cases}
\]

特别地, 当 $n=1$ 时,

\[
f(x)=\begin{cases}
\frac{1}{\sqrt{2\pi}}x^{-\frac{1}{2}}e^{-\frac{x}{2}},  &x > 0,\\
0, &x\leqslant 0.
\end{cases}
\]

注: 这里自由度指 $\sum_{i=1}^{n}X_i^2$ 中独立变量的个数.

泊松(Poisson)分布 $P(\lambda)$

若随机变量 $X$ 的概率分布为

\[
P\{X=k\}=\frac{\lambda^k}{k!}e^{-\lambda},\quad k=0,1,2,\ldots.
\]

其中 $\lambda > 0$, 则称 $X$ 服从参数为 $\lambda$ 的泊松分布, 记为 $X\sim P(\lambda)$.

历史上, 泊松分布是作为二项分布的近似而引入的.

所基于的理论是

Thm. (泊松定理) 设 $\lim\limits_{n\rightarrow+\infty}np_n=\lambda > 0$, 则

\[
\lim_{n\rightarrow+\infty}C_n^k p_n^k(1-p_n)^{n-k}=\frac{\lambda^k}{k!}e^{-\lambda},\quad k=0,1,2,\ldots,n.
\]

设 $X\sim P(\lambda)$, 则 $E(X)=\lambda$, $D(X)=\lambda$.

[English]

The Poisson Probability Distribution

[Def] A random variable $X$ is said to have a Poisson distribution if the pmf of $X$ is

\[
p(x;\lambda)=\frac{e^{-\lambda}\lambda^x}{x!},\quad x=0,1,2,\ldots
\]

for some $\lambda > 0$.

The rationale for using the Poisson distribution in many situation is provided by the following the above proposition. Also it can be stated as follows:

[Prop] Suppose that in the binomial pmf $b(x;n,p)$, we let $n\rightarrow\infty$ and $p\rightarrow 0$ in such a way that $np$ approaches a value $\lambda > 0$. Then $b(x;n,p)\rightarrow p(x;\lambda)$.

[Prop] If $X$ has a Poisson distribution with parameter $\lambda$, then $E(X)=V(X)=\lambda$.

References:

The above content in English is copied from the following book:

《Probability and Statistics For Engineering and The Sciences》(Fifth Edtion) P.131
Author: Jay L. Devore

Section 5 of Chapter 3.

$\chi^2$ 分布

若随机变量 $X_1,X_2,\ldots,X_n$ 相互独立, 都服从标准正态分布 $N(0,1)$, 则随机变量

\[
Y=X_1^2+X_2^2+\cdots+X_n^2
\]

服从自由度为 $n$ 的 $\chi^2$ 分布, 记为 $Y\sim\chi^2(n)$ , 证明 $Y$ 的均值 $E(Y)=n$, 方差 $S^2=2n$.

性质:

$\chi^2$ 分布的密度函数为

\[
f(x)=\begin{cases}
\frac{1}{2^{\frac{n}{2}}\Gamma(\frac{n}{2})}x^{\frac{n}{2}-1}e^{-\frac{x}{2}},& x > 0,\\
0, & x\leqslant 0.
\end{cases}
\]

特别地, 当 $n=1$ 时,

\[
f(x)=\begin{cases}
\frac{1}{\sqrt{2\pi}}x^{-\frac{1}{2}}e^{-\frac{x}{2}},  &x > 0,\\
0, &x\leqslant 0.
\end{cases}
\]

注: 这里自由度指 $\sum_{i=1}^{n}X_i^2$ 中独立变量的个数.

性质. ($\chi^2$-分布的可加性)

若 $Y_1,Y_2,\ldots,Y_k$ 相互独立且都服从 $\chi^2$-分布, 自由度分别为 $n_1,n_2,\ldots,n_k$. 即

\[
Y_i\sim\chi^2(n_i),\quad i=1,2,\ldots,k,
\]

则

\[
\sum_{i=1}^{k}Y_i\sim\chi^2(n),\quad\text{where}\ n=\sum_{i=1}^{k}n_i.
\]

（1） 0-1 分布 $B(1,p)$ (参见问题2138)

指取值 1 的概率是 $p$. 于是若随机变量 $X$ 服从 0-1 分布, 我们记 $X\sim B(1,p)$. 则其期望 $E(X)=p$, 方差 $D(X)=p(1-p)$.

(2) 二项分布 $B(n,p)$  (参见问题32)

设随机变量 $X\sim B(n,p)$,  其分布律是

\[
P\{X=k\}=C_n^k p^k q^{n-k}, \quad k=0,1,2,\ldots,n, \quad q=1-p.
\]

于是

\[
E(X)=np.
\]

(3) $\chi^2$ 分布 (参见问题2128)

若随机变量 $X_1,X_2,\ldots,X_n$ 相互独立, 都服从标准正态分布 $N(0,1)$, 则随机变量

\[
Y=X_1^2+X_2^2+\cdots+X_n^2
\]

服从自由度为 $n$ 的 $\chi^2$ 分布, 记为 $Y\sim\chi^2(n)$ , 证明 $E(Y)=n$, 方差 $S^2=2n$.

(4) 泊松(Poisson)分布 $P(\lambda)$ (参见问题2119)

若随机变量 $X$ 的概率分布为

\[
P\{X=k\}=\frac{\lambda^k}{k!}e^{-\lambda},\quad k=0,1,2,\ldots.
\]

其中 $\lambda > 0$, 则称 $X$ 服从参数为 $\lambda$ 的泊松分布, 记为 $X\sim P(\lambda)$.

历史上, 泊松分布是作为二项分布的近似而引入的.

(5) 几何分布  (参见问题2136)

若随机变量 $X$ 的概率分布为

\[
P\{X=k\}=pq^{k-1},\quad k=1,2,\ldots.
\]

其中 $q=1-p$, 则称 $X$ 服从几何分布, 记为 $X\sim $.

甲掷硬币，一开始甲0分。现在若掷正面，甲加一分，并且继续掷。若掷反面，这盘游戏立即结束。 问，甲平均一盘游戏得几分？