概统 复习随笔

概统复习笔记

两两独立但不相互独立

例1

四张卡牌，分别写有$2, 3, 5, 30$，随机抽取一张，定义事件$A$为取出的数字是$2$的倍数，事件$B$为取出的数字是$3$的倍数，事件$C$为取出的数字是$5$的倍数，则有

$$\begin{align*} P(A) = P(B) &= P(C) = \frac{1}{2} \\ P(AB) = P(BC) &= P(CA) = \frac{1}{4} = \frac{1}{2}\times \frac{1}{2} \\ P(ABC) = \frac{1}{4} &\neq P(A)P(B)P(C) \end{align*}$$

例2

连续独立抛一枚质地均匀的硬币两次，$A$代表第一次正面向上，$B$代表第二次正面向上，$C$代表一正一反，则

$$\begin{align*} P(A) = P(B) &= P(C) = \frac{1}{2} \\ P(AB) = P(BC) &= P(CA) = \frac{1}{4} = \frac{1}{2}\times \frac{1}{2} \\ P(ABC) = 0 &\neq P(A)P(B)P(C) \end{align*}$$

条件独立与独立无关

条件独立不蕴含独立

对于任意非空事件$A, B$有：

$$P(AB\,|\,B) = \frac{P(AB)}{P(B)} = P(A\,|\,B) \equiv P(A\,|\,B)P(B\,|\,B)$$

因此它们都在条件$B$下独立，显然不一定$A, B$独立

独立不蕴含条件独立

对于独立事件$A, B$，满足$C = A\cup B \subsetneq \Omega$，则有：

$$P(AB\,|\,C) = \frac{P(ABC)}{P(C)} = \frac{P(AC)P(BC)}{P(C)} \neq \frac{P(AC)P(BC)}{P(C)^{2}} = P(A\,|\,C)P(B\,|\,C)$$

泊松分布与指数分布

泊松分布$P(\lambda)$为离散型分布，其PMF为：

$$P(X = k) = \frac{\lambda^{k}}{k!}e^{-\lambda}$$

其数字特征为：

$$E(X) = Var(X) = \lambda$$

而指数分布$Exp(\lambda)$为连续型分布，其PDF为：

$$f(x) = \lambda e^{-\lambda x}$$

其数字特征为：

$$E(X) = \frac{1}{\lambda}\quad Var(X) = \frac{1}{\lambda^{2}}$$

尾概率为：

$$P(X > x) = e^{-\lambda x}$$

指数分布与泊松分布为对同一事件的不同描述，指数分布为两次发生这一事件之间的时间间隔（连续），泊松分布为固定时间段内发生事件的次数（离散）

全期望公式

$$\begin{align*} E(Y) &= E(E(Y\,|\, X)) \\ E(E(g(X)Y\,|\, X)) &= E(g(X)E(Y|X)) \end{align*}$$

条件期望是均方误差意义下的最优预测，即$\forall\, g$：

$$E((Y - g(X))^{2})\geq E((Y - E(Y|X))^{2})$$

矩母函数与矩

$n$阶原点矩为矩母函数的$n$阶导数

$$E(X^{n}) = M_{X}^{(n)}(0)$$

相对应的标准矩为：

$$\begin{align*} E((X - \mu)^{n}) &= \sum\limits_{k=0}^{n}C_{n}^{k}E(X^{k})\mu^{n-k} \\ &= \sum\limits_{k=0}^{n}C_{n}^{k}M^{(n)}_{X}(0)\mu^{n-k} \end{align*}$$

概率不等式

Markov

若随机变量$X\geq 0$，则$\forall\, a > 0$

$$P(X \geq a) \leq \frac{E(X)}{a}$$

Chebyshev

若随机变量$X$方差存在，则：

$$P(|X - E(X)| \geq a) \leq \frac{Var(X)}{a^{2}}$$

Chernoff

$X$任意，则$\forall a>0, t>0$

$$P(X \geq a) \geq \frac{E(e^{tX})}{e^{ta}}$$

Hoeffding bound

随机变量列$X_{i} \in [a_{i}, b_{i}]$，记$X = \sum\limits_{i=1}^{n} X_{i}$，并记$\mu = E(X)$，则：

$$\begin{align*} P(X \leq \mu - t) &\leq \exp\biggl(-\frac{2t^{2}}{\sum\limits_{i=1}^{n}(a_{i} - b_{i})^{2}}\biggr) \\ P(X \geq \mu + t) &\leq \exp\biggl(-\frac{2t^{2}}{\sum\limits_{i=1}^{n}(a_{i} - b_{i})^{2}}\biggr) \end{align*}$$

Multiplicative-form Chernoff Bound

随机变量列$X_{i} \in [0, 1]$，记$X = \sum\limits_{i=1}^{n} X_{i}$，并记$\mu = E(X)$，则：

$$\begin{align*} P(X \leq (1 - \varepsilon)\mu) &\leq \exp\bigl(-\frac{\varepsilon^{2}}{2}\mu\bigr) \\ P(X \geq (1 + \varepsilon)\mu) &\leq \exp\bigl(-\frac{\varepsilon^{2}}{2 + \varepsilon}\mu\bigr) \end{align*}$$

收敛性的差异

$\Omega \sim U(0, 1)$，则考虑如下随机变量列：

$$\begin{align*} Y_{0}(\omega) &= \omega + \mathrm{1}_{[0, 1]}(\omega) \\ Y_{1}(\omega) &= \omega + \mathrm{1}_{[0, \frac{1}{2}]}(\omega) \\ Y_{2}(\omega) &= \omega + \mathrm{1}_{[\frac{1}{2}, 1]}(\omega) \\ Y_{3}(\omega) &= \omega + \mathrm{1}_{[0, \frac{1}{3}]}(\omega) \\ Y_{4}(\omega) &= \omega + \mathrm{1}_{[\frac{1}{3}, \frac{2}{3}]}(\omega) \\ Y_{5}(\omega) &= \omega + \mathrm{1}_{[\frac{2}{3}, 1]}(\omega) \\ \dots \end{align*}$$

记$Y(\omega) = \omega$，则$Y_{n}(\omega)$依概率收敛至$Y(\omega)$，但是不以概率$1$收敛

中心极限定理连续性修正

由于常规的中心极限定理是：

$$\frac{\overline{X} - \mu}{\sigma/\sqrt{n}}\rightarrow N(0, 1)$$

因此一些离散分布使用该定理之后反而会失去其单点的概率（连续分布单点恒为0），因此进行连续性修正，以二项分布$X \sim B(n, p)$为例：

$$P\bigl(t_{1}\leq X \leq t_{2}\bigr) \approx \Phi(y_{2}) - \Phi(y_{1})$$

其中：

$$\Phi(y_{i}) = \frac{t_{i} - np + (\frac{1}{2})^{i}}{\sqrt{np(1-p)}}$$

极大似然估计可能有偏

均匀分布$U(0, \theta)$，样本值为$\{X_{i}\}_{i=1}^{n}$，则其MLE为$\theta^{*} = \max\{X_{i}\}$，下面我们证明这个不是无偏估计：

$Y = \max\{X_{i}\}$的CDF为：

$$\begin{align*} F_{Y}(y) &= P(\max\{X_{i}\} \leq y) \\ &= (F_{X}(y))^{n} \\ &= \bigl(\frac{y}{\theta}\bigr)^{n} \end{align*}$$

因此其PDF为$f(y) = F'_{Y}(y) = \frac{n}{\theta}(\frac{y}{\theta})^{n-1}$

因此我们有：

$$E(\theta^{*}) = \int_{0}^{\theta}yf(y)dy = \frac{n}{\theta^{n}}\int_{0}^{\theta}y^{n}dy = \frac{n}{n+1}\theta$$

也即$\theta^{*}$并不是$\theta$的无偏估计

无偏MSE不一定优于有偏

$X \sim N(\mu, \sigma^{2})$，分别用二阶矩$m_{2}$和样本方差$S^{2}$来估计$\sigma^{2}$，有：

$$\begin{align*} E(m_{2}) &= \frac{n-1}{n}\sigma^{2} \\ E(S^{2}) &= \sigma^{2} \\ \end{align*}$$

但是：

$$E((m_{2} - \sigma^{2})^{2}) < E((S^{2} - \sigma^{2})^{2})$$

区间估计

1. 标准正态

   如$X \sim N(\mu, \sigma^{2})$，其中$\mu$未知而$\sigma^{2}$已知，则：

   $$\frac{\overline{X} - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)$$

   因此$(1 - \alpha)$置信区间为：

   $$(\overline{X} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}}, \overline{X} + z_{\alpha/2}\frac{\sigma}{\sqrt{n}})$$

   其中$z_{\frac{\alpha}{2}}$为标准正态分布上$\frac{\alpha}{2}$分位数

2. $t$分布

   在上述例子中，如果$\sigma^{2}$未知，则应利用$t$分布来进行区间估计，具体来说：

   $$\begin{align*} \frac{\overline{X} - \mu}{\sigma / \sqrt{n}} &\sim N(0, 1) \\ \frac{(n-1)S^{2}}{\sigma^{2}} &\sim \chi^{2}(n-1) \end{align*}$$

   因此有：

   $$\frac{\overline{X} - \mu}{S / \sqrt{n}} \sim t(n-1)$$

   $(1-\alpha)$置信区间为：

   $$(\overline{X} - t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}, \overline{X} + t_{\alpha/2}(1-\alpha)\frac{S}{\sqrt{n}})$$

   同样估计均值差也可以使用$t$分布：$X\sim N(\mu_{1}, \sigma_{1}^{2})$，$Y\sim N(\mu_{2}, \sigma_{2}^{2})$，则$\mu_{1} - \mu_{2}$的估计方法为：

   $$\frac{(\overline{X} - \overline{Y}) - (\mu_{1} - \mu_{2})}{\sqrt{(\frac{1}{n} + \frac{1}{m})\frac{(n-1)S_{1}^{2} + (m-1)S_{2}^{2}}{n+m-2}}} \sim t(n + m - 2)$$

3. F分布

   常用在估计两正态总体方差之比上，所依赖的分布为：

   $$\frac{S_{1}^{2}/\sigma_{1}^{2}}{S_{2}^{2}/\sigma_{2}^{2}} \sim F(n - 1, m - 1)$$

4. 渐进估计

   利用中心极限定理得到标准正态分布利用$S^{2}$或$m_{2}$等方式来估计$\sigma^{2}$

5. 极大似然与Fisher

   $$\frac{\theta^{*} - \theta}{\sqrt{\frac{1}{nI(\theta^{*})}}} \rightarrow N(0, 1)$$

   其中$I(\theta)$为Fisher信息量，具体来说：

   $$I(\theta) = E\biggl(\bigl(\frac{\partial\,\log\,f}{\partial \theta}\bigr)^{2}\biggr)$$