2025-11-05
离散分布
二项分布 \(B(n,p)\). \(P(X=k)\) 为 \(n\) 重伯努利实验中概率为 \(p\) 的事件 \(A\) 发生次数为 \(k\) 的概率.
- \(E(X)=np\)
- \(E(X^2)=n(n-1)p^2+np\)
- \(Var(X)=np(1-p)\)
多个二项分布加起来得到 \(B(\sum n,p)\).
泊松分布 \(\pi(\lambda)\)：\(B(\lambda m,\frac{1}{m})\) 在 \(m\to +\infty\) 的情况.
- \(P(X_i=k)= \frac{\lambda^ke^{-\lambda}}{k!}\).
- \(E(X)=\lambda\)
- \(Var(X)=\lambda\)
实际上，任意一列 \(p_1,\dots\)，只要 \(p_nn\to \lambda\)，皆有 \(P(X_n=k)\to \frac{\lambda ^ke^{-\lambda}}{k!}\).
多个泊松分布加起来得到 \(\pi(\sum \lambda)\).
几何分布 \(G (p)\)：结果 \(A\) 首次出现时的试验次数.
- \(P(X_i=k)=p(1-p)^{k-1}\).
- \(E(X)=\frac{1}{p}\).
- \(Var(X)=\frac{1-p}{p^2}\).
- 无记忆性：\(P(X>n+m|X>m)=P(X>n)\).
负二项分布 \(NB(r,p)\)：结果 \(A\) 首次发生 \(r\) 次时的试验次数.
\(P(X_i=k)=\binom{k-1}{r-1}p^{r}(1-p)^{k-r}\).
如何证明其的确是概率分布？即 \(\sum \binom{k-1}{r-1}p^r(1-p)^{k-r}=1\)？
令 \(l=k-r\)，则即证 \(\sum \binom{l+r-1}{r-1}(1-p)^l=p^{-r}\)
将 \(p^{-r}\) 写作 \((1-(1-p))^{-r}\) 后展开，得 \(\sum (-1)^{l}\binom{-r}{l}(1-p)^l=\sum \binom{l+r-1}{l}(1-p)^l\)，即证.
\(NB(r,p)\) 可以看作 \(r\) 个 \(G(p)\) 之和.
\(E=\frac{r}{p}\)
\(Var=\frac{r(1-p)}{p^2}\)
结论
二项分布
\(\sum \binom{n}{i}p^{i}(1-p)^{n-i}i=np\)
\(\sum \binom{n}{i}p^i(1-p)^{n-i}i^2=n(n-1)p^2+np\)
泊松分布
\(\sum \frac{\lambda^k e^{-\lambda}}{k!}=1\).
\(\sum \frac{\lambda^ke^{-\lambda}k}{k!}=\lambda\).
\(\sum \frac{\lambda^ke^{-\lambda}k^2}{k!}=\lambda^2+\lambda\).
几何分布
\(\sum p(1-p)^{k-1}k=\frac{1}{p}\)
\(\sum p(1-p)^{k-1}k^2=\frac{1-p}{p^2}\)
负二项分布
\(\sum_k \binom{k-1}{r-1}p^r(1-p)^{k-r}=1\)
\(\sum_k \binom{k-1}{r-1}p^r(1-p)^{k-r}k=\frac{r}{p}\)
\(\sum_k \binom{k-1}{r-1}p^r(1-p)^{k-r}k^2=\frac{2-p}{p^2}\).
misc
概率证法：\(P(X\ge E(X))> 0\).
Markov 不等式：对于非负随机变量 \(X\)，若 \(E(X)>0\)，则 \(P(X\ge cE(X))\le \frac{1}{c}\).
切比雪夫不等式：\(P(|X-E|\ge c\sigma)\le\frac{1}{c^2}\).
证明考虑对随机变量 \(Y=(X-E)^2\) 使用 Markov 不等式.
协方差：\(Cov(X,Y)=E((X-E(X))(Y-E(Y)))=E(XY)-E(X)E(Y)\).
\(Var(X+Y)=Var(X)+Var(Y)+Cov(X,Y)\).
独立变量的 Cov 为 0，但是 Cov 为 0 的可能不独立（\(X\) 服从拉德马赫，\(Y=X^2\)）.
计算 Cov 的时候可以记得拆成 \(Cov(X,Y)=Cov(Y+Z,Z)=Var(Y)\)，如果 \(Y,Z\) 独立.
连续分布
高斯分布：记作 \(x\sim \mathcal N(\mu,\sigma^2)\).
\(f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/2\sigma^2}\).
标准化时，\(f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}\)，\(P(|X|\le 2)=0.9545\)，\(P(|X|\le 3)=0.9973\).
p.s. 伯努利分布在标准化后变成拉德马赫分布（随机符号）.
指数分布：记作 \(x\sim Exp(\lambda)\).
\(f(x)=[x>0]\lambda e^{-\lambda x}\)
\(F(x)=[x>0](1-e^{-\lambda x})\).
期望：\(\frac{1}{\lambda}\)，方差：\(\frac{1}{\lambda^2}\)
注意到 \(P(X>x)=e^{-\lambda x}\)，故指数函数显然拥有无记忆性.
伽马分布：记作 \(x\sim \Gamma(\alpha,\lambda)\)
\(f(x)=\frac{\lambda^{\alpha}}{\Gamma(\alpha)} x^{\alpha-1}e^{-\lambda x}\).
期望：\(\frac{\alpha}{\lambda}\)，方差：\(\frac{\alpha}{\lambda^2}\)
取 \(\alpha=1\) 即指数分布.
\(\Gamma(\frac{n}{2},\frac{1}{2})\) 得到卡方分布 \(\chi^2(n)\).
期望：\(n\)，方差：\(2n\)
\(n=1\) 时候，有\(f(x)=\frac{1}{\sqrt{2\pi x}} e^{-\frac{x}{2}}\).
另一方面，这个也是 \(X\sim \mathcal N(0,1)\) 时 \(X^2\) 的分布.
结论
高斯分布
\(\int_{-\infty}^{+\infty} e^{-x^2/2}=\sqrt{2\pi}\)
\(\int_{-\infty}^{+\infty} e^{-x^2/2}x=0\)
\(\int_{-\infty}^{+\infty} e^{-x^2/2}x^2=\sqrt{2\pi}\)
指数分布
\(\int_{0}^{x}\lambda e^{-\lambda t}=1-e^{-\lambda x}\)，对于 \(x>0\).
\(\int_{0}^{+\infty} \lambda e^{-\lambda x}x^n=\frac{n!}{\lambda^{n}}\).
伽马分布
\(\Gamma(\alpha)=\int_0^{+\infty} x^{\alpha-1}e^{-x}dx\).
\(\Gamma(\alpha+1)=\int_0^{+\infty} x^{\alpha}e^{-x}dx\).
\(\Gamma(n+\frac{1}{2})=\frac{(2n)!}{4^nn!}\sqrt{\pi}\).
\(\int_0^{+\infty}\frac{\lambda}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}dx=1\). 证明考虑代 \(y=\lambda x\).
卡方分布
\(\int_0^{+\infty}\frac{1}{\sqrt{2\pi x}}e^{-\frac{x}{2}}dx=\int_0^{+\infty}\frac{\sqrt{x}}{\sqrt{2\pi}}e^{-\frac{x}{2}}dx=1\).
\(\int_0^{+\infty}\frac{\sqrt{x^3}}{\sqrt{2\pi}}e^{-\frac{x}{2}}dx=3\). 这些都为 \(\chi^2(1)\) 的直接结论.