信概统-多维离散随机变量

联合分布列：\(p_{i,j}=P(X=x_i,Y=y_j)\).

边际分布列：\(P(X=x_i)=\sum_j P(X=x_i,Y=y_j)\).

条件分布列：\(P(X=x_i|Y=y_j)=P(X=x_i,Y=y_j)/P(Y=y_j)\).

独立性：对于任意实数 \(x,y\) 均有 \(P(X=x,Y=y)=P(X=x)P(Y=y)\).

相互独立：任意 \(x_1,\dots,x_n\) 均有 \(P(X_1=x_1,\dots,X_n=x_n)=\prod P(X_i=x_i)\).

两两独立弱于相互独立.

独立同分布：相互独立，且都服从相同分布.

数学期望线性性：\(E(X+Y)=E(X)+E(Y)\)，对于任意 \(X,Y\)（不需要有前置条件）.

另一方面，如果 \(X,Y\) 相互独立，则有 \(E(XY)=E(X)E(Y)\)，\(Var(X+Y)=Var(X)+Var(Y)\).

协方差：\(Cov(X,Y)=E((X-E(X))(Y-E(Y)))=E(XY)-E(X)E(Y)\).

\(Var(X+Y)=Var(X)+Var(Y)+Cov(X,Y)\).

独立变量的 Cov 为 0，但是 Cov 为 0 的可能不独立.

计算 Cov 的时候可以记得拆成 \(Cov(X,Y)=Cov(Y+Z,Z)=Var(Y)\)，如果 \(Y,Z\) 独立.

重期望公式：\(E(E(X|Y))=E(X)\). 可以通过引入随机变量 \(X\)，计算 \(E(X|Y)\) 来计算 \(E(X)\).