这一章，于我而言，很难写。因为之前都没有考虑过为什么会有，只是很熟练地运用期望方差和协方差的公式来计算，但是没有真正理解是为什么会有这些东西，它们都有什么意义。这典型的就是做题做多了，却缺乏思考，于是现在我来补债了。

主要内容：

• 矩
• 期望
• 方差
• 协方差
• 相关系数
• 变异系数
• 偏度、峰度

概述之瞎逼逼

数值的特征，即数字的特点。一般的积极消极、外向内向、优秀普通等都是在描述一个人的特征，它们有一个共同的特点都是精炼、具有代表性的。同理，在描述数字的特征时，我们也需要找到那些对代表数字特点的说法来描述数字。

在没有系统的学习这些知识之前，我们就有过这样描述数字的方法，比如某个学生小花，她的数学成绩一般为120，最高135，最低110，且成绩很稳定。

成绩一般为120（均值、期望），说明在平常考试中，小花取得120分的概率会很大，或者在多次考试中，小花的成绩很可能会为120；最高最低分就给定了小花成绩的波动范围（极差），在一般情况下，她的成绩不会超出这个范围（极差）；最后的稳定性（方差小）说明小花的成绩不会发生很大的变动，一般会在120 18 123 125 变动，不会一下子110，一下子140.

从她的考试成绩中，我们可以得到这些描述，它们能够给出一个总体性的认识，即有了这些信息，我们就了解了小花的成绩情况了。

但是在课本上这些东西似乎是一下子就给我们的，对于一般学生而言，都知道怎么计算期望方差和协方差相关系数那些，但是有没有多少人想过，为什么要研究这个东西？怎么就有这个东西了？

以下就写下了我自己的思考。

为什么要研究随机变量的数字特征？

因为我们有的时候并不仅仅只关注随机变量的分布，很多时候仅仅知道它的分布就可以进行分析。

例如我们一般只想知道一个随机变量的一般水平，也就是随机变量的平均水平。对于小麦的产量，我们一般只想知道它的一般产量，除此之外，可能还想知道不同地区小麦产量的波动变化情况等。这里就需要引进新的特征来帮助我们获取这些认识，一般水平用期望来表示，波动情况用方差来表示。
简单点讲，研究数字特征是将变量所蕴含的信息浓缩了，提炼了出来。

为了我们方便地引入各种数字特征，首先我们介绍一种最简单的数字特征，矩，有原点矩和中心矩，各自又分别有绝对中心矩之分。

随机变量的期望（Expectation)

期望反映一个随机变量的平均水平，是可以映射到随机变量的均值上来的，相当于是加权算术平均数。
在统计学原理中，有
$$\bar{x}=\frac{x_1{f}_1+x_2{f}_2+\cdots +x_n{f}_n}{f1+f_2+\cdots +f_n}$$
表示（加权算数）平均数，其中的加权平均是对分组数据来计算的，$f_1,f_2,\cdots ,f_n$分别表示第1组到底$n$组的频数。
令 $$\begin{gathered} f_1^{\ast }=\frac{f_1}{f1+f_2+\cdots +f_n} \\ {f}_2^{\ast }=\frac{f_2}{f1+f_2+\cdots +f_n} \\ \cdots \\ {f}_n^{\ast }=\frac{f_n}{f1+f_2+\cdots +f_n} \end{gathered}$$
其中$f_1^{\ast },f_2^{\ast },\cdots ,f_n^{\ast }$分别表示$x_1,x_2,\cdots ,x_n$出现的频率。

由（伯努利）大数定律，当随机变量的序列数$n\to +\infty$时，频率是依概率收敛于概率的，即可以利用频率来近似计算概率。在前面讲述到概率的统计意义时，是用频率来定义概率的。因此，在这里，当我们将求平均数的想法对应到求概率上来时，也可以将频率对应概率上来，就可以引入求随机变量期望的公式。同时，也可以用期望来反映随机变量的平均水平。

离散型随机变量的期望

如果所有变量值乘以其发生概率的代数和有限，则就说明这个这个随机变量的数学期望存在。那么称 ${\sum }_{i=1}^{\infty }{x}_i{p}_i$为随机变量的期望。

严谨点，对应到课本上的说法。
设离散型随机变量X的概率分布列为$P(X=x_i)=p_i(i=1,2,\cdots )$.若${\sum }_{i=1}^{\infty }|x_i|p_i<+\infty$，则称${\sum }_{i=1}^{\infty }{x}_i{p}_i$为$X$的数学期望，记为$EX$.简称为期望或均值。即 $$EX=\sum _{i=1}^{\infty }{x}_i{p}_i$$

这里的绝对级数收敛和下面的积分的绝对收敛，从而可以推出期望的存在，其中的数学原理是，绝对收敛，则一定收敛，无论是一般的级数还是积分，都具有这个性质。

连续型随机变量

则就要求所有随机变量的取值乘以其密度函数在其取值区域中的积分，如果收敛的话，就可以认为这个连续型随机变量的期望存在。

设X为连续型随机变量，其概率密度函数为$f(x)$，若积分${\int }_{-\infty }^{+\infty }|x|f(x)\mathrm{d}\mathrm{x}$收敛，则称积分值${\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}\mathrm{x}$为$X$的 数学期望，记为$EX$，简称期望或均值，即$$EX={\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}\mathrm{x}.$$

随机变量函数的期望

求随机变量函数的期望一般有两种方法：

• 先求随机变量函数的分布，再求新的随机变量的期望。
• 直接利用一个定理，来求得随机变量函数的期望，而不需要计算随机变量函数的分布。

离散

设$y=g(x)$是连续函数，而$Y=g(x)$是随机变量$X$的函数，
若$X$是离散型随机变量，分布列为$$P(X=x_i)=p_i,i=1,2,\cdots ,$$
且级数${\sum }_{i=1}^{\infty }|g(x_i)|p_i$收敛，则$$EY=Eg(X)=\sum _{i=1}^{\infty }g(x_i)p_i;$$

连续

设$y=g(x)$是连续函数，而$Y=g(x)$是随机变量$X$的函数，
若$X$是概率密度为$f(x)$的连续型随机变量，且积分${\int }_{-\infty }^{+\infty }|g(x)|f(x)\mathrm{d}\mathrm{x}$收敛，则$$EY=Eg(X)={\int }_{-\infty }^{+\infty }g(x)f(x)\mathrm{d}\mathrm{x}.$$

二维：
设$Z=g(X,Y)$是随机变量$(X,Y)$的函数，$g(x,y)$连续，又$(X,Y)$的联合密度为$f(x,y)$，若积分$${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }|g(x,y)|f(x,y)\mathrm{d}\mathrm{x}\mathrm{d}\mathrm{y}$$收敛，则$$EZ=Eg(X,Y)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)\mathrm{d}\mathrm{x}\mathrm{d}\mathrm{y}$$

期望的性质

1. 常数的期望为其值本身。即设$C$为常数，则$EC=C;$
2. 对任意$n\ge 1,$任意常数$k_1,k_2,\cdots ,k_n$有 $$E(\sum _{i=1}^n{k}_i{X}_i)=\sum _{i-1}^n{k}_{i}E{X}_i;$$
3. 当$n\ge 1,$，若$X_1,X_2,\cdots ,X_n$相互独立，则$$E(\prod _{i=1}^n{X}_i)=\prod _{i=1}^{n}E{X}_i;$$
4. 若$X\ge 0,$则$EX\ge 0;$若$X_1\ge X_2,$则$$E{X}_1\ge E{X}_2;$$
5. $|EX|\le E|X|;$
6. 柯西-施瓦兹(Cauchy-Schwarz)不等式：若$E{X}^2,E{Y}^2$均存在，则$E(XY)$存在，且$$[E(XY){]}^2\le E{X}^{2}E{Y}^2;$$

证明简要补充：

1. 类似于两点分布，$$p(x)=\{\begin{array}{rlr}1,& & x=C\\ 0,& & x\ne C\end{array}$$
2. 略。
3. 相互独立定义，
   $$\begin{array}{rl}E(\prod _{i=1}^n{X}_i)& =k_1{k}_2\cdots k_{n}p(X_1=k_1,X_2=k_2,\cdots ,X_n=k_n)\\ & =k_{1}p(X_1=k_1)k_{2}p(X_2=k_2)\cdots k_{n}p(X_n=k_n)\\ & =E{X}_{1}E{X}_2\cdots E{X}_n\\ & =\prod _{i=1}^{n}E{X}_i\end{array}$$
4. 概率$p$大于等于0，前者得证；后者$X_1-X_2\ge 0$，由前者得证。
5. $-|X|\le X\le |X|$，利用上式，即可证明。
6. 利用性质4和方程的的根，即可证得。
   具体：$(X-tY{)}^2\ge 0$, 则$E[(X-tY{)}^2]\ge 0$,
   展开：$E{X}^2-2tEXY+t^{2}E{Y}^2$最多有一个重根；
   则，由关于$t$的一元二次函数的根的判定，知，$\Delta =4(EXY{)}^2-4E{X}^{2}E{Y}^2\le 0$,即证得。

最简单，但是我最不会的地方，就是性质2的运用。其中在做题的时候，会碰到很多两个变量之和的期望，但是就是想不起来用这个公式，比方说在求条件期望的时候，就会使用到这条性质，eg，$E(\theta +{ϵ}_0|f_0)=E(\theta |f_0)+E(ϵ|f_0)$，一起弄着不好求，拆开（一般我就想不到！），分别由各自的分布就可以求到，就很简单！
（但是现在再问问自己，真的想不到吗？你是前一步想不到啊…

条件期望

条件期望与一般期望的定义类似，只不过条件期望的取值与条件相关。如果说条件是一个随机变量的话，那么条件期望就是条件变量的一个函数。
同时，条件期望也有着跟一般期望相似的性质，这里有新提及到一个公式，全期望公式，即$$E(X)=E(E(X|Y)).$$

随机变量的方差(Variance)

它反映的是随机变量在其均值附近的波动程度，方差越大，随机变量在其均值附近的波动就越大，偏离中心（均值）的程度就越高。

定义

判断是否存在与期望的类似，不过将期望中的变量值变成了变量减去其期望的平方，离散连续的都变换一下。

设$X$为一随机变量，若$E(X-EX{)}^2$存在，则称它为随机变量$X$的方差，记为$DX$.即$$DX=E(X-EX{)}^2$$.
方差的算数平方根$\sqrt{DX}$称为$X$的标准差.

若$X$离散，则$$DX=E(X-EX{)}^2=\sum _{i=1}^{\infty }(x_i-EX{)}^2{p}_i.$$
若$X$连续，则$$DX=E(X-EX{)}^2={\int }_{-\infty }^{+\infty }(x-EX{)}^{2}f(x)\mathrm{d}\mathrm{x}.$$
同时，易推知，$DX=E{X}^2-(EX{)}^2.$

性质

1. 对任意随机变量$X$有$DX\ge 0$，且$DX=0$的充分必要条件为$P(X=C)=1(C=1为任意常数);$
2. 对任意常数$C$，有$D(CX)=C^{2}DX;$
3. 若$X_1,X_2,\cdots ,X_n(n\ge 2)$相互独立，则$$D(X_1+X_2+\cdots +X_n)=D{X}_1+D{X}_2+\cdots +D{X}_n;$$
4. 对任意实数$C$，$$DX=E(X-EX{)}^2\le E(X-C{)}^2;$$
5. 设$X,Y$相互独立，则$$D(XY)=DXDY+E(Y{)}^{2}DX+(EX{)}^{2}DY$$

证明简要补充：

1. Chebyshev不等式。
2. 方差定义。
3. 期望中相互独立，$E{X}_1{X}_2=E{X}_{1}E{X}_2$的推广。
4. 将$X-C=(X-EX)+(EX-C)$，加减同一项。
5. 使用方差定义，加上独立时期望的性质$E{X}_1{X}_2=E{X}_{1}E{X}_2$。

常见分布的期望与方差

注：
主要针对超几何分布，求超几何分布的数学期望和方差，需要用到一些期望和方差的性质。可以对抽取的n个样本一个个分析，再求和，就可以分别求出随机变量的期望与方差。
这里需要注意的是，由于从抽取的n个样本中每个单位被抽取的概率都是相等的，即便是不放回抽样，所以最后求期望就可以直接分开求和；在求方差的时候，因为是把n次抽取分为抽取一个，不放回…依次抽取到n个为止，想强调的是不重复抽样，所以上一个单位被抽取是会影响到下一个单位的方差的，就需要使用到协方差的知识，但是也不难嘿嘿。

随机变量的矩

概率论中矩的概念是由力学中矩的概念来引入的。

它是随机变量最简单的数字特征。它的不同计算方式的组合，可以有期望（一阶原点矩）、方差（二阶中心距）、协方差（X与Y的相关中心距）、偏度（三阶中心距，消量纲）和峰度（四阶中心距，消量纲）

原点矩

分为k阶中心距，和k阶绝对中心距。
设$X$为随机变量，若$E|X{|}^k<\infty ,$记$v_k=E{X}^k,{\alpha }_k=E|X{|}^k,$则称$v_k$为$X$的$k$阶原点矩，并称${\alpha }_k$为$X$的$k$阶原点绝对矩。

中心矩

也分为k阶原点矩，和k阶绝对原点矩。
又若$EX$存在，且$E(|X-EX{|}^k)<\infty$，记${\mu }_k=E[X-EX{]}^k$，则称${\mu }_k$为$X$的$k$阶中心距，并称$${\beta }_k=E|X-EX{|}^k$$为$X$的$k$阶中心绝对矩。

随机变量的协方差(Covariance)和相关系数(Cofficient of Correlation)

协方差

协方差是什么？
为什么要引进协方差？协方差的统计意义。
协方差的性质？

在前面求期望的时候，我们有一条性质：当两个随机变量相互独立的时候，它们乘积的期望等于期望的乘积，这个性质很好，很方便。
因为变量之间不可能总是相互独立的，我们也需要考虑到那些不独立的情况，即考虑多个变量之间的相关关系，于是就有了协方差的概念。

协方差研究的就是随机变量之间的相关关系，一般，变量之间的协方差越大，它们的相关性就越强，反之，则越弱。它代表的是两个变量协同变化的方向和程度，也是两个随机变量之间的相似程度。
同时，协方差也是由中心距和原点矩那些来引入的，它一般是研究两个变量之间的相关关系。使用的矩是两个变量的混合中心矩，即$$cov(X,Y)=E(X-EX)(Y-EY)$$.
此外，方差是协方差的特殊情况，它表明一个随机变量自身的波动情况。

性质：

1. 对称性，$cov(X,Y)=cov(Y,X);$
2. $cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y);$
3. $cov(aX,bY)=abcov(X,Y)$，其中$a,b$为任意常数。

都可直接由定义的公式直接推得。

相关系数

为什么引进相关系数？
什么是相关系数？
相关系数有什么用？
相关系数有什么性质？

• 刚刚提及到的协方差，它可以反映变量之间的联系，但是往往不同变量之间的联系差异太大，无法进行相对比较。对于同样两个变量，可能会使用不同的量纲来度量，得到的协方差的数值不一样。为了消除量纲对X和Y关系的影响，我们将协方差除以一个跟它同样量纲的数，在对不同变量之间的相关关系进行对比，这里就引入了相关系数的概念。
• 相关系数的定义：$${\rho }_{XY}=\frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$$
• 相关系数类跟协方差一样，是用来反映不同变量之间的线性相关程度的，只是它消除了量纲的影响，讲数字特征的取值控制在了$[0,1]$之间。
• 相关系数的性质：（1）在-1 到 1 之间取值，即$|\rho |\le 1$。（2） 当相关系数的绝对值等于1的时候$p(Y=aX+b)=1$，说明两个变量之间呈线性相关，其中$a,b$为常数。
  性质证明补充：
  （1）对每个变量分别中心化，各个变量分别减去他们的数学期望（$X_1=X-EX,Y_1=Y-EY$），从而构成新的变量。再使用Cauchy-Schwarz不等式($E(X_1{Y}_1)\le \sqrt{E{X}_1^{2}E{Y}_1^2}$)，即证得。
  （2）由上式，$E(X_1{Y}_1{)}^2-E{X}_1^2{Y}_1^2=0$，
  即$g(t)=E(t{X}_1-Y_1{)}^2=0$有重根，记为$t_0$，有$E(t_0{X}_1-Y_1{)}^2=0$
  再利用$E(t_0{X}_1-Y_1)=E[1\cdot (t_0{X}_1-Y_1)],$Cauchy-Schwarz不等式和$E(t_0{X}_1-Y_1{)}^2=0,$就有$E(t_0{X}_1-Y_1)=0,$
  所以$D(t_0{X}_1-Y_1)=E(t_0{X}_1-Y_1{)}^2-[E(t_0{X}_1-Y_1){]}^2=0.$

独立性(Independent)

需要提及线性相关与独立性之间的关系。

一般，变量之间相互独立，那么这两个向量之间不线性相关，反之，如果变量之间的相关系数不为0，并不能够推出这两个随机变量之间相互独立，它只能够说明变量之间不存在线性相关关系，不能够说明他们之间并不存在非线性关系。例如，正弦函数的平方与余弦函数的平方，他们之间的的相关系数为0，没有线性关系但是具有函数关系。

注：正态随机变量的相关系数等于0表明变量之间是相互独立的。

变异系数

变异系数是绝对值形式的平均指标与相对形式的变异指标相互对比的结果。一般的计算公式为随机变量的标准差除以它的期望。
$$V_{\sigma }=\frac{\sigma }{\mu }$$
优点：不同于极差、平均差、标准差等反映随机变量等变异指标，变异系数消除了量纲的影响，非常适宜不同计量单位或不同平均水平的总体之间变异状况的对比。

偏度和峰度(Skewness Kurtosis)

偏度和峰度表明分布的图形方面的特征。
偏度表示随机变量分布的偏斜的方向和程度。（自我理解）它主要与一般正态分布的中心相比。也是代表离群数据离群的一个度量，主要关注的是正向离群点比较多（向右拖尾），还是负向离群点比较多（向左拖尾）。
$$\alpha =\frac{E(X-\mu {)}^3}{{\sigma }^3}$$
峰度表示，随机变量分布的不对称的方向和程度。它主要是和正态分布相对比。（自我理解）也是离群程度的一个度量，与偏度不同，它主要关注的是两边离群度的一个度量。从概率密度函数的图像上来看，它是比正态分布凸（数据比较集中在均值附近）还是凹（数据分布比较散，往两边分布。）。
$$\beta =\frac{E(X-\mu {)}^4}{{\sigma }^4}$$
数字特征取值中正负号代表的意义：
$$\alpha =\{\begin{array}{r}\ge 0,正偏\\ =0,对称\\ \le 0,负偏\end{array}$$

偏度正负分别代表分布式正偏还是负偏，0代表的是对称；
$$\beta =\{\begin{array}{rl}\ge 0,& 高峰度\\ =0,& 正态峰度\\ \le 0,& 低峰度\end{array}$$
峰度正负号分别代表分布对比正态分布是高峰度还是低峰度，0代表的是正态峰度。

后言

我真的拖了好久，钻进了地缝，又从地缝里面钻出来。
从协方差到后面的那些特征，我看了很多的文章，很多人都写出来很好了，写的很通俗易懂。看到别人写的很好的时候，一直脑子很疼，我得承认现在的我是达不到那种程度的，为此，我多次不想再继续写下去了，觉得没有什么意义，为什么要做一个无用的搬运工？但是到最后想明白了，那别人能够将一件事情通俗易懂地讲述出来，给我们看是好事，我一下子想不明白，也是好事，因为这相当于是给了我一次认识到自己的不足、学习、输出，进而掌握一项原本我觉得简单但并非简单的知识的机会吗？我就算是不会，很多地方都是参考的别人的，不是原创的，也没有关系，至少在这个自己想着去写作的过程中学习到了新知识，这些就已经足够了。
不惧自己的不足，继续写下去。

参考

1. covariance-Wekipedia
2. 如何通俗易懂地解释「协方差」与「相关系数」的概念？ – GRAYLAMB的回答 – 知乎
3. 协方差详解角度：历史、数学、物理意义
4. 对于概率论数字特征的理解
5. [交流讨论] 李德荃关于偏度与峰度的讲解

今天的文章概率论与数理统计（第四章-数字特征分享到此就结束了，感谢您的阅读，如果确实帮到您，您可以动动手指转发给其他人。