以欧式空间中的概念描述概率论中的基本知识.
期望是垂直投影, 条件期望也是垂直投影.相关系数是二面角的余弦值.设样本集合
, 且发生 的概率为 , , 且 .
设随机变量
,
换句话讲, 我们可以利用一个三维向量
表达随机变量
, 其中 表示发生 时, 随机变量 所取的值.
同样, 设另外一个随机变量
,
并以一个三维向量
表达随机变量
.
构建线性空间
我们将为包含所有这样的随机变量的集合, 赋予加法和数乘, 并构建线性空间.
首先, 定义加法和数乘这两种运算, 即,
以及
显然,
与 也是这样的随机变量.
自然地, 三维向量
与随机变量 , 对应. 这里, 取 .
可以验证, 8条法则成立, 那么我们就构造了一个线性空间, 记为
.
在这个线性空间中有一个很特殊的向量, 我们记
向量
对应于一个没有不确定性的随机变量
换句话说, 无论取哪个样本点, 这个随机变量
的取值始终为 . 也就是说, 其实就是常数 . 这里, 我们依然将常数看作是一个分量都为的三维向量, 一个没有不确定性随机变量.
构建欧式空间
我们在
上定义内积
那么,赋予内积的线性空间
, 就成了欧式空间.
根据内积, 我们就可以定义距离
一件有趣的事情是, 向量
的长度为 .
期望, 方差, 协方差, 相关系数
在概率论中, 我们熟知的期望, 方差, 协方差, 相关系数在欧式空间中的几何意义是什么呢?
首先, 我们回顾这些概念的定义, 并用欧式空间中的加法, 数乘, 内积, 重新表述如下
先来说说, 期望和方差. 设向量
则它是向量
在向量 上的垂直投影. 那么, 大家熟知的方差计算公式
其实就是勾股定理公式.
图中, 直角三角形斜边长度的平方为
一条直角边长度的平方为
另一条直角边长度的平方为
接下来, 我们再看看相关系数的几何意义.
根据相关系数的定义
以及期望和方差的几何意义, 我们可以得到,随机变量
和的相关系数, 就是向量和张成的半平面, 与向量和张成的半平面之间夹角的余弦值,.
如果
, 说明这两个半平面的夹角为 .
如果
, 说明这两个半平面的夹角为 , 即, 向量 可以由 和 线性表出, 且 .
如果
, 说明这两个半平面的夹角为 , 即, 向量 可以由 和 线性表出,且 .
换成随机变量的记号, 即,
条件期望
一句话, 随机变量
关于随机变量的条件期望是向量在某个与向量相关的子空间上的垂直投影.
首先, 我们要定义特征映射
, 满足
其中,
是样本集 的子集. 那么, 随机变量 和 分别可以写成
下面讨论在一个特殊的情形下,
, , 且 , 条件期望的几何意义.
此时,
其中,
和 这个两个随机变量对应的向量分别为
我们先算算向量
到向量和张成的平面的垂直投影是什么.
换句话说, 我们需要求解下述最小化问题:
根据一阶最优条件, 容易得到, 上述最小化问题等价于下述线性方程组求解问题
求解上述线性方程组, 得到
那么,向量
到向量和张成的平面的垂直投影为
再根据条件期望的定义, 发现
我们记, 向量
到向量 和 张成的平面的垂直投影 , 对应的随机变量为
那么,全期望公式
其实就是几何中的三垂线定理.
