【1】【数学|随机过程】Probability, random variables, and stochastic processes
independent. identically. distributed
经常看到所谓的信源服从I.I.D，是什么意思呢？
就是字面意思，首先对象是至少两个随机变量，独立意味着：联合概率=独自概率乘积；同分布就是：概率分布一样
1-不相关、正交与独立
参考【1中文，pp166，第六章二元随机变量】
1.1-不相关
- 什么是相关？统计学上有不相关的概念，没有相关。常用相关系数和协方差说明两个随机变量的相关程度。不过信号处理中，相关函数的概念就是两个随机过程相乘取期望。
- 什么是相关，就是两个随机变量相乘再取期望【粗略的说法】，相关还有一个写法就是协方差，即：两个随机变量中心化后（减去均值），在相乘取期望，此为协方差。还有一个写法是相关系数（皮尔逊相关系数），即：两个随机变量方差乘积归一化后的协方差；
- 不相关就是相关为0，协方差为0（协方差定义为0，或者两个随机变量乘积的期望等于各自期望的乘积），相关系数也为0（分母协方差为0）；
1.2-正交
两个随机变量相乘再取期望为0
两个随机变量不相关，推出他们中心化后的随机变量正交；
两个随机变量不相关，并且均值为零，推出他们正交；
1.3-独立
独立意味着：联合概率=独自概率乘积；
独立一定不相关；
不相关不意味着真的没有关系，所以不一定独立；