随机过程经常用于信号处理,所以一般都是从系统角度进行论述的.而一个随机过程的函数其实是不准确的,但是我们要比对随机变量,所以还是这样命名. 给定一个随机过程$X(t)$作为输入,经过系统,输出为随机过程$Y(t)$,记为: $$ Y(t)=T[X(t)] $$ 这里算子$T$可理解为一种复杂的函数. 确定性 如果$X(……

狭义平稳性 定义 如果时间起点的推移不影响它的统计性质,则我们说随机过程$X(t)$是(狭义)平稳的. 联合平稳 有限阶平稳 广义平稳性 定义 如果随机变量的期望是常量而自相关只依赖于 $$ t_1-t_2 $$ 联合平稳 渐近平稳 周期平稳 平稳增量……

在上面几节中我们讨论了概率论,定义了随机变量,同时了解了最常用的重复试验其实是定义了一个随机变量序列,并讨论了大数定理和中心极限定理的意义. 重复试验是如此的重要,我们能不能扩充一下随机变量,使它天然地具备这个性质,并且适用于更广的情况,比如实验结果是随时间改变的? 自然而然的,我们……

在统计学中我们有时候不能知道总体的全部信息而只能知道部分样本信息(这里不讨论大数据= =.). 我们要做的是,根据样本信息来推测总体信息. 这在统计学中有一个术语叫:统计推断,而它又分为两类,即参数估计(估计理论)和假设检验(检测理论). 现在我们先不考虑统计学中的参数估计问题,让我们先来看看……

上一节介绍的大数定理指出,对于随机实验$\overline{\mathfrak{E}}$,其密度函数PDF总是集中在它的平均值附近.但是这个密度的实际形状确没有讨论.那么,这个形状或PDF函数形式是怎么样的呢?这就是中心极限定理讨论的. 中心极限定理 连续型 随机变量$X_i$是连续且……

接下来,我们终于摆脱各种恼人的公式推导,可以换一个新的视角重新审视概率论了:以概率论和统计学相结合的角度再来看看概率论. 首先,我们接着上节内容看看,随机变量序列有没有极限. 随机变量序列的极限的定义 我们知道数列$x_n$的极限定义为: 若对给定的$\delta \gt 0$,我们总能找到一整……

在概率论7/8中我们介绍了两个随机变量的情况,这里我假设读者有自行推导更多随机变量(随机向量,随机序列)的能力,就随机向量这块就简单说明下. 联合分布 $$ F(x_1,\cdots,x_n)=P\lbrace X_1 \le x_1,\cdots, X_n\le x_n\rbrace $$ 密度函数 $$ f(x_1,\cdots,x_n) $$ 边缘分布 $$ F(x_1,x_3)=F(x_1,\infty,x_3,\infty) $$ 随机变量的函数 由$f(x_1,\cdots,x_n)$及已知函数$g_i(x_1,\cd……

概念 训练集(training set) 测试集(test set) 检验集(validation set) 目标向量(target vector)，由目标变量组成 泛化能力(generalization) 预处理(preprocessing)，也叫特征提取(feature extraction) 分类 根据目标向量的有无，我们分为监督学习(……

一个函数 假定我们现在有一个函数$z=g(x,y)$,我们用随机变量$X$和$Y$代入得到的新随机变量$Z=g(X,Y)$服从什么分布呢? 由上一章我们知道,对于二维随机变量的联合分布函数是其密度函数的二维平面积分,从这里出发,我们可以得到多维随机变量函数的分布函数 分布函数 假设$X$……

之前我们介绍了一个随机变量的情形,现在我们把它推广到两个或多个随机变量. 联合分布 如果我们有两个随机变量$X,Y$,则集合$\lbrace X \le x\rbrace$和$\lbrace Y \le y\rbrace$都是事件,分别有概率$P\lbrace X \le x\rbrace=F_X(x) P\lbrace Y \le y\rbrace=F_Y(y)$ 在笛卡尔乘积空间,我们定义一个……