Schwarz 不等式是个应用广泛的不等式，常见于线性代数的内积空间，数学分析的无穷级数，连续函数的积分以及概率论中的方差、协方差。

一般表述为

$\vert \langle x,y\rangle \vert ^2 \leq \langle x,x\rangle \dot \langle y,y \rangle$

在欧几里得空间$\mathcal{R^n}$中，$$(\sum_{i=1}^{n}x_i y_i)^2 \leq (\sum_{i=1}^{n}x_i^2)(\sum_{i=1}^{n}y_i^2)$$

文章转载自链接

关于空间的紧性，我们在之前的分析中已经见过了：例如在实数轴上的有界闭区间就是典型的紧集，紧集具有很多优良的性质，比如我们知道在有界闭区间上的连续函数一定是一致连续的，并且能取到最大值和最小值。所以，在将空间的概念推广到一般的拓扑空间之后，我们也希望将紧性这一优良性质也带到拓扑空间中来。为此，我们需要找到什么是紧集最本质的东西。在实数轴上的紧集 $K$，有如下的一些等价刻画：

关于事件的运算

$$\underset{n \rightarrow \infty}{\overline{lim}} A_n= \bigcap _{k=1}^{\infty} \bigcup _{n=k}^{\infty} A_n$$

$$\underset{n \rightarrow \infty}{\underline{lim}} A_n= \bigcup _{k=1}^{\infty} \bigcap _{n=k}^{\infty} A_n$$

其中，$\underset{n \rightarrow \infty}{\overline{lim}} A_n​$ 为事件序列${A_n}​$的上限事件，表示$A_n​$发生无穷多次。类似的，称 $\underset{n \rightarrow \infty}{\underline{lim}} A_n​$ 为事件序列的下限事件，表示$A_n​$之多只有有限个不发生。

显然，有$$\underset{n \rightarrow \infty}{\overline{lim}} A_n \supset \underset{n \rightarrow \infty}{\underline{lim}} A_n$$

VAR方法通过把系统中每一个内生变量,作为系统中所有内生变量的滞后值的函数来构造模型，从而回避了结构化模型的要求。Engle, Granger（1987）指出两个或多个非平稳时间序列的线性组合可能是平稳的。假如这样一种平稳的或的线性组合存在，这些非平稳（有单位根）时间序列之间被认为是具有协整关系的。这种平稳的线性组合被称为协整方程且可被解释为变量之间的长期均衡关系。VAR模型对于相互联系的时间序列变量系统是有效的预测模型，同时，向量自回归模型也被频繁地用于分析不同类型的随机误差项对系统变量的动态影响。如果变量之间不仅存在滞后影响，而不存在同期影响关系，则适合建立VAR模型，因为VAR模型实际上是把当期关系隐含到了随机扰动项之中。

马尔科夫链

在介绍$\text{HMM}$之前，我们先要了解什么是马尔科夫链。马尔科夫链是一个随机过程，简单来说就是当前时刻的状态与前 $p$ 个时刻的状态有关，即

$$P(z(t) | z(t-1),z(t-2),\cdots,z(1),z(0)) = P(z(t)|z(t-1),z(t-2),\cdots,z(t-p))$$

这种被称作 $p$ 阶马尔科夫链；为了简化这个过程以方便应用到模型中，我们有两个假设：

• 在序列中，当前时刻状态只依赖于前一时刻的状态，也就是$P(z(t)|z(t-1), z(t-2),\cdots, z(1), z(0)) = P(z(t)|z(t-1))$。
• 状态转移的分布不随时间的改变而改变，也就是说任意时刻下的状态产生与时间无关，仅仅与前一状态有关。

但是实际生活中，这种状态本身是很难观测到的，我们只能根据其他的特征来观测这些状态，同时状态之间的 转移矩阵也是很难直接获得的，这就需要隐马尔科夫模型了.