机器学习中的高斯过程（Gaussian Process），附随机过程简记

1. 随机过程
[1] Digital communication
[2] 信息与通信过程中的随机过程

随机过程是函数的概率分布，它的样本是函数 x(t)，描述了函数的随机性质。随机过程可以看作是无穷维随机向量。

随机变量 X         <->   x
随机过程 X(t)     <->   函数 x(t)



规定随机过程：k维概率函数（CDF, PDF, PMF 等），k>=1

严平稳随机过程：k维概率函数和时间平移无关
宽平稳随机过程：均值函数 m(t) 和自协方差函数 C(t1,t2) 和时间平移无关，意味着 m(t) 是常数

2. 高斯过程是一种随机过程，它的任意有限维概率密度 p(x1,x2,...,xn) 是高斯的。
高斯过程的特殊性在于

1. 宽平稳即严平稳；
2. 计算方便

3. 机器学习中的高斯过程

参见绿色笔记本p24

监督学习方法概略：

目标：给定 

(x_n,t_n), n=1...N\quad x_{N%2B 1}

预测 t_{N+1}

方法：
t = g(y(x,w)), 这个函数可以是 regression 或 classification
令 y(x,w) 是高斯过程，w 是高斯过程的参数
则预测的工作就是求

p(t_{N%2B 1}|\mathbf{t})

y(x,w) 由 m(x) 和 k(x1,x2) 规定，注意这两个函数是 y 的均值函数和自协方差函数，只不过以x为变量

1. 一般 m(x) = 0
2. k(x1,x2) 是一个核函数，使得 x1,x2 越相似，y1,y2 相关性越大，k(x1,x2) 越大

参数学习

w = \arg \min -\log p(\mathbf{t}|w)