1、1,Kernel方法,PRML第6、7章,2,不同的方法框架,数据只与模型的训练过程发生联系：例如线性回归、Logistic回归等 训练耗时，测试相对较快数据参与预测或估计过程：例如核密度估计、最近邻分类等 “训练”简单，测试相对耗时,3,核函数：度量样本相似性,核函数：线性核：注：核函数的引入不仅可发展出新模型，也可扩展已有模型，例如KFLD、KPCA等等,4,对偶表示,许多回归或分类的线性模型可重形式化为由核函数所支配的对偶表示例子： 平稳点对应的w为,5,对偶表示,代入 ，获得定义 ，这里获得对应于平稳点的a为,6,对偶表示,将上式代入到线性回归模型，预测值为 这里作业：尝试自行验证上述
2、重形式化过程,7,对偶表示,比较原形式化的解 与对偶形式化的解 易知两个形式化涉及不同规模的矩阵反转问题：典型问题设置下，哪个形式化计算开销更小？对偶形式化的优势在哪里？,8,构造核,方法1：首先构造 ，再由 获得核函数k(.,)方法2：直接定义k(.,)注：方法2需要保证所定义的k(.,)合法,9,构造核,合法核函数k(.,)的充要条件：由任意样本集D和k(.,)所构造的Gram矩阵K半正定作业：证明上述结果例子：,10,构造核,11,构造核,由简单核组合出复杂核,12,构造核,例子：高斯核例子：多项式核 ，这里c0作业：证明高斯核和多项式核是合法的核,13,构造核,概率生成技术：连接生成模
3、型和判别模型,14,高斯过程,线性回归重访问： 基本模型,15,高斯过程,考察y的前两阶矩由此确定y的分布（由核矩阵K所决定）作业：自行验证上述公式,16,高斯过程,替换视角：不显式指定基函数集k和p(w)，直接定义核矩阵K高斯核和指数核,17,高斯过程,目标方程： ，这里目标分布：y分布： ，这里K是由参数决定核矩阵,18,高斯过程,由上述定义，可解析给出 这里问题：利用哪些结果可获得上面给出的结果？,19,高斯过程,核矩阵K的定义：,20,高斯过程,预测：为计算以上条件概率，考虑 协方差矩阵做如下划分,21,高斯过程,利用高斯分布条件化公式（2.81和2.82），得到 服从均值和方法如下的高斯分布：,22,学习超参数,最大似然解注：问题是非凸的,23,
