1、Ch 07. 线性判别函数模式分 类 的途 径 途径 1:估计类条件概率密度 通过 和 ,利用贝叶斯规则计算后验概率 ,然后通过最大后验概率做出决策 两种方法 方法 1a:概率密度参数估计基于对 的含参数的描述 方法 1b:概率密度非参数估计基于对 的非参数的描述 途径 2:直接估计后验概率 不需要先估计 途径 3:直接计算判别函数 不需要估计 或者判 别 函 数 分类器最常用的表述方式为 判别函数 ,每个类别对应一个判别函数 基于判别函数的判决规则如果 ,则模式为判 别 函 数 假设每一类别的判别函数形式已知 利用训练样本集可估计判别函数中的参数 判别函数例子线性判别函数 二次判别函数线 性
2、判 别 函 数 每个判别函数是特征向量 x的分量的线性组合 对 c类问题,每个类 i对应一个线性判别函数 例:两维情况线 性判 别 函 数 两 类 情 况 两类的判别函数 可用一个判别函数来实现 判别规则 判决面:线 性判 别 函 数 多 类 情 况 由 c个线性判别函数构成的 c类分类器称为 线性机器 ( 线性机 ) 线性机器的决策规则为 设 和 是两个相邻的判决域,则它们之间的边界为超平面 Hij的一部分, Hij由 和 分别对应的判别函数决定Hij的方向由 决定线 性判 别 函 数 多 类 情 况 线性机的判决域和判决面广 义线 性判 别 函 数 二次判别函数( quadratic discriminant function) 多项式判别函数( polynomial discriminant function)广 义线 性判 别 函 数 广义线性判别函数 ( generalized linear discriminant function) 是 维权向量 分量函数 可以是 x的任意函数,可视为特征提取子系统的结果 虽然 不是 x的线性函数,但却是 y的线性函数,称为广义线性判别函数