1、第第 3章章 非参数判别分类方法非参数判别分类方法非参数判别分类法非参数判别分类法 贝叶斯决策具有理论：贝叶斯决策具有理论： 要设法获取样本统计分布的资料要设法获取样本统计分布的资料 ,要知道先验概率要知道先验概率，类分布概率密度函数等。，类分布概率密度函数等。 在样本数不足条件下获取准确的统计分布是困难的在样本数不足条件下获取准确的统计分布是困难的 另一条道路：即根据训练样本集提供的信息，直接另一条道路：即根据训练样本集提供的信息，直接进行分类器设计。进行分类器设计。这种方法绕过统计分布状况的分析，绕过参数估这种方法绕过统计分布状况的分析，绕过参数估计这一环，而企图对特征空间实行划分，称为非
2、参计这一环，而企图对特征空间实行划分，称为非参数判别分类法，即不依赖统计参数的分类法。数判别分类法，即不依赖统计参数的分类法。 学习指南学习指南 了解非参数判别分类方法在模式识别技术中所处的了解非参数判别分类方法在模式识别技术中所处的地位。地位。 是当前模式识别中主要使用的方法。是当前模式识别中主要使用的方法。 非参数判别分类方法的核心是由训练样本集提供的非参数判别分类方法的核心是由训练样本集提供的信息直接确定决策域的划分方法。信息直接确定决策域的划分方法。 最重要的概念是分类器设计用一种训练与学习的过最重要的概念是分类器设计用一种训练与学习的过程来实现。程来实现。 要进一步体会模式识别中以确
3、定准则函数并实现优要进一步体会模式识别中以确定准则函数并实现优化的计算框架。化的计算框架。学习目的学习目的 掌握非参数判别分类法的原理掌握非参数判别分类法的原理 掌握机器自学习的原理。掌握机器自学习的原理。 学习线性分类器的几种典型算法学习线性分类器的几种典型算法 用近邻法进行分类用近邻法进行分类 通过相应数学工具的运用进一步提高运用数通过相应数学工具的运用进一步提高运用数学的本领学的本领 重点重点 非参数判别分类器的基本原理，与参数判别非参数判别分类器的基本原理，与参数判别分类方法的比较分类方法的比较 线性分类器的几种典型方法线性分类器的几种典型方法 以以 Fisher准则为代表的传统模式识
4、别方法准则为代表的传统模式识别方法以感知准则函数为代表的机器自学习方法以感知准则函数为代表的机器自学习方法 近邻法的工作原理及其改进近邻法的工作原理及其改进 线性分类器扩展到非线性分类器线性分类器扩展到非线性分类器 两类别分类方法与多类别分类方法两类别分类方法与多类别分类方法 难点难点 Fisher准则函数，其中用到向量点积，带约准则函数，其中用到向量点积，带约束条件的拉格朗日乘子法以及矩阵的特征值束条件的拉格朗日乘子法以及矩阵的特征值、特征向量等数学工具。要求对这些数学工、特征向量等数学工具。要求对这些数学工具较深理解。具较深理解。 感知器准则函数提出利用错误提供信息实现感知器准则函数提出利
5、用错误提供信息实现叠代修正的学习原理叠代修正的学习原理 近邻法的改进近邻法的改进3.1引言引言 贝叶斯决策理论设计分类器的步骤贝叶斯决策理论设计分类器的步骤 非参数判别分类非参数判别分类 非参数判别分类方法两个过程非参数判别分类方法两个过程 使用什么典型的分类决策方法使用什么典型的分类决策方法 利用训练样本集提供的信息确定这些函数中利用训练样本集提供的信息确定这些函数中的参数。的参数。 3.2 线性分类器线性分类器 3.2.1 线性判别函数的基本概念线性判别函数的基本概念两类别问题中线性判别函数的一般形式两类别问题中线性判别函数的一般形式 0是一个常数，称为阈值权 决策规则决策规则 g(X) 0就是相应的决策面方程，在线性判别就是相应的决策面方程，在线性判别函数条件下它对应函数条件下它对应 d维空间的一个超平面维空间的一个超平面
