1、Ch 03. 参数 估 计最大似然估计 & 贝叶斯估计Part 1 最大似然估 计模式分 类 的途 径 途径 1：估计类条件概率密度 通过 和 ，利用贝叶斯规则计算后验概率 ，然后通过最大后验概率做出决策 两种方法 方法 1a：概率密度参数估计基于对 的含参数的描述 方法 1b：概率密度非参数估计基于对 的非参数的描述 途径 2：直接估计后验概率 不需要先估计 途径 3：直接计算判别函数 不需要估计 或者概 率密度函 数 估 计 与参数 估 计 参数估计 基于对 用 已知函数形式 的 参数化 表示 估计 未知 概率密度函数 的问题被简化为估计已知 函数形式中的 未知 参数 中的所有未知参数可以
2、写成向量形式，称为参数向量 ，含有未知参数的概率密度函数 可以表示为 高斯密度函数中的参数向量贝 叶斯 决 策中的 参数 估 计 贝叶斯决策为最优决策（最小总风险、最小误差概率） 前提条件 已知 先验概率 已知 类条件概率密度 不幸的是 多数情况下，先验概率和类条件概率密度 未知 我们可利用的 有关模式识别问题的一些模糊而笼统的知识 一些设计样本（训练样本），构成待分类的模式的一个特定的子集，作为该模式的代表贝 叶斯 决 策中的 参数 估 计 解决方案 假设类条件概率密度为某种含参数的概率密度分布函数，通过训练数据来估计该函数中未知的参数 将参数估计后的概率密度函数作为类条件概率密度，利用贝叶
3、斯决策进行分类 有监督学习 训练集中每个样本的真实类别已知参数 估 计 方法 最大似然估计（ ML估计） 假设 将待估计的参数看作确定的量，只是值未知 估计方式 将使得产生训练样本的概率最大的参数值作为这些参数的最佳估计 贝叶斯估计（贝叶斯学习） 假设 将待估计的参数看作符合某种先验概率分布的随机变量 估计方式 通过观察样本，将先验概率密度通过贝叶斯规则转化为后验概率密度参数 估 计 方法 ML估计 与 贝叶斯估计 的关系 ML估计通常比贝叶斯估计简单 ML估计给出参数的值，而贝叶斯估计给出所有可能的参数值的分布 当可用数据很多以至于减轻了先验知识的作用时，贝叶斯估计可以退化为 ML估计最大似
4、然估 计 给定 c个类： 假设所有的类条件概率密度函数 都具有已知的参数化形式 假设每个参数向量 对它所属的类别起的作用都是相互独立的 例如： 给定 c个数据集（每个数据集对应一个类别）： 每个数据集 中的样本为独立同分布（ independent and identically distributed，缩写为 i.i.d.）的随机变量，这些随机变量均从某个概率密度函数 独立抽取 由于不同类的参数相互独立， 无法为 ， 的估计提供任何信息 因此，可以对每个类别分别估计参数，类别下标可以省略最大似然估 计 相对于数据集 的似然函数 对 的 ML估计即使得似然函数 最大的值直观上讲， 是使得观察到 D中样本的可能性最大化的值
