徐淼第十一第十一章章：特征：特征选择选择与稀疏学与稀疏学习习特征特征p 特征l 描述物体的属性p 特征的分类l 相关特征: 对当前学习任务有用的属性l 无关特征: 与当前学习任务无关的属性l 冗余特征*: 其所包含信息能由其他特征推演出来*为简化讨论，本章暂不涉及冗余特征例子：西瓜的特征例子：西瓜的特征西瓜的特征颜色纹理触感根蒂声音相关特征无关特征好瓜坏瓜当前任务：西瓜是否是好瓜特征选择特征选择p 特征选择l 从给定的特征集合中选出任务相关特征子集l 必须确保不丢失重要特征p 原因l 减轻维度灾难：在少量属性上构建模型l 降低学习难度：留下关键信息例子例子：判断是否好瓜时的特征选择：判断是否好瓜时的特征选择西瓜的特征颜色纹理触感根蒂声音相关特征无关特征好瓜坏瓜当前任务：西瓜是否是好瓜特征选择：选择当前任务相关特征特征选择的一般方法特征选择的一般方法p 遍历所有可能的子集l 计算上遭遇组合爆炸，不可行p 可行方法两个关键环节：子集搜索和子集评价子集子集搜索搜索p 前向搜索：逐渐增加相关特征p 后向搜索：从完整的特征集合开始，逐渐减少特征p 双向搜索：每一轮逐渐增加相关特征，同时减少无关特
