高级大数据人才培养丛书之一,大数据挖掘技术与应用 刘鹏 主编 赵海峰 副主编 BIG DATA 刘 鹏 张 燕 总主编 深度学习第九章深度学习在文本中的应用 概述 9.1自然语言处理基础 9.2基于深度学习的文本处理 9.3 应用举例:机器翻译 全国高校标准教材云计算姊妹篇,剖析大数据核心技术和实战应用 of 37 2 习题 9.4 应用举例:聊天机器人概述 第四章 深度学习基本过程 of 37 3 自然语言处理(Natural Language Processing,简称NLP)需要兼顾到不同平面的知识: u 词汇学,描述词汇系统的规定说明单词本身固有的语义特性和语法特性; u 句法学,根据单词和词组之间的结构规则说明单词和词组怎样形成句子; u 语义学,描述句子中各个成分之间的语义关系,这样的语义关系是与情境是无关的; u 语用学,描述与情境有关的情景语义,说明怎样推导出句子具有的与周围话语有关的各种涵义。 每个层面具备自身的特点:词汇学主要描述具体的单词的构成成份,如语素、屈折变化形式等;句法学涉 及的是词和词组怎样组成句子的知识;语义学指的是给句子指派意义;语用学则涉及在对话中