用文本挖掘剖析近5万首全唐诗楔子近些年来，弘扬中华传统文化的现象级综艺节目不断涌现，如中国汉字听写大会、中国成语大会、中国谜语大会、中国诗词大会等，其背后的社会成因，在于人们对中国文化中最精致文字的膜拜心理，虽然浸淫于层出不穷的网络语汇，时时面临“语言荒漠”的窘境，仍心向往之。上述节目中，笔者最感兴趣的还是中国诗词大会通过对诗词知识的比拼及赏析，带动全民重温那些曾经学过的古诗词，分享诗词之美，感受诗词之趣，从古人的智慧和情怀中汲取营养，涵养心灵。由于在新浪微舆情从事的是语义分析产品方面的工作，平时用到很多文本挖掘的方法。所以，笔者想从文本（数据）挖掘的角度去“探索”全唐诗，挑战一些不同场景下（现代汉语和古汉语）文本处理和分析的异同点，锤炼自己的分析技能；但更想做的是，结合数据之美和诗歌之雅，用跨界思维去发现一些有趣的东西。在这里，笔者分析的语料是全唐诗，它编校于清康熙四十四年（1705年），得诗四万八千九百余首。接下来，笔者将使用多种文本挖掘方法，来分析全唐诗。以下是本文的行文脉络：0文本预处理对于现代汉语的分词
