文本分类应用研究论文

文本分类问题： 给定文档p（可能含有标题t），将文档分类为n个类别中的一个或多个 文本分类应用： 常见的有垃圾邮件识别，情感分析 文本分类方向： 主要有二分类，多分类，多标签分类 文本分类方法： 传统机器学习方法（贝叶斯，svm等），深度学习方法（fastText，TextCNN等） 本文的思路： 本文主要介绍文本分类的处理过程，主要哪些方法。致力让读者明白在处理文本分类问题时应该从什么方向入手，重点关注什么问题，对于不同的场景应该采用什么方法。 文本分类的处理大致分为 文本预处理 、文本 特征提取 、 分类模型构建 等。和英文文本处理分类相比，中文文本的预处理是关键技术。

针对中文文本分类时，很关键的一个技术就是中文分词。特征粒度为词粒度远远好于字粒度，其大部分分类算法不考虑词序信息，基于字粒度的损失了过多的n-gram信息。下面简单总结一下中文分词技术:基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法 [1]。

1，基于字符串匹配的分词方法： 过程：这是 一种基于词典的中文分词 ，核心是首先建立统一的词典表，当需要对一个句子进行分词时，首先将句子拆分成多个部分，将每一个部分与字典一一对应，如果该词语在词典中，分词成功，否则继续拆分匹配直到成功。 核心： 字典，切分规则和匹配顺序是核心。 分析：优点是速度快，时间复杂度可以保持在O（n）,实现简单，效果尚可；但对歧义和未登录词处理效果不佳。

2， 基于理解的分词方法：基于理解的分词方法是通过让计算机模拟人对句子的理解 ，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性，难以将各种语言信息组织成机器可直接读取的形式，因此目前基于理解的分词系统 还处在试验阶段 。

3，基于统计的分词方法: 过程：统计学认为分词是一个 概率最大化问题 ，即拆分句子，基于语料库，统计 相邻的字组成的词语出现的概率 ，相邻的词出现的次数多，就出现的概率大， 按照概率值进行分词 ，所以一个完整的语料库很重要。 主要的统计模型有： N元文法模型（N-gram），隐马尔可夫模型（Hidden Markov Model ，HMM），最大熵模型（ME），条件随机场模型（Conditional Random Fields，CRF）等。

1， 分词 ： 中文任务分词必不可少，一般使用jieba分词，工业界的翘楚。 2， 去停用词：建立停用词字典 ，目前停用词字典有2000个左右，停用词主要包括一些副词、形容词及其一些连接词。通过维护一个停用词表，实际上是一个特征提取的过程，本质 上是特征选择的一部分。 3， 词性标注 ： 在分词后判断词性（动词、名词、形容词、副词…），在使用jieba分词的时候设置参数就能获取。

文本分类的核心都是如何从文本中抽取出能够体现文本特点的关键特征，抓取特征到类别之间的映射。 所以特征工程很重要，可以由四部分组成：

1，基于词袋模型的特征表示：以词为单位（Unigram）构建的词袋可能就达到几万维，如果考虑二元词组（Bigram）、三元词组（Trigram）的话词袋大小可能会有几十万之多，因此基于词袋模型的特征表示通常是极其稀疏的。

（1）词袋特征的方法有三种：

（2）优缺点：

2，基于embedding的特征表示： 通过词向量计算文本的特征。（主要针对短文本）

4，基于任务本身抽取的特征：主要是针对具体任务而设计的，通过我们对数据的观察和感知，也许能够发现一些可能有用的特征。有时候，这些手工特征对最后的分类效果提升很大。举个例子，比如对于正负面评论分类任务，对于负面评论，包含负面词的数量就是一维很强的特征。

5，特征融合：对于特征维数较高、数据模式复杂的情况，建议用非线性模型（如比较流行的GDBT, XGBoost）；对于特征维数较低、数据模式简单的情况，建议用简单的线性模型即可（如LR）。

6，主题特征： LDA（文档的话题）： 可以假设文档集有T个话题，一篇文档可能属于一个或多个话题，通过LDA模型可以计算出文档属于某个话题的概率，这样可以计算出一个DxT的矩阵。LDA特征在文档打标签等任务上表现很好。 LSI（文档的潜在语义）： 通过分解文档-词频矩阵来计算文档的潜在语义，和LDA有一点相似，都是文档的潜在特征。

这部分不是重点，传统机器学习算法中能用来分类的模型都可以用，常见的有：NB模型，随机森林模型（RF），SVM分类模型，KNN分类模型，神经网络分类模型。 这里重点提一下贝叶斯模型，因为工业用这个模型用来识别垃圾邮件[2]。

1，fastText模型： fastText 是word2vec 作者 Mikolov 转战 Facebook 后16年7月刚发表的一篇论文： Bag of Tricks for Efficient Text Classification [3]。

模型结构：

改进：注意力（Attention）机制是自然语言处理领域一个常用的建模长时间记忆机制，能够很直观的给出每个词对结果的贡献，基本成了Seq2Seq模型的标配了。实际上文本分类从某种意义上也可以理解为一种特殊的Seq2Seq，所以考虑把Attention机制引入近来。

过程： 利用前向和后向RNN得到每个词的前向和后向上下文的表示：

词的表示变成词向量和前向后向上下文向量连接起来的形式：

模型显然并不是最重要的： 好的模型设计对拿到好结果的至关重要，也更是学术关注热点。但实际使用中，模型的工作量占的时间其实相对比较少。虽然再第二部分介绍了5种CNN/RNN及其变体的模型，实际中文本分类任务单纯用CNN已经足以取得很不错的结果了，我们的实验测试RCNN对准确率提升大约1%，并不是十分的显著。最佳实践是先用TextCNN模型把整体任务效果调试到最好，再尝试改进模型。

理解你的数据： 虽然应用深度学习有一个很大的优势是不再需要繁琐低效的人工特征工程，然而如果你只是把他当做一个黑盒，难免会经常怀疑人生。一定要理解你的数据，记住无论传统方法还是深度学习方法，数据 sense 始终非常重要。要重视 badcase 分析，明白你的数据是否适合，为什么对为什么错。

超参调节： 可以参考 深度学习网络调参技巧 - 知乎专栏

一定要用 dropout： 有两种情况可以不用：数据量特别小，或者你用了更好的正则方法，比如bn。实际中我们尝试了不同参数的dropout，最好的还是，所以如果你的计算资源很有限，默认是一个很好的选择。

未必一定要 softmax loss： 这取决与你的数据，如果你的任务是多个类别间非互斥，可以试试着训练多个二分类器，也就是把问题定义为multi lable 而非 multi class，我们调整后准确率还是增加了>1%。

类目不均衡问题： 基本是一个在很多场景都验证过的结论：如果你的loss被一部分类别dominate，对总体而言大多是负向的。建议可以尝试类似 booststrap 方法调整 loss 中样本权重方式解决。

避免训练震荡： 默认一定要增加随机采样因素尽可能使得数据分布iid，默认shuffle机制能使得训练结果更稳定。如果训练模型仍然很震荡，可以考虑调整学习率或 mini_batch_size。

知乎的文本多标签分类比赛，给出第一第二名的介绍网址： NLP大赛冠军总结：300万知乎多标签文本分类任务(附深度学习源码) 2017知乎看山杯 从入门到第二

1.徐燕，基于网络的汉语国际推广是信息化时代的需求，《世界教育信息》，2010 年，12.徐燕，李锦涛，王斌，孙春明，基于区分类别能力的高性能特征选择方法，软件学报（2008年一期，P82-P89）3.徐燕，李锦涛，王斌，孙春明，文本分类中特征选择的约束研究，计算机研究与发展，（2008年四期，P596-602）4.徐燕，王斌，李锦涛，孙春明，知识增益：文本分类中一种新的特征选择方法，《中文信息学报》（2008年一期，P44-P50）5.徐燕，李锦涛，王斌，孙春明，不均衡数据集上文本分类的特征选择研究，计算机研究与发展（增刊），2007年5月，44卷，58－626.徐燕，李锦涛，王斌，孙春明，基于词条频率的特征选择算法研究，《中文信息处理前沿进展》，清华大学出版社，2006年10月，P306-3147.祖向荣,徐燕,王素琴，电力市场发电公司竞价策略仿真模型，2005年01期详细介绍，华北电力大学学报，<<华北电力大学学报>>2005年第32卷第01期8.孙春明，徐燕，林碧英。一种基于词条频率的文档频率方法的改进，中国电力教育2006年增刊（第二辑）9.徐燕，怀进鹏。粗糙集理论在手语合成中的应用，复旦学报，2004年43卷5期，P874-87610.徐燕，基于虚拟现实技术的数据挖掘结果可视化，计算机应用研究，2004年12月，21卷12期，P190-19211.徐燕，怀进鹏，王兆其。基于区分能力大小的启发式约简算法及其应用，计算机学报，2003年1月，2003,, 97-10312.徐燕，怀进鹏，王兆其。手势数据挖掘及挖掘结果的可视化，计算机辅助设计与图形学学报，2003年4月，2003，15(4)，449-45313.徐燕，怀进鹏，王兆其。手势数据挖掘，计算机研究与发展增刊，2002年10月，2002/1014.徐燕，怀进鹏。粗糙集理论在手语合成中的应用，复旦学报，已录用15.徐燕，基于虚拟现实技术的数据挖掘结果可视化，计算机应用研究，已录用16.徐燕，怀进鹏。数据挖掘及其在手语合成中的应用，《人工智能进展》，清华大学出版社，2001年3月17.徐燕，《对一种失量量化聚类算法的改进及应用》，华北电力大学学报，2001/718.徐燕，怀进鹏。《手势数据挖掘及挖掘结果的可视化》，CAD&CG′2002，学术会议，2002/819.王兆其，高文，徐燕。一种基于传感器的人体上肢运动实时跟踪方法，《计算机学报》，2001年6月，2001,24(6):616~61920.柳长安，徐燕。《多个自由飞行空间机器人动力学控制》，宇航学报，2002年7月，2002,。