[发明专利]一种BERT融合胶囊网络的电梯故障投诉文本分类方法

说明书

本发明公开了一种BERT融合胶囊网络的电梯故障投诉文本分类方法，所述方法首先利用预训练语言模型BERT强大的词句表达能力和抽取长距离依赖关系的能力对文本进行语义特征提取，取BERT最后一层输出层中的第一个字符对应的向量，将其经过一个线性层和Tanh激活层处理后得到投诉文本句向量表示，从而降低句向量维度，提高分类效率；然后利用过采样与欠采样结合的混合采样方法解决数据类别分布不均衡的问题；最后借助胶囊网络实现特征二次提取及融合，获取文本局部与整体的关系并保留词语顺序和语义，最终实现对电梯故障投诉文本的智能分类，为电梯定期维护提供参考价值，也为故障投诉文本数据的高效利用提供了解决方案。

技术领域

本发明涉及一种BERT融合胶囊网络的电梯故障投诉文本分类方法。

背景技术

2021年中国电梯保有量达844.7万台同比增长5.6％，电梯的安全运维成为一个至关重要的课题。智慧电梯管理系统是一种线上的电梯监控和维保服务系统，可实现电梯的实时监控、故障事件记录、电梯维保管理和用户投诉等功能，处理好用户投诉的问题是保证电梯安全运维的关键。用户投诉信息往往暴露出电梯运行过程中存在的问题或故障，对调整电梯相关单位的决策以及改进电梯质量和服务有着重要导向作用。传统上，电梯用户投诉文本主要依靠人工进行分类，线上工作人员接收用户的投诉，根据投诉内容提炼出电梯主要存在的问题或故障，然后安排维修人员处理。一般投诉文本的记录篇幅短，不同用户的不同语言习惯，有的有强烈情感因素，有的语言逻辑混乱，有的内容模糊，有的是不正常投诉，导致难以判断问题根源或浪费了大量的人力、物力，这种传统处理方式不仅效率低且极易出错。尤其投诉信息众多时，运维相关单位更显得力不从心。因此，如何科学高效地对电梯故障投诉文本进行自动化分类显得极为迫切和重要。

实现投诉文本自动分类的关键在于文本表示和分类器这两方面的选择。传统文本表示方法大多依赖于词袋模型，如独热编码、词频-逆文档频率等，此类方法虽简单直观，但难以对词序及上下文依赖信息进行有效编码，且具有维度灾难、特征稀疏等问题。词嵌入模型(如 Word2vec和Glove模型)能将字词表示成更低维度的向量，同时将上下文特征融入到字词向量中从而有效避免这些问题，但词嵌入模型在表达多义词方面存在一定缺陷。ELMo(Embeddings from Language Models)模型利用双向长短时记忆网络(Bi-LSTM)生成词的上下文表示，通过结合前后文语境理解多义词，从而很好地解决多义词的问题。为进一步提高文本表示能力，基于Transformer的双向编码器模型(Bidirectional EncoderRepresentations from Transformers，BERT),吸收了ELMo和GPT模型(Generative Pre-Training)的优势，其中Transformer编码器的self-attention结构在计算当前词时可同时利用它上下文的词，具有抽取长距离依赖关系和并行计算的能力。BERT已广泛用于语句对分类、情感分类、阅读理解等各项自然语言处理任务中，然而，BERT作为预训练语言模型，目前关于其作为中文投诉文本向量的应用和研究并没有。

在构建文本分类器时，基于统计模型的支持向量机(Support Vector Machine，SVM)、基于概率模型的朴素贝叶斯(Naive Bayes，NB)、基于向量空间模型的K最近邻(K-Nearest Neighbor,KNN)等机器学习方法已取得了不错的效果，但上述传统机器学习算法为浅层学习算法，直接利用向量化后的文本进行分类，所用向量无法表达出语义的深层含义，分类能力受到限制。深度学习模型则依赖于自身的深层模型结构，重点抽取隐藏特征和高维度特征，利用语义合成性原理通过不同深度模型将低层词向量合成高层文本语义特征向量从而得到文本的高层次语义表达，有效提升模型的推广能力。近年来出现了胶囊网络(Capsule network, CapsNet)，它是在卷积网络(Convolutional Neural Networks,CNN)的基础上将传统神经网络架构的输入输出从标量变成向量，用动态路由代替CNN中的池化操作，并在MNIST数据集上获得了不错的效果。但是胶囊网络用于文本分类时存在缺乏编码文本中远距离依赖关系的问题。

发明内容