[发明专利]一种文本数据的自动分类方法及系统

说明书

本发明公开了一种文本数据的自动分类方法及系统，该方法及系统首先使用Word2Vec工具训练原始的文本数据的词向量；然后将原始的文本数据输入到用于自动分类的深度神经网络模型中，结合原先训练得到文本数据对应的词向量，实现对文本数据的自动分类。该方法及系统使用了一个由两个不同方向的LSTM组成的双向LSTM网络，这样不仅能够利用前文的语义信息，同时也能够利用后文的语义信息，使得提取的特征信息更加丰富。

技术领域

本发明涉及自然语言处理领域，更具体地说，涉及一种利用深度神经网络，实现文本数据的自动分类。

背景技术

文本分析是指对文本的表示及其特征项的选取；文本分析是文本挖掘、信息检索的一个基本问题，它把从文本中抽取出的特征词进行量化来表示文本信息。由于文本的语义不可避免地会反映人的特定立场、观点、价值和利益，因此，由文本内容分析，可以推断文本提供者的意图和目的，从而对文本进行分类。

近年来随着深度学习和各种神经网络模型的发展，基于神经网络的文本分类方法在信息检索、电子商务、新闻门户等众多领域得到广泛应用，以有效帮助用户从海量的文本资源中发掘出用户所关注的有用的特定信息。例如，基于神经网络对文本中多类别且互斥的商品进行分类。神经网络例如，卷积神经网络、循环神经网络。

然而，在文本多类别且独立不互斥的场景下，采用现有的基于神经网络的文本分类方法进行文本分析得到的分类结果并不准确。

发明内容

本发明要解决的技术问题在于，针对现有技术分类精度不准确的情况，提供一种序列数据自动分类的方法及系统。

本发明解决其技术问题所采用的技术方案是：构造一种文本数据自动分类的方法，包括以下步骤：

S1、将原始的文本数据输入到Word2Vec工具中，训练得到文本数据对应的词向量；其中，词向量中包括了若干个子向量，每个子向量对应的是文本数据中单独的单词；

S2、将原始的文本数据输入到用于自动分类的深度神经网络模型中，结合步骤S1训练得到文本数据对应的词向量，实现对文本数据的自动分类。

2、根据权利要求1所述的自动分类方法，其特征在于，所述用于自动分类的深度神经网络模型包括四个层次，分别为输入层、词嵌入层、隐含层和输出层，其中，利用所述深度神经网络模型的四个层次，实现文本数据的自动分类的步骤包括：

S21、输入层在接收到文本数据W后，将其输入到嵌入层；

S22、在嵌入层中，结合步骤S1训练得到的文本数据对应的词向量，将输入的文本数据W转换为文本向量X，并将所述文本向量X作为隐含层的输入；

S23、隐含层利用双向长短时记忆网络，提取出文本向量X的文本特征H_t，并将其输入到输出层；

S24、输出层使用Softmax回归算法对文本特征H_t进行处理，从而得到最终的文本分类结果。

进一步的，步骤S21中，嵌入层在接收到文本数据W时，首先，通过文本分词算法，将读取到的文本数据W转换为n个独立的单词，其中，每个单词记为w_i，i＝1,2,…,n；其次，在将文本数据W转换为文本向量X时，首先，需在词向量中，获取w_i所对应的词向量x_i；最后，将每个单词的词向量进行合并，进而得到文本向量X，其中，X＝(x₁,x₂,…x_n)。

进一步的，隐含层采用的双向长短时记忆网络由包含相同节点数量的前向LSTM网络和后向LSTM网络构成；当隐含层在接收到文本向量X后，将向量X的各个特征向量x_i作为前向LSTM网络中各个节点的输入，对应的所述前向LSTM网络的各个节点的输出，则分别作为后向LSTM网络对应节点的输入；