[发明专利]一种文本标签标注设备、方法和计算设备

说明书

本发明公开了一种文本标签标注设备，用于对文本标签进行标注，所述设备包括：输入模块，适于接收文本输入，并将该文本转换输出为向量矩阵；卷积神经网络模块，与输入模块连接，适于根据向量矩阵输出文本的局部语义特征；循环神经网络模块，与输入模块连接，适于根据向量矩阵输出文本的长距离语义特征；注意力模型模块，与卷积神经网络模块和循环神经网络模块连接，适于根据局部语义特征和长距离语义特征输出文本中各单字的权重；以及输出模块，与注意力模型模块连接，适于接收文本中各单字的权重输出文本标签及各标签的概率。本发明还公开了该文本标签标注设备的训练方法，以及相应的文本标签标注方法和计算设备。

技术领域

本发明涉及文本数据分析领域，尤其涉及一种文本标签标注设备及训练方法、文本标签标注方法和计算设备。

背景技术

随着计算机和互联网技术的发展，中小学教育，乃至大学教育中的练习和考试题目均实现了电子化存储，并可上传到网络上供学生使用。随着时间的推移，题目的数量会越来越大。由于每个题目都会涉及特定知识点且具有特定难度，要从海量的题目中找到涵盖某些知识点并具有特定单独的题目，将变得非常不易。目前常用的解决方式是：由老师和教辅人员手动对题目进行标注，以指定该题目对应哪些知识点。然而此种方式增加了老师工作强度，非常费时费力且效率过低。

因此，需要一种人工智能标注技术来对题目标签进行自动标注。

发明内容

鉴于上述问题，本发明提出了一种文本标签标注设备及训练方法、文本标签标注方法和计算设备，以力图解决或者至少解决上面存在的问题。

根据本发明的一个方面，提供一种文本标签标注设备，用于对文本标签进行标注，设备包括：输入模块，适于接收文本输入，并将该文本转换输出为向量矩阵；卷积神经网络模块，与输入模块连接，适于根据所述向量矩阵输出文本的局部语义特征；循环神经网络模块，与输入模块连接，适于根据所述向量矩阵输出文本的长距离语义特征；注意力模型模块，与卷积神经网络模块和循环神经网络模块连接，适于根据局部语义特征和长距离语义特征输出文本中各单字的权重；以及输出模块，与注意力模型模块连接，适于接收所述文本中各单字的权重输出文本标签及各标签的概率。

可选地，在根据本发明的文本标签标注设备中，卷积神经网络模块包括：第一输入层，适于接收输入模块所输出的向量矩阵；多个卷积层，分别与第一输入层并行连接，适于对该向量矩阵进行卷积操作，得到多个特征向量；第一池化层，与多个卷积层连接，适于对多个特征向量进行池化操作，并输出池化结果；以及第一全连接层，与第一池化层连接，适于对池化结果进行降维操作，得到卷积神经网络模块的输出，该输出代表文本的局部语义特征。

可选地，在根据本发明的文本标签标注设备中，多个卷积层适于同时对该向量矩阵进行卷积操作，每个卷积层得到一个特征向量，每个特征向量包含的数值类型为浮点小数；第一池化层适于分别提取每个特征向量中的最大浮点小数，组成一个多维向量。

可选地，在根据本发明的文本标签标注设备中，卷积神经网络模块的输入维度为w*h，h为输入文本矩阵的高度，w为输入文本矩阵的宽度，输出维度为200；卷积神经网络模块包括3种不同卷积核尺寸的卷积层，其中第一至第三卷积层的卷积核大小分别为3*h、4*h和5*h，且每种卷积层均包含256个特征图；第一池化层的输出向量维度为768，第一全连接层的权重参数维度为768*200，输出向量维度为200。

可选地，在根据本发明的文本标签标注设备中，循环神经网络模块包括：第二输入层，适于接收输入模块所输出的向量矩阵；隐藏层，与第二输入层连接，适于将文本中每个单字的词向量表示为该词向量与前向后向上下文向量连接起来的新形式向量；第二池化层，与隐藏层连接，适于对所有单字的新形式向量进行池化操作，并输出池化结果；以及第二全连接层，与第二池化层连接，适于对池化结果进行降维操作，得到循环神经网络模块的输出，该输出代表文本的长距离语义特征。