[发明专利]融合维基知识的变分半监督百度百科分类方法

说明书

本发明涉及融合维基知识的变分半监督百度百科分类方法，属于自然语言处理技术领域。本发明首先基于词嵌入和词袋模型分别获得百科摘要文本的语义特征和统计特征；然后融合两者作为变分自编码模型的输入，获得百科文本的语义表征；最后利用少量维基百科分类损失和海量无标签百度百科重构损失，构造半监督分类损失，实现了两种百科分类体系的迁移和统一。基于5千条带标记维基百科数据和20万无标记百度百科数据的实验表明，所提方法可以准确实现百度百科分类索引体系的准确建立，证明了其有效性。

技术领域

本发明涉及融合维基知识的变分半监督百度百科分类方法，属于自然语言处理技术领域。

背景技术

百科分类是在给定的分类体系中，将百科知识分到某一或某几个类别当中。维基百科和百度百科知识库的索引界定不同，百科知识库之间公共的索引体系的缺失为跨百科工作制造了困难。而建立统一的分类索引体系能够将不同语言或不同机构的百科知识统一到同一分类体系，不仅能够帮助不同语言的知识共享全球化，而且使许多在线应用程序，比如信息检索、智能问答和机器翻译，受益匪浅。维基百科的索引体系清晰全面，而百度百科的不明确，为了能够跨百科利用知识库，可以基于维基百科索引对百度百科进行分类，从而建立两种百科的公共索引体系。

针对两种百科建立公共分类体系的问题，由于监督和半监督的文本分类的人工标注成本较高，所以本发明尝试基于少量监督的维基百科数据对百度百科词条文本进行分类。借助半监督变分表征的思想，采用基于VAE半监督的对百科摘要文本进行表征，并用表征后的特征对文本进行分类。基于5千条带标记维基百科数据和20万无标记百度百科数据的实验表明，所提方法可以准确实现百度百科分类索引体系的准确建立，证明了其有效性。

发明内容

本发明提供了融合维基知识的变分半监督百度百科分类方法，采用基于VAE半监督的对百科摘要文本进行表征，并用表征后的特征对文本进行分类。

本发明的技术方案是：融合维基知识的变分半监督百度百科分类方法，包含如下步骤：

Step1、收集维基百科中文词条摘要和百度百科中文词条摘要作为实验数据集，并进行去重、去除特殊符号、标点和URL数据预处理操作；取维基百科中文词条摘要数据5000条进行人工标注类别；百度百科中文词条摘要数据全部标记为：“unlabeled”，表示还没有类别；

Step2、基于词嵌入，采用自注意力机制对百科中文词条摘要文本进行编码，对百科中文词条摘要文本进行深度语义嵌入表征获得百科中文词条摘要文本的深度语义表示；基于词袋模型对百科中文词条摘要文本进行统计表征；

Step3、构建融合深度语义特征和统计特征的VAE文本表征模型：在Step1和Step2的基础上，将百科中文词条摘要文本的深度语义表示和统计表征进行拼接，作为VAE文本表征模型的输入，以此融合丰富的深度语义信息和统计信息；其次，使用两层全连接神经网络中提取出百科中文词条摘要文本表征的均值和方差，得到融合文本表征的重构向量；

Step4、构建基于维基类别迁移的百度文本分类模型：在Step3的基础上，将融合文本表征的重构向量代替原始百科中文词条摘要文本，作为VAE文本表征模型的输入，以此引入摘要类别信息；其次，将百度百科中文词条摘要表征的类别信息视为潜在变量，对其进行后验推理得出预测分布，最后将预测分布输入softmax层，输出归一化的类别概率分布，实现百度百科在维基检索体系下的分类。

作为本发明的进一步方案，所述Step1中，维基百科中文词条摘要数据中每条数据的人工标签为：“生活、艺术与文化”、“世界各地”、“中华文化”、“人文与社会科学”、“社会”、“自然与自然科学”、“宗教与信仰”、“工程、技术与应用科学”这8种类别之一。

作为本发明的进一步方案，所述Step3中包含的分类策略直接将维基百科的类别信息作为百度百科的类别描述。