[发明专利]基于实例获取的非平衡交互文本的话题识别方法

说明书

技术领域

本发明涉及一种用于信息检索、抽取与管理的自然语言处理技术，特别是面向一种互联网交互式文本话题的识别方法。

背景技术

随着互联网信息技术的飞速发展，基于交互式文本的网络应用不断涌现，如直播课堂、网络答疑聊天室、社群讨论等典型的交互文本应用场景。这些真实场景产生的交互文本一般呈现着话题类别分布非平衡的性质，分类器在训练模型时常忽略少数类，使得少数类话题的识别精度普遍偏低。针对非平衡交互文本，如何克服其非平衡性，提高少数类话题的识别精度是一个重要的工作。申请人经过查新，未检索到与本发明相关的专利文献。

发明内容

本发明的目的是提供一种解决交互文本的非平衡性问题、可提高少数类话题识别精度的互联网话题识别方法。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种基于实例获取的非平衡交互文本的话题识别方法，包括如下步骤：

1、一种基于实例获取的非平衡交互文本的话题识别方法，其特征在于：包括如下步骤：

第一步：从源数据集中筛选实例阶段：

(1)确定共有特征集中代表实例的特征集，即从源数据集Dset_Source和目标数据集Dset_Target的共有特征集中选择代表实例并且倾向于少数类的特征集，具体算法为：

Stepl：按照label空间所有类别计算F_Source和F_Target各特征的信息增益值InformationGain，并将计算结果分别按降序排列各数据集特征，排序后的特征集如下：

F_Source={f_Source(1)，f_Source(2)，…，f_Source(i)，…，f_Source(R₁)}，1≤i≤R₁

F_Target={f_Target(1)，f_Target(2)，…，f_Target(j)，…，f_Target(R₂)}，1≤j≤R₂

其中，f_Source(i)是F_Source中排序为第i个位置的特征，f_Target(j)是F_Target中排序为第j个位置的特征，R₁为F_Source中特征的总个数，R₂为F_Target中特征的总个数。各特征是特征词词典中的词，特征值为在类标签空间label下，采用TF-IDF算法获得的各特征值；

Step2：若F=F_Source∩F_Target=φ成立，则，所提算法终止，实例获取失败；否则，有F(l)∈F，其中，F(l)为共有特征集F中第l个特征，1≤l≤M，M≤min{R₁，R₂}，且定义有M个元素的数组TopN_IGratio，同时，设TopN_IGratio(m)表示数组TopN_IGratio的第m个元素中存储的值；

Step3：确定共有特征F(m)在F_Source中的位置n_Source，形成特征与位置对(n_Source，F(l))，并按照n_source的值升序排列所有特征与位置对，并记最大的位置n_source为MAX_n_source；确定共有特征F(m)在F_Target中的位置n_Target，形成特征与位置对(n_Target，F(l))，并按照n_Target的值升序排列所有特征与位置对，并记最大的位置n_Target为MAX_n_Target；将升序排序后的特征与位置对(n_source，F(l))放入新生产的二维数组Loeation中，且Location(m,col)表示Location中第m行第col列的元素，且1≤m≤M≤R₁col={1，2}；If MAX_n_Target>Max_n_source则，令Location(M,1)=MAX_n_Target，令m=1

Step4：N=Location(m,2)，N≤R₁；