[发明专利]一种基于自适应噪音降噪编码器的跨领域文本分类方法

摘要

本发明公开了一种基于自适应噪音降噪编码器的跨领域文本分类方法，其特征是：采用适用于跨领域任务的特征选择方法，过滤在源领域数据集合和目标领域数据集合中的样本中出现频率较低和无意义的特征词，并跟据源领域集合和目标领域集合中的样本之间的分布差异自适应地计算出较优噪音干扰系数，利用较优噪音干扰系数对特征空间进行干扰，采用堆叠边缘降噪编码器方法构建新的特征空间并构建分类器。本发明能更好地挖掘领域间潜在特征之间的关系，减小领域差异，从而能够提高分类的正确性。

主权项

1.一种基于自适应噪音降噪编码器的跨领域文本分类方法，其特征是按如下步骤进行：步骤1：统计源领域和目标领域的特征词及其出现频率分别获取目标领域数据集合DT，以及带有标签信息的源领域数据集合DS，t_i为目标领域数据集合DT中的第i个样本，n_t为目标领域数据集合DT中的样本个数，表示所述目标领域数据集合DT中第i个样本t_i中的第a个特征词，a＝1,2,…,nw_t，nw_t为目标领域数据集合DT中样本的特征词个数；s_j为源领域数据集合DS中的第j个样本，n_s为源领域数据集合DS中的样本个数，表示所述源领域数据集合DS中第j个样本s_j中的第b个特征词，b＝1,2,…,nw_s，nw_s为源领域数据集合DT中样本的特征词个数；y_j为源领域数据集合DS中第j个样本s_j的标签，且c_d表示所述源领域数据集合DS中样本的第d个类别，d＝1,2,…,n_c，n_c表示所述源领域数据集合DS中样本类别个数；对所述源领域数据集合DS和目标领域数据集合DT中样本的特征词作并集操作，得到特征空间Z，z_e为特征空间Z中的第e个特征词，e＝1,2,…,n_e，n_e为特征空间Z中特征词个数；统计所述特征空间Z中每个特征词在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率，分别记为F_s和F_t，和分别表示所述特征空间中的第e个特征词z_e在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率。步骤2：过滤低频率和无意义的特征词从所述特征空间Z中选取在所述源领域数据集合DS和目标领域数据集合DT样本中出现次数都大于设定次数α的特征词，组成候选特征集CW,w_g为候选特征集CW中第g个特征词，g＝1,2,…,n_cw，n_cw为候选特征集CW中的特征词个数；由式(1)计算获得候选特征集CW中每个特征词wg的强化权重似然比WLLU(wg,cd)；由式(2)计算获得每个特征词wg的频率综合指标r(wg,cd)；和分别表示候选特征集CW中特征词w_g在类别y_g＝c_d和y_g≠c_d条件下出现的概率，y_g为特征词w_g所属类别；和分别表示所述候选特征集CW中的第g个特征词w_g在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率；对所述候选特征集CW中所有特征词根据频率综合指标r(w_g,c_d)进行降序排序，选取前若干个特征词构成共享特征词集IW，v_k为共享特征集IW中第k个特征词，k＝1,2,…,n_iw，n_iw为共享特征集IW中的特征词个数，以所述共享特征词集IW作为参与领域适应任务的特征空间。步骤3：自适应地计算较优噪音干扰系数将所述共享特征集IW中第k个特征词v_k的中间特征映射空间记为和分别表示所述共享特征集IW中第k个特征词v_k在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率；利用式(3)计算获得所述共享特征集IW中每个特征v_k到中间特征映射空间的KL距离KLD，利用式(4)计算获得较优噪音干扰系数noises：步骤4：获取新的特征空间并构建分类器将所述源领域数据集合DS和目标领域数据集合DT中的样本进行合并，得到合并集合X，以X为初始输入，利用堆叠L层边缘降噪自动编码方法学习获得新的特征空间；步骤5：基于所获得的新的特征空间，通过对源领域数据集合DS中样本进行训练获得分类器，利用所获得的分类器对目标领域数据集合DT中的样本进行分类预测。