[发明专利]一种基于词袋模型的文本表示的处理方法有效
| 申请号： | 201710569638.0 | 申请日： | 2017-07-14 |
| 公开（公告）号： | CN107357895B | 公开（公告）日： | 2020-05-19 |
| 发明（设计）人： | 姚念民;牛世雄 | 申请（专利权）人： | 大连理工大学 |
| 主分类号： | G06F16/35 | 分类号： | G06F16/35;G06F40/284;G06N3/02 |
| 代理公司： | 大连理工大学专利中心 21200 | 代理人： | 梅洪玉 |
| 地址： | 116024 辽*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于计算机应用领域，公开了一种基于词袋模型的文本表示的处理方法，本方法对采集到的文本数据集进行分词，去停顿词，去低频词，特征选择等处理过程；然后运用空间向量模型表示处理后的文本；同时对处理后的文本运用神经网络的方法训练词向量；根据词向量的相似性修改词袋模型的特征词的权重，得到新的文本表示模型。用以处理文本表示问题，提高了分类的准确性。 | ||
| 搜索关键词： | 一种 基于 模型 文本 表示 处理 方法 | ||
【主权项】：
一种基于词袋模型的文本表示的处理方法，其特征在于，包括如下步骤：第一步，预处理；对文本数据集进行分词、去停顿词、去低频词，再进行特征词选择；第二步，经预处理后的文本数据集，运用词袋模型表示；所述的词袋模型是以TFIDF为权重的文本表示模型；第三步，经预处理后的文本数据集，运用神经网络自然语言处理模型训练得到词向量；第四步，根据第三步得到的词向量的相似性修改第二步得到的词袋模型的特征词的权重，得到新的文本表示模型；具体修改方式为：对于第二步得到的TFIDF为权重的文本表示模型，其对应的特征权重矩阵的某一行中的某个特征词t，若它的特征权重Wt为零，则特征权重Wt用特征词t的相近词t1，t2，t3，...，tn的权重Wt1，Wt2，Wt3，...，Wtn来近似表示Wt,，相似词的数量n通过控制特征词的相似性阈值m的大小来控制。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于大连理工大学，未经大连理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710569638.0/，转载请声明来源钻瓜专利网。
