[发明专利]一种基于词汇关键度的网络论坛正文提取方法、装置有效
| 申请号： | 201710601539.6 | 申请日： | 2017-07-21 |
| 公开（公告）号： | CN107403002B | 公开（公告）日： | 2020-01-31 |
| 发明（设计）人： | 王红;刘锐 | 申请（专利权）人： | 山东师范大学 |
| 主分类号： | G06F16/957 | 分类号： | G06F16/957 |
| 代理公司： | 37221 济南圣达知识产权代理有限公司 | 代理人： | 张勇 |
| 地址： | 250014 *** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种面向论坛主题帖的正文筛选方法，该方法涉及数据挖掘领域，是为解决从论坛主题帖中提取正文而提出的。本算法的实现方法是从网页总体中抽取部分样本，利用去除显著的非正文部分，对剩余内容进行分词，用TF‑IDF方法评价所有词汇的关键度，定位关键度最高的若干词汇所在位置，记录出现最频繁的位置，利用该位置信息对数据集中剩余的主题帖页面进行正文提取。经实验验证，本方法具有较高的准确度和执行效率。 | ||
| 搜索关键词： | 一种 基于 词汇 关键 网络 论坛 正文 提取 方法 装置 | ||
【主权项】：
1.一种基于词汇关键度的网络论坛正文提取方法，其特征在于，包括：抽取数据集中部分主题帖页面样本，去除非正文部分，对剩余内容进行分词，计算所有词汇的关键度，定位关键度最高的部分词汇所在位置，引导提取数据集中剩余主题帖页面的正文，若正文内容正确则输出正文，若不正确，则从抽取数据集中部分主题帖页面样本开始重新处理；/n所述去除非正文部分包括：/n去除主题帖页面中显著的非正文内容；根据停用词库排除主题帖页面中无关内容；根据相似规则去除主题帖页面中不应被包含在正文中的内容。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东师范大学，未经山东师范大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710601539.6/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于人工智能设计的计算机管理装置
- 下一篇：一种分布式副本文件仲裁方法
