[发明专利]新闻正文噪音去除方法及系统

说明书

本发明提供新闻正文噪音去除方法及装置。该方法包括：获取预设时长内、来自同一新闻来源的多个新闻正文样本；从所述多个新闻正文样本中选出N个新闻正文样本；从所述N个新闻正文样本中查找噪声段落作为噪音样本，放入噪音集合；所述噪声段落包括：n个新闻正文样本中存在的相同段落，n大于等于3；使用噪音集合中的噪声样本，对目标新闻正文进行噪音去除处理；所述目标新闻正文为来自所述新闻来源的待去噪新闻正文。在本发明提供的方案中，是将预设时长内、同一新闻来源的n个新闻正文样本中的相同段落作为噪声样本，并使用噪声样本进行噪音去除处理。在此过程中，不再需要手工配置xpath，提高了噪音去除效率。

技术领域

本发明涉及自然语言处理技术领域，特别是涉及新闻正文噪音去除方法及系统。

背景技术

门户网站会从具有合作关系的网站及公共帐号处搜集新闻，抽取新闻正文显示给用户。而在新闻正文中，可能会存在与新闻主题无关的链接、广告信息等噪音需要进行去除。

在实际中，每个网站或者公共帐号的噪音的位置和规则都不相同，这就需要每个网站或者公共帐号的运营人员手工配置xpath(xpath即XML路径语言，是一种用来确定XML文档中某部分位置的语言)。

因此，现有的噪音去除方式存在费时费力、效率低下的问题。

发明内容

本发明的目的在于提供新闻正文噪音去除方法及系统，以解决上述问题。

为实现上述目的，本发明提供了如下方案：

一方面，本申请的实施例提供一种新闻正文噪音去除方法，包括：

获取预设时长内、来自同一新闻来源的多个新闻正文样本；

从所述多个新闻正文样本中选出N个新闻正文样本；

从所述N个新闻正文样本中查找噪声段落，将所述噪声段落作为噪音样本放入噪音集合；所述噪声段落包括：n个新闻正文样本中存在的相同段落，n为小于N大于等于3的正整数，其中N为所述多个新闻正文样本的数量；

使用所述噪音集合中的噪声样本，对目标新闻正文进行噪音去除处理，得到去除噪音的新闻正文；所述目标新闻正文为来自所述新闻来源的待去噪新闻正文。

另一方面，本发明实施例提供了一种新闻正文噪音去除系统，包括：

新闻正文样本选取模块，用于获取预设时长内、来自同一新闻来源的多个新闻正文样本，并从所述多个新闻正文样本中选出N个新闻正文样本；

噪声集合更新模块，用于从所述N个新闻正文样本中查找噪声段落，将所述噪声段落作为噪音样本放入噪音集合；所述噪声段落包括：n个新闻正文样本中存在的相同段落，n为小于N大于等于3的正整数，其中N为所述多个新闻正文样本的数量；

去噪模块，用于使用所述噪音集合中的噪声样本，对目标新闻正文进行噪音去除处理，得到去除噪音的新闻正文；所述目标新闻正文为来自所述新闻来源的待去噪新闻正文。

在本发明提供的方案中，是将预设时长内、同一新闻来源的n个新闻正文样本中的相同段落作为噪声样本，并使用噪声样本对待去噪新闻正文进行噪音去除处理。在此过程中，不再需要手工配置xpath，提高了噪音去除效率，节省了时间和人力。

附图说明

图1a和图1b为本发明实施例提供的新闻正文噪音去除系统示例性结构图；

图2a、图2b、图3-5为本发明实施例提供的新闻正文噪音去除方法示例性流程图。

具体实施方式

为了方便理解本发明实施例，首先在此介绍本发明实施例描述中会引入的几个术语：