[发明专利]一种数据筛选的方法

说明书

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据筛选的方法。

背景技术

随着互联网技术的飞速发展，带动了信息传播的速度，使得网络舆情信息的发展非常迅猛，不论是国内还是国际的重大事件，都能很快形成舆论信息。各种各样的新闻资讯类网站在互联网也十分活跃，有自己撰写舆情信息发表的，也有转载其他网站舆情信息的，同一事件的舆情信息在网络中被迅速传播，进而产生很大的舆论压力。为了监测网络事件的发展，迫切需要一种舆情信息转载或重复的分析方法，来统计分析某事件被网络转载或重复的次数，为网络舆情监测服务。

随着互联网技术的飞速发展，各种各样的新闻资讯类网站在互联网十分活跃，为了监测网络事件的发展，需要快速的找出当前网络中关注度最高的事件。

发明内容

本发明旨在提供一种数据筛选的方法，以解决上述找出当前网络中关注度最高的事件的效率较低的问题。

在本发明的实施例中，提供了一种数据筛选的方法，包括：从第一数据项的第一内容中筛选多个第一关键词，所述第一数据项为多个数据项中的一个；

将筛选的第一关键词与所述多个数据项的第一内容逐个进行首次匹配，根据匹配结果将所述多个数据项分成匹配程度高和低的两部分；

从第一数据项的第二内容中筛选多个第二关键词，将筛选的第二关键词与所述匹配程度低的数据项的第二内容逐个进行匹配，根据匹配结果将所述匹配程度低的数据项的多个数据项分成两部分；

其中，所述第一内容的数据量小于第二内容的数据量；

将两次匹配后，各次匹配度高的多个数据项的作为一个集合，并对集合内的数据项聚类分析。

优选地，所述首次匹配之前，还包括：将筛选的第一关键词与所述多个数据项的第一内容进行模糊匹配，在所述多个数据项中，去除部分数据项；

采用模糊匹配后的多个数据项执行后续的步骤。

优选地，所述多个数据项的第一内容为每个数据项的第一内容进行关键词筛选后的关键词列表的集合；所述多个数据项的第二个内容为每个数据项的第二内容进行关键词筛选后的关键词列表的集合。

优选地，还包括：所述数据项为舆情内容，包括：作为第一内容的标题和作为第二内容的正文。

优选地，所述首次匹配过程中，将匹配度不小于80％的数据项作为匹配程度高的数据项，将匹配度小于80％的数据项作为匹配程度低的数据项。

优选地，所述与所述匹配程度低的数据项的第二内容逐个进行匹配过程中，将匹配度不小于60％的数据项作为一部分，将匹配度小于60％的数据项作为另一部分。

优选地，还包括：将所述匹配度不小于80％的数据项和匹配度不小于60％的数据项作为一个集合，进行所述聚类分析。

优选地，所述聚类分析包括：

统计集合中的高频词汇、同时分析词汇中的事件、地区和开始时间；

还包括：统计聚类分析中数据项的数量、并记录赋予ID保存。

优选地，重复执行数据筛选的过程，找到每个地区经过聚类分析后，数据项数量最高的事件。

通过上述的过程，采用每个数据项中较小的数据量先进行分析匹配，从而找出匹配度高的可以认为是同一事件的数据项，对于匹配度低的数据项，再通过较大的数据量进行匹配分析，从而快速确定是否为同一事件的数据项。采用上述步骤，可以通过电子设备快速筛选出匹配度较高的同一事件的数据项，从而提高了定位关注度高的作为网络事件的数据项的速度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了实施例一的流程图；

图2示出了实施例二的流程图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

参见图1，本发明的实施例包括：

S11：从第一数据项的第一内容中筛选多个第一关键词，所述第一数据项为多个数据项中的一个；

S12：将筛选的第一关键词与所述多个数据项的第一内容逐个进行首次匹配，根据匹配结果将所述多个数据项分成匹配程度高和低的两部分；

S13：从第一数据项的第二内容中筛选多个第二关键词，将筛选的第二关键词与所述匹配程度低的数据项的第二内容逐个进行匹配，根据匹配结果将所述匹配程度低的数据项的多个数据项分成两部分；

其中，所述第一内容的数据量小于第二内容的数据量；