[发明专利]一种数据筛选的方法

权利要求书

1.一种数据筛选的方法，其特征在于，包括：

从第一数据项的第一内容中筛选多个第一关键词，所述第一数据项为多个数据项中的一个；

将筛选的第一关键词与所述多个数据项的第一内容逐个进行首次匹配，根据匹配结果将所述多个数据项分成匹配程度高和低的两部分；

从第一数据项的第二内容中筛选多个第二关键词，将筛选的第二关键词与所述匹配程度低的数据项的第二内容逐个进行匹配，根据匹配结果将所述匹配程度低的数据项的多个数据项分成两部分；

其中，所述第一内容的数据量小于第二内容的数据量；

将两次匹配后，各次匹配度高的多个数据项的作为一个集合，并对集合内的数据项聚类分析。

2.根据权利要求1所述的方法，其特征在于，所述首次匹配之前，还包括：

将筛选的第一关键词与所述多个数据项的第一内容进行模糊匹配，在所述多个数据项中，去除部分数据项；

采用模糊匹配后的多个数据项执行后续的步骤。

3.根据权利要求2所述的方法，其特征在于，所述多个数据项的第一内容为每个数据项的第一内容进行关键词筛选后的关键词列表的集合；

所述多个数据项的第二个内容为每个数据项的第二内容进行关键词筛选后的关键词列表的集合。

4.根据权利要求3所述的方法，其特征在于，还包括：所述数据项为舆情内容，包括：作为第一内容的标题和作为第二内容的正文。

5.根据权利要求4所述的方法，其特征在于，所述首次匹配过程中，将匹配度不小于80％的数据项作为匹配程度高的数据项，将匹配度小于80％的数据项作为匹配程度低的数据项。

6.根据权利要求5所述的方法，其特征在于，所述与所述匹配程度低的数据项的第二内容逐个进行匹配过程中，将匹配度不小于60％的数据项作为一部分，将匹配度小于60％的数据项作为另一部分。

7.根据权利要求6所述的方法，其特征在于，还包括：将所述匹配度不小于80％的数据项和匹配度不小于60％的数据项作为一个集合，进行所述聚类分析。

8.根据权利要求7所述的方法，其特征在于，所述聚类分析包括：

统计集合中的高频词汇、同时分析词汇中的事件、地区和开始时间；

还包括：统计聚类分析中数据项的数量、并记录赋予ID保存。

9.根据权利要求8所述的方法，其特征在于，重复执行数据筛选的过程，找到每个地区经过聚类分析后，数据项数量最高的事件。