[发明专利]网络信息数据的处理方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种网络信息数据的处理方法和装置。

背景技术

随着信息化进程不断加快，诸如微博类媒体的迅猛发展，网络用户的阅读需求越来越高，网上的信息成几何级数增长。人们迫切需要一个内容聚合平台，能让他们看到更新、更好、更有针对性的信息。

例如，目前有许多电子杂志，都是对各类网络信息例如微博、RSS等进行聚合，聚合方式多种多样。例如通过API接口采集数据、将数据分类到不同的频道等。

大多数电子杂志类客户端、网站在聚合和筛选两个方面都不完善。例如，在聚合阶段，根据内容的某个维度聚合（如作者），这样聚合出的内容往往不能保证内容的一致性（比如一个作者可能会同时发布不同类型的内容）。又例如，在筛选阶段，使用内容的评论数，转发数，发表日期作为评判内容质量的标准。这样做有时并不会筛选出优质的内容。另外，如果聚合阶段和筛选阶段的问题同时发生，最终的结果产生的误差可能更大。这样，有效利用有限的带宽资源使用户高效地获取其需要的信息成为业界亟需解决的问题。

发明内容

本发明实施例提供一种网络信息数据的处理方法和装置，以改善用户体验。

其中，本发明实施例提供一种网络信息数据的处理方法，其中，被处理的每条信息数据包括关于该信息相关内容的一项或多项信息项目，该方法包括：针对各预定分类采集多条初始信息数据，从初始信息数据中获取分别与每个预定分类相对应的一项或多项信息项目作为用于将待分类信息数据进行分类的分类项目，并获取对应于分类项目的一个或多个关键词作为将待分类信息数据归类到相应的预定分类中的依据；采集待分类信息数据；将分类项目中包含与分类项目对应的关键词的待分类信息数据归类到相应的预定分类中；按照预定分类发布信息数据。在一个实施例中，从初始信息数据中获取分类项目及关键词的步骤包括：从初始信息数据中筛选符合预定分类的信息数据；针对各预定分类的初始信息数据的每个信息项目应用分词技术获取多个词组；在每个信息项目中分别统计该多个词组在初始信息数据中的出现频率；根据统计结果选取分类项目及关键词。

在一个实施例中，根据统计结果选取分类项目及关键词的步骤包括：在每个信息项目中计算所有词组出现频率的中位数；选取预定数量的出现频率高于中位数的词组作为关键词，并选取包含出现频率高于中位数的词组的一项或多项信息项目为分类项目。

在一个实施例中，根据统计结果选取分类项目获取关键词的步骤包括：计算每个信息项目中多个词组中每一个词组的出现频率与该信息项目中所拆分出的全部词组的数目的比值；将多个信息项目中的全部词组按照比值排序；选取比值排序位于前预定数目的词组对应的一项或多项信息项目为分类项目，选取该一个或多个词组作为关键词。

在一个实施例中，被处理的每条信息数据包括反映信息数据的发布及状态的一个或多个信息参数，网络信息数据处理方法还包括：根据预定分类中各项信息参数的预定权重对各预定分类中的每条信息数据进行排序。

在一个实施例中，根据预定分类中各项信息参数的预定权重对各预定分类中的每条信息数据进行排序的步骤包括：根据文本内容、评论、转发、图片和发布时间中的一个或多个的预定权重为各预定分类中的信息数据评分；根据评分对数据进行排序。

在一个实施例中，网络信息数据处理方法还包括过滤掉排序后的数据中重复的数据的步骤，该步骤包括：提取数据中的图片；将图片转换为直方图，并计算每两张直方图的相似系数；若该相似系数大于预定阈值，则删除两张直方图对应的两条信息数据中排序靠后的信息数据。

本发明实施例还提供一种网络信息数据的处理装置，其中，被网络信息数据处理装置处理的每条信息数据包括关于该信息相关内容的一项或多项信息项目包括：该网络信息数据处理装置包括：分类项目及关键词获取模块，用于针对各预定分类采集多条初始信息数据，从初始信息数据中获取分别与每个预定分类相对应的一项或多项信息项目作为用于将待分类信息数据进行分类的分类项目，并获取对应于分类项目的一个或多个关键词作为将待分类信息数据归类到相应的预定分类中的依据；采集模块，用于待分类信息数据；分类模块，用于将分类项目中包含与分类项目对应的关键词的待分类信息数据归类到相应的预定分类中；发布模块，按照预定分类发布信息数据。