[发明专利]一种基于资讯内容提取的数据加工方法、系统

权利要求书

1.一种基于资讯内容提取的数据加工方法，其特征在于，包括如下步骤：

抓取资讯内容到一临时数据库，

在所述临时数据库中根据设置的抓取属性抓取资讯内容，建立资讯内容池，

在所述资讯内容池中计算资讯热度，并按照热度等级编辑资讯内容，

将待编辑的资讯内容分派为不同类型的资讯内容维护任务，储放至业务数据库完成数据加工处理。

2.根据权利要求1所述的数据加工方法，其特征在于，所述抓取属性包括：资讯栏目分类、资讯浏览量、资讯评论数以及资讯转载量中的一种或者多种。

3.根据权利要求1所述的数据加工方法，其特征在于，在所述资讯内容池中计算资讯热度的方法具体包括：

对所述资讯内容池中的资讯进行排重筛选，得到重复资讯和核心资讯，

建立所述核心资讯和所述重复资讯的ID映射，

根据所述核心资讯统计出资讯的去重统计转载量和/或去重浏览量，

根据所述去重统计转载量和/或去重浏览量以及转载量计算出资讯热度，并将所述资讯热度分别按照：不同主题/类同主题，不同内容/重复转载内容的方式进行分类。

4.根据权利要求1所述的数据加工方法，其特征在于，还包括如下步骤：若所述资讯内容不需要编辑，则进入人工审核工作台，同时接受所述一根据重复资讯内容关联处理后得到的记录ID映射表。

5.根据权利要求1所述的数据加工方法，其特征在于，所述不同类型的资讯内容维护任务进一步包括：相关人物资讯、发布机构资讯、相关机构资讯、相关概念、相关行业、相关个股、资讯分类以及关键词。

6.根据权利要求5所述的数据加工方法，其特征在于，还包括：若没有所述相关概念若，则进行新增，若有，则进行引用。

7.根据权利要求5所述的数据加工方法，其特征在于，还包括：对所述相关个股，进行个股投资要点标识处理。

8.根据权利要求1所述的数据加工方法，其特征在于，所述资讯内容包括：资讯类、公告类或者研报类。

9.根据权利要求8所述的数据加工方法，其特征在于，所述资讯类编辑预处理规则至少包括：对标题、正文进行分类、分词、标签预处理；

所述正文加工预处理至少包括：公告类编辑预处理规则包括对标题进行分类，标签预处理，摘要预处理；

所述研报类编辑预处理规则至少包括:对标题进行分类；

通过上述预处理后的资讯类数据、公告类数据、研报类数据，提交到业务数据库。

10.一种基于资讯内容提取的数据加工系统，其特征在于，包括：资讯采集单元、热度计算单元、分类加工单元，

所述资讯采集单元，用以抓取资讯内容到一临时数据库，以及在所述临时数据库中根据设置的抓取属性抓取资讯内容，建立资讯内容池，

所述热度计算单元，用以在所述资讯内容池中计算资讯热度，并按照热度等级编辑资讯内容，

所述分类加工单元，用以将待编辑的资讯内容分派为不同类型的资讯内容维护任务，储放至业务数据库完成数据加工处理。