[发明专利]一种数据批量导入方法及其系统

说明书

本发明涉及数据发布技术领域，公开了一种数据批量导入方法及其系统，其中方法包括：在数据库中设定关键词模板；获取内含关键词的目标数据；根据关键词校验目标数据；校验成功则将目标数据导入到数据库；校验不成功，标记目标数据为待审核状态，并推送至人工管理后台；人工管理后台对目标数据进行人工审核，若审核成功，则将目标数据导入到数据库，若审核不成功，则删除目标数据；设置关键词模板提高获取目标数据的准确性，然后校验，若校验通过则可以导入数据库，若校验不通过则采用人工审核的方式来删除，自动校验能够自动的处理通过大量的目标数据，少部分的目标数据才需要人工审核，大大加快了导入目标数据的速度与有效率。

技术领域

本发明涉及数据发布技术领域，更具体地说，它涉及一种数据批量导入方法及其系统。

背景技术

在互联网产品交易平台上，用户需要知道网络上该产品的价格波动，以及业内的行情，不同的供应商提供的产品价格与行情之间存在着差异，因此，互联网产品交易平台的后台会通过网络爬虫从而多个不同供应商的产品网站，抓取与该产品有关的产品价格与行情数据，然后再根据抓取的数据分析出该产品的参考产品价格与行情。

但是随着互联网上数据的不断增加，网络爬虫抓取的数据数量也越来越大，在数据数量少时，使用人工手动向数据库中录入数据还能够而接受，而当数据数量增加到人工手动录入数据的速度赶不上数据更新的速度时，不能再采用人工手动录入数据的方法，而需要一种数据批量导入的方法。

发明内容

本发明技术方案所解决的技术问题为，数据数量增加到人工手动录入数据的速度赶不上数据更新的速度时，数据录入需要一种数据批量导入的方法。

为实现上述目的，本发明技术方案提供了一种数据批量导入方法，包括如下步骤：

在数据库中设定关键词模板；

获取内含所述关键词的目标数据；

根据所述目标数据中的所述关键词对所述目标数据进行校验，其中，校验规则为获取的所述目标数据与所述数据库中的所述目标数据的环比值低于设定环比，或者，校验规则为获取的所述目标数据与所述数据库中的所述目标数据的同比值低于设定同比，或者，校验规则为获取的所述目标数据与所述数据库中的所述目标数据的涨跌幅值未超出设定涨跌幅；

若校验成功则将所述目标数据导入到数据库，并将所述目标数据中的所述关键词顺序与所述关键词模板中的所述关键词顺序一致排序；

若校验不成功，则所述目标数据标记为待审核状态，并推送至人工管理后台；

人工管理后台对标记为待审核状态的所述目标数据进行人工审核，若审核成功，则将所述目标数据导入到所述数据库，若审核不成功，则删除所述目标数据。

通过上述技术方案，设置关键词模板提高获取目标数据的准确性，然后校验目标数据中的关键词，若校验通过则可以导入数据库，若校验不通过则采用人工审核的方式来删除，多条成批量处理的目标数据中能校验通过的目标数据数量占据了大部分，因此自动校验能够自动的处理通过大量的目标数据，少部分的目标数据才需要人工审核，大大加快了导入目标数据的速度与效率。

进一步的，所述关键词包括数据名称、数据类型以及数据来源。

通过上述技术方案，采用数据名称作为关键词能够对目标数据进行初次的识别，数据类型则能提高目标数据的校验准确率，数据来源则能方便人工审核目标数据的可靠性。

进一步的，所述获取内含所述关键词的目标数据，还包括：

选择导入的数据端口；

从所述数据端口中确定导入的数据列表，所述数据列表中具有多条所述目标数据；

显示所述数据列表中所述目标数据是否成功导入的结果。