[发明专利]一种企业名片更新方法及装置

说明书

本申请涉及数据处理技术领域，特别涉及一种企业名片更新方法及装置。该方法包括：收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据；将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据；将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

技术领域

本申请涉及数据处理技术领域，特别涉及一种企业名片更新方法及装置。

背景技术

随着经济的日益发展，每天都会新增很多企业，同时，国家税务总局大力推行电子发票，企业开票系统中的企业开票信息需要实时进行更新和补充，以保证用户开票时可以准确找到需要的企业信息。传统的数据更新方式是开票系统的维护人员定期获取工商数据，通过和本地数据库中的数据进行比对，通过时间的远近进行筛选，再对数据进行更新和补充。由于数据变更速度快、数量大，传统的更新方式非常低效，浪费大量人员成本。

相关技术中，往往都是通过网络爬虫等技术从互联网获取企业新数据，借助关系数据库或非关系数据库实现数据的比对，通过获取时间判断新老数据，完成本地数据的更新。比对分析大都是使用SQL语句进行实现，这种方式响应较慢且并发低，对于大批量的更新数据，无法完成快速更新。因此，亟需一种简单、高效的企业名片更新系统来帮助系统维护人员完成企业名片更新任务。

发明内容

本申请提供了一种企业名片更新方法及装置，用以解决现有技术中存在的无法快速高效地对大批量企业数据进行并发更新的问题。

第一方面，本申请提供了一种企业名片更新方法，所述方法包括：

收集用户通过开票系统上传的目标企业的开票信息，其中，所述开票信息包括所述目标企业的名片数据；

将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据；

将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据。

可选地，收集用户通过开票系统上传的目标企业的开票信息的步骤包括：

基于Mysql数据库对用户通过开票系统上传的目标企业的开票信息进行收集，其中，当用户通过开票系统对目标企业进行开票时，若没有查找到目标企业的开票信息，或者，查找到的目标企业的开票信息错误时，用户通过开票系统上传目标企业的开票信息。

可选地，将所述开票信息发送至分布式数据仓库中，并对所述开票信息进行预处理，得到所述目标企业的第一名片数据的步骤包括：

基于数据传输工具Sqoop将用户上传到Mysql数据库中的目标企业的开票信息发送至分布式数据仓库Hive中；

基于数据计算组件Spark，采用预设分类规则对所述目标企业的开票信息中的所有字段进行分类处理，输出规则的第一名片数据，其中，一个字段为一类企业名片信息。

可选地，将所述第一名片数据与所述分布式数据仓库中存储的所述第二名片数据进行合并更新处理，得到所述目标企业最新的名片数据的步骤包括：

基于分布式计算组件Spark，采用MapReduce的方式对所述第一名片数据和所述第二名片数据进行比对；

针对所述第一名片数据和所述第二名片数据均包括的字段，将时间戳最近的字段作为所述目标企业的名片数据；

针对仅所述第一名片数据/所述第二名片数据包括的字段，将该一段作为所述目标企业的名片数据。

可选地，所述方法还包括：