[发明专利]一种基于科技资源大数据的采集方法

摘要

本发明提出一种基于科技资源大数据的采集方法，在合理的硬件支持下完成大数据的采集，提高系统的数据兼容性和更新能力，以便于后期的数据存储和处理。本发明数据包设定格式主要基于json数组，通过维护操作区中的状态信息(“新增”、“修改”或“删除”)，能够实时更新数据区和流数据区的操作对象；充分考虑了科技资源数据源的权限安全，设置了多重校验，不仅对身份合法进行校验，还对时间合法甚至地点合法进行校验。对于具有一定数据开发能力的数据源主体(高校、科研院所以及部分企业等)，只需提供相应的API接口，即可按照本发明基于HTTP协议实现API采集，信息传输实时性高，状态实时更新，且对硬件配置要求不高。

主权项

一种基于科技资源大数据的采集方法，其特征在于，包括以下步骤：1)基于HTTP协议接收数据包；2)解析数据包：2.1)格式校验：检验所接收到的数据包是否满足设定格式，所述设定格式包括校验区和数据集合，其中数据集合主要由操作区以及数据区和/或流数据区组成，操作区用于存放状态信息，数据区、流数据区用于存放操作对象及身份信息；若操作对象属于业务数据，则操作对象及身份信息以json数据格式存入数据区；若操作对象为文档、图片和/或视频，则操作对象及身份信息存入流数据区；所述操作对象的更新通过改变操作区中的状态信息来实现；如果满足设定格式，则进行步骤2.2)，否则拒绝接收该数据包；2.2)安全校验：2.2.1)从数据包中的校验区提取校验信息，所述校验信息包含身份信息；2.2.2)将校验信息与系统的用户库中预先录入的用户信息进行比对：若校验信息与用户信息一致，执行步骤2.3)，否则拒绝接收该数据包；2.3)采集2.3.1)业务校验及业务数据采集从数据区中提取业务数据，并与系统的业务模型库中模型数据进行比对，若一致，则完成API采集过程，存入系统；否则拒绝接收该数据包；和/或2.3.2)流数据采集从流数据区中提取文档、图片和/或视频，完成API采集过程，存入系统。