[发明专利]一种数据采集和分类存储方法及其系统

说明书

本发明涉及一种数据采集和分类存储系统及方法，包括：数据采集端采集数据并生成原始数据帧，将原始数据帧加上n‑1位的0生成第一数据帧，并将第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将余数附加在原始数据帧后面生成第二数据帧，并将第二数据帧发送给数据接收端；其中n为预设的除数的二进制位数；数据接收端接收第二数据帧，将第二数据帧以模2除法方式除以预设的除数，并判断是否有余数；若没有余数，则数据接收端判定第二数据帧完整，识别原始数据帧的数据类型，并根据其数据类型对第二数据帧进行数据加工后进行分类存储。本发明解决采集数据时，数据传输过程中数据的完整性校验问题以及如何存储采集得到的数据的问题。

技术领域

本发明涉及数据采集分类存储技术领域，具体涉及一种数据采集和分类存储方法及其系统。

背景技术

数据对比功能其实是数据完整性验证过程，数据在传输过程中可能由于网络，路径，恶意篡改等等情况导致数据完整性丢失，在做数据分析时，应当保障数据尽可能地完整真实，否则对不完整数据分析出的结果大概率是不准确的，那么在数据分析前应当先通过一些核查程序对数据情况进行完整性的验证。

发明内容

本发明的目的在于提出一种数据采集和分类存储方法及其系统，解决采集数据时，数据传输过程中数据的完整性校验问题以及如何存储采集得到的数据的问题。

为实现上述目的，本发明实施例提出一种数据采集和分类存储方法，包括如下步骤：

数据采集端采集数据并生成原始数据帧，将所述原始数据帧加上n-1位的0生成第一数据帧，并将所述第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将所述余数附加在所述原始数据帧后面生成第二数据帧，并将所述第二数据帧发送给数据接收端；其中n为所述预设的除数的二进制位数；

数据接收端接收所述第二数据帧，将所述第二数据帧以模2除法方式除以所述预设的除数，并判断是否有余数；

若没有余数，则数据接收端判定所述第二数据帧完整，对所述第二数据帧进行解析获得原始数据帧，识别原始数据帧的数据类型，并根据其数据类型对所述原始数据帧进行数据加工后进行分类存储；

若有余数，则数据接收端判定所述第二数据帧不完整，则生成数据传输错误的反馈信息，并将所述反馈信息发送给所述数据采集端。

优选地，所述根据其数据类型对所述原始数据帧进行数据加工后进行分类存储，包括：

若数据类型为结构化数据，则将所述原始数据帧直接进行存储；

若数据类型为非结构化数据，则进一步识别其数据属性，并根据所述数据属性进行加工后进行分类存储；所述数据属性至少包括图像属性和音频属性。

优选地，所述根据所述数据属性进行加工后进行分类存储，包括：

若数据属性为图像属性，则利用预先训练好的图像识别模型对所述原始数据帧进行处理，识别其图像元素，根据所述图像元素生成一个或多个标签，并对所述原始数据帧添加该一个或多个标签后进行存储。

优选地，所述根据所述数据属性进行加工后进行分类存储，包括：

若数据属性为音频属性，则利用预先训练好的音频识别模型对所述原始数据帧进行处理，识别其音频特征，根据所述音频特征生成一个或多个标签，并对所述原始数据帧添加该一个或多个标签后进行存储。

优选地，所述方法还包括以下步骤：

数据采集端响应于接收到所述反馈信息，根据该反馈信息重新根据采集的数据生成原始数据帧，将该原始数据帧加上n-1位的0生成第一数据帧，并将该第一数据帧以模2除法的方式除以预设的除数得到一个余数，最后将该余数附加在该原始数据帧后面生成第二数据帧，并将该第二数据帧发送给所述数据接收端。