[发明专利]多线程数据处理方法、多线程底库数据入库方法及装置

权利要求书

1.一种多线程数据处理方法，其特征在于，所述方法包括：

读取待处理数据，获取所述待处理数据的结构化属性信息；

根据所述结构化属性信息，确定所述待处理数据所属的数据集合，由此得到多个数据集合；

为所述多个数据集合生成与数据集合一一对应的数据锁，存储数据集合和数据锁的对应关系；

通过当前线程获取当前待处理数据，确定所述当前待处理数据所属的当前数据集合；其中，造成线程不安全的多个待处理数据属于同一数据集合；

响应于存在所述当前数据集合对应的当前数据锁且所述当前数据锁未激活，

激活所述当前数据锁，使得仅允许所述当前线程对所述当前数据集合中的待处理数据进行数据处理，其中，数据锁与数据集合一一对应；

通过所述当前线程对所述当前待处理数据进行数据处理；

对所述当前待处理数据的数据处理完成后，删除所述当前数据锁；

响应于不存在所述当前数据锁，通过所述当前线程对所述当前待处理数据进行数据处理或结束所述当前线程。

2.根据权利要求1所述的多线程数据处理方法，其特征在于，响应于存在所述当前数据集合对应的当前数据锁且所述当前数据锁未激活，激活所述当前数据锁，包括：

响应于存在所述当前数据集合对应的当前数据锁、所述当前数据锁未激活且所述当前数据集合中待处理数据的数量大于1，激活所述当前数据锁。

3.根据权利要求1所述的多线程数据处理方法，其特征在于，所述对所述当前待处理数据进行数据处理，包括：

判断已传输并存储的数据中是否存在所述当前待处理数据的重复数据，所述重复数据为与所述当前待处理数据属于同一数据集合的数据；

若不存在所述重复数据，则传输并存储所述当前待处理数据。

4.根据权利要求3所述的多线程数据处理方法，其特征在于，所述对所述当前待处理数据进行数据处理，还包括：

若存在所述重复数据，比较所述当前待处理数据和所述重复数据的更新时间和/或图像质量，若所述当前待处理数据的更新时间晚于所述重复数据，和/或所述当前待处理数据的图像质量优于所述重复数据，则传输并存储所述当前待处理数据，其中，存储所述当前待处理数据包括用所述当前待处理数据替换所述重复数据。

5.根据权利要求1所述的多线程数据处理方法，其特征在于，所述根据所述结构化属性信息，确定所述待处理数据所属的数据集合，包括：

根据所述结构化属性信息中的索引属性信息，确定所述待处理数据的分组索引信息；其中，所述索引属性信息为所述结构化属性信息中的至少一种；

将具有相同分组索引信息的待处理数据归为一个数据集合；

所述存储数据集合和数据锁的对应关系包括：存储数据集合对应的分组索引信息和数据锁的对应关系。

6.根据权利要求1-5任一项所述的多线程数据处理方法，其特征在于，通过当前线程获取当前待处理数据，确定所述当前待处理数据所属的当前数据集合，包括：

获取所述当前待处理数据的当前索引属性信息；

根据所述当前索引属性信息得到所述当前待处理数据的当前分组索引信息；

所述方法还包括：

根据所述当前分组索引信息，检测是否存在与所述当前分组索引信息对应的数据锁；

其中，所述当前索引属性信息为所述当前待处理数据的结构化属性信息中的至少一种，属于同一数据集合的待处理数据具有相同的分组索引信息。

7.根据权利要求1-5任一项所述的多线程数据处理方法，其特征在于，所述删除所述当前数据锁，包括：

释放所述当前数据锁并删除所述当前数据锁与所述当前数据集合的对应关系。