[发明专利]一种数据文件的存取方法与系统

权利要求书

1.一种数据文件的缓存方法，其特征在于，该方法包括：

步骤S1、获取设备ID匹配文件服务进行数据的写入操作，将所述数据文件写入缓存区；以及

步骤S2、同时记录设备ID最新的数据采集时间；

其中，所述缓存区包括一级缓存、二级缓存以及三级存储，所述一级缓存采用基于Redis组件的内存缓存，所述二级缓存采用基于固态硬盘的存储，所述三级存储采用基于机械硬盘的大数据组件存储。

2.根据权利要求1所述的数据文件的缓存方法，其特征在于，在步骤S1中，所述数据文件同时写入一级缓存与二级缓存，具体还包括以下步骤：

步骤S11、获取数据文件的Byte数据转换成Base64字符串，与数据文件的主键ID组成Key-Value形式，存储至一级缓存中，并设置过期时间为A分钟；

步骤S12、设定写入二级缓存的存储路径为：/年/年月/年月日/年月日时/设备ID/主键ID.文件类型，并存储数据文件。

3.根据权利要求2所述的数据文件的缓存方法，其特征在于，在步骤S2中，还包括以下步骤：

步骤S21、设定设备ID-年月日为Key，采集时间为Value；

步骤S22、将步骤S21设定的信息与之前记录的最新采集时间进行比较，存储更大的时间值至一级缓存中；

步骤S23、并设定最新的数据采集时间的失效时间为一天。

4.根据权利要求3所述的数据文件的缓存方法，其特征在于，还包括以下步骤：

步骤S3、设定每隔N分钟执行一次以下命令：从二级缓存中扫描B小时前的数据目录，将二级缓存内的数据按设备目录批量写入三级存储中，写入完成后删除二级缓存中的数据目录，同时记录各个设备的最新写入三级存储的时间。

5.一种数据文件的读取方法，其特征在于，该方法包括：

步骤S4、获取设备ID匹配文件服务进行数据的读取操作；

步骤S5、比较执行步骤S4时的数据采集时间T、步骤S2中记录的当天最新的数据采集时间H以及步骤S3中记录的该设备已经写入三级存储的最新时间I；

步骤S6、判断从一级缓存、二级缓存或三级存储中读取数据文件；

步骤S7、根据步骤S6的判断结果读取数据文件。

6.根据权利要求5所述的数据文件的读取方法，其特征在于，步骤S5中具体还包括：

步骤S51、设定以设备ID-年月日-类型为关键字组成的KeyH，从一级缓存中查询该设备当天最新数据采集时间H；

步骤S52、将步骤S51查询到的该设备当天最新数据采集时间H与查询的设备数据采集时间T比较，计算得到两者相差的时间C；

步骤S53、按以下预定的查询规则进行数据文件的查询：

a、如果相差时间C小于A，则直接查询一级缓存；

b、如果相差时间C大于A，且小于B，则直接查询二级缓存；

c、如果相差时间C大于B，且查询的设备数据采集时间T又大于时间I时，则先查询二级缓存，查无再查询三级存储；

d、如果查询的设备数据采集时间T小于时间I或者从一级缓存中查无缓存时间时，则直接查询三级存储；

e、如果判断从一级缓存或二级缓存中查询却查无数据，则依次往二级缓存、三级存储去继续查询数据，直至查询到数据为止；

步骤S54、查询到数据，流程结束。

7.根据权利要求6所述的数据文件的读取方法，其特征在于，还包括:

用主键ID构成的Key，去基于Redis组件的一级缓存中查询数据；

根据设备ID、采集时间、主键ID以及文件类型生成的存储路径去二级缓存中查询；

根据由设备ID、采集时间以及主键ID构成的请求参数，去三级存储中查询数据。