[发明专利]一种文件、图片快速读取方法、系统、介质及电子终端

说明书

本发明提供一种文件、图片快速读取方法，包括：设置一个或多个集群节点，根据不同的集群节点创建与所述集群节点对应的不同的数据库；将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；根据所述数据信息表获取对应数据所在的数据库信息；本发明通过将文件(图片)记录到外部存储空间，一方面避免了文件系统损坏导致无法加载系统，读取数据失败，进而增加了系统的健壮性，另一方面减少了对文件系统的频繁访问，提升了文件(图片)的读取速度，本发明根据集群及DN节点设计的分库分表策略，进一步的提升了查询速度，进而提升了文件(图片)的读取速度。

技术领域

本发明涉及计算机应用领域，尤其涉及一种文件、图片快速读取方法、系统、介质及电子终端。

背景技术

分布式文件系统是一个开源的高性能分布式文件系统，主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。其中，分布式视频监控文件系统是专门针对监控视频文件的文件系统，当系统资源节点较多时，面对海量的文件、图片，快速的访问，是决定系统性能好坏的一个关键因素。

目前，针对海量的文件、图片的快速的访问的问题，学术界研究普遍较少且相关学术文献或者资料也同样较少，现有技术中的常用的方式都存在着缺点，例如，基于NoSQL的海量航空物流小文件分布式多级存储方法，但是该方法忽略了当NoSQL工作失败时，系统将无法正常工作，并且读取性能还有待进一步提升。又例如，基于内存的文件系统，能显著提升文件访问速度，但是需要将整个文件系统存入内存，对服务器性能提出了较高的要求。而基于快速小文件存取优化算法，需要依赖小文件访问日志，文件命中率需要进一步提升。而一些基于快速访问查询图片的方法，但此类方法只记录了图片的MD5值，依然会遍历部分图片，影响图片读取速度。因此，在现有的分布式视频监控系统中，文件、图片的快速访问依然是一个亟待解决的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种文件、图片快速读取方法、系统、介质及电子终端，以解决上述技术问题。

本发明提供的文件、图片快速读取方法，包括：

设置一个或多个集群节点，每个集群节点包括多个数据节点；

根据不同的集群节点创建与所述集群节点对应的不同的数据库；

将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；所述数据信息包括数据的位置信息；

根据所述数据信息表获取对应数据所在的数据库信息，完成数据的写入和读取。

可选的，所述数据包括文件信息和/或图片信息，当进行数据存储时，中央存储管理模块根据预先制定的存储策略将所述数据写入一集群节点中的一数据节点，并将所述数据保存至数据库中，当数据库写入成功时，将数据信息同步到缓存中间件，以及中央存储管理模块进程的内存表中。

可选的，当进行数据读取时，查询数据所在的集群节点和数据节点，根据所述集群节点和数据节点获取对应的数据信息表，进而获取对应的数据路径，根据所述数据路径，读取所述数据。

可选的，预先设置数据查询的优先级，当获取数据路径时，根据所述优先级进行查询，当前优先级查询失败时，再按下一优先级进行查询，任何一步查询成功后，则终止查询。

可选的，预先设置数据删除或更新的优先级，当进行数据删除或数据更新时，根据所述优先级执行数据删除或数据更新。

可选的，所述数据查询的优先级包括内存表、中间件、数据库和数据节点的先后顺序，所述数据删除或更新的优先级包括数据库、中间件、内存表的先后顺序。

可选的，所述数据查询的优先级从高到低依次为内存表、中间件、数据库、数据节点。