[发明专利]一种Web可视化环境中的数据视图副本迭代方法

摘要

一种Web可视化环境中的数据视图副本迭代方法，包括以下步骤：第一步、建立一个动态演化模型，分为大数据用户层、大数据可视化层及大数据源层；第二步、基于所述的模型，提出的Web可视化环境中的数据视图副本迭代方法。本发明提出了一种Web可视化环境中的数据视图副本迭代方法，将可视化结果进行物化缓存，并通过副本迭代方法提高数据视图的更新效率，避免频繁的更新对查询性能的影响，降低数据视图的检索开销；该方法在查询集较大、数据源更新较为频繁的Web环境中，能够对海量数据进行快速查询与可视化展示；并实现更新缓存时保证现有正在访问数据视图的用户不被影响。

主权项

一种Web可视化环境中的数据视图副本迭代方法，其特征在于：包括以下步骤：第一步、建立一个动态演化模型，分为大数据用户层、大数据可视化层及大数据源层；1.1、大数据用户层：由网络上具有不同大数据可视化需求的用户构成，用户通过访问大数据可视化层来获取感兴趣的大数据信息，用户层不依赖具体的技术架构，并可在可视化层中定制不同的视图来分析数据的多个维度；1.2、大数据可视化层：基于云平台架构，提供一种统一的标准让用户来查询不同的大数据源；可视化层接受大数据用户的数据视图查询请求后，判断是否存在物化缓存，向大数据源发出服务请求然后将返回的结果集进行可视化效果展示给用户；或者直接查询系统的物化缓存，将结果进行可视化分析响应给用户；可视化层包括精灵线程池模块、物化缓存模块、副本迭代模块和可视化分析模块；所述精灵线程池模块，用于负责线程的分配，系统在初始化阶段根据一定的映射规则解析每个数据视图的相关信息构建一个资源配置文件，系统分析后将需要进行物化缓存的数据视图信息生成物化缓存视图索引表VIT，VIT基于物化缓存更新算法将数据视图加入物化缓存执行队列，由线程分配机制分配合适的线程向大数据源建立连接发出服务请求，所述物化缓存模块，用于针对计算量大、实时性不高、用户请求频繁的大数据可视化查询采取物化缓存的方法，预先缓存大数据源对相应查询计算的结果，将该数据视图的数据结果集采取内存存储或者持久化存储方式，用户发出该视图的请求时，不必向大数据源建立连接发出服务请求，直接用缓存的数据结果集进行可视化分析响应给用户；所述副本迭代模块，用于当大数据源的数据更新后，由精灵线程向大数据源发出请求得到新的物化缓存，此时需要将新的缓存替换之前的缓存存储于系统中；所述可视化分析模块，用于将用户访问数据视图后返回的数据集进行可视化分析，将大数据以直观的可视化的图形形式展示给用户；1.3、大数据源层：指的是在网络上的大数据供应商，采用分布式架构存储海量数据，有效支持大数据的处理需求，大数据源层一般提供大数据服务，即将数据以服务的方式提供给可视化层；第二步、基于所述的模型，提出的Web可视化环境中的数据视图副本迭代方法如下：2.1大数据用户提交数据可视化查询请求；2.2在大数据可视化层，每一个数据视图在初始化阶段都被赋予一个唯一的URL资源，并记录了数据可视化视图的相关信息，作为资源配置文件存储于持久化层。系统初始化阶段将其映射到内存的缓存配置表中，根据数据视图的访问率与自身更新频率选择是否进行物化缓存，并针对数据视图的资源特性选择合适的存储方式，通用原则是：内存存储适合访问热度高但数据量小的数据结果，持久化存储适合数据量大，但访问热度相对较低的数据结果；将需要进行物化缓存的数据视图信息写入物化缓存视图索引表VIT，对VIT使用半形式化方法描述如下：VIT＝key,value.value＝VDK,[MCS],[MCRI]MCS＝’0’|’1’|’2’MCRI＝’0’|’1’其中VIT是一个HashMap表，key为用户的查询URL，即大数据用户访问数据视图的网址；value为一个三元组，组成规则为：value＝VDK(Visual Data Key数据视图的名称，唯一)+MCS(Materialized Cache Style对应物化缓存的方式)+MCRI(Materialized Cache Replica Identify物化缓存副本查询标志符)；其中MCS包括内存存储或者持久化存储，内存存储用0表示，持久化文件存储用1表示，持久化数据库存储用2表示；MCRI标志是否应该查询该数据视图的物化缓存副本，1表示查询，0表示不查询；2.3系统基于物化缓存更新算法周期性地累积缓存索引集合被访问的次数，并将访问次数周期性地累积成热度进行保存；系统设置一个物化缓存更新过滤器，过滤器中有一个过滤表FT，FT中数据是一个动态数组，里面包含正在进行副本迭代数据视图的URL。系统选择累积热度TOP—K的数据视图，通过物化缓存更新过滤器中FT的比对，对VIT中存在但FT中没有的数据视图加入物化缓存执行队列，并在物化缓存执行队列中保存数据视图的URL，由精灵线程模块解析后分配合适的线程向大数据源建立连接发出服务请求；2.4系统将返回的数据视图缓存数据写入对应的缓存方式，考虑到物化缓存存储方式分为内存存储和持久化存储，因此根据存储方式进行区别处理：对于内存存储，在内存中建立值表MVT与值表副本MVT‑rp，MVT结构是一个HashMap，其中key是查找的数据视图名称VDK，value为一个二元组，包括该数据视图物化缓存的数据和数据视图此时用户的访问量count,MVT‑rp结构也是一个HashMap，其中key是查找的数据视图名称VDK，value为一个三元组，包括该数据视图物化缓存的数据、数据视图此时用户的访问量count和副本迭代成功标识符CopySuc(1表示迭代成功，0表示尚未迭代)；MVT和MVT‑rp负责提供存储在内存中的物化缓存并监控相应数据视图的用户访问情况；持久化存储形式由系统初始化设定，可分为文件系统存储和数据库系统存储，对于文件系统存储，在内存中建立文件索引表FIT和文件索引表副本FIT‑rp，FIT结构是一个HashMap表，其中key是查找的数据视图名称VDK，value为一个二元组，包括该数据视图物化缓存文件存储路径FilePath和该数据视图此时用户的访问量count，FIT‑rp结构也是一个HashMap，其中key是查找的数据视图名称VDK，value为一个三元组，包括该数据视图物化缓存的数据、数据视图此时用户的访问量count和副本迭代成功标识符CopySuc；在数据视图查询时系统将用户的查询URL匹配为主键，查询物化缓存视图索引表VIT，如果能匹配到，说明该数据视图已提供了物化缓存。对于具有物化缓存的数据视图，模型不再对数据源进行真正访问，改为访问物化缓存，查询VIT中该条数据视图记录的MCRI值，如果字段为1，说明应该查询数据视图的物化缓存副本，转步骤2.5，否则转步骤2.6；2.5选择访问该数据视图的物化缓存副本数据；查询VIT，如果VIT记录的该条数据视图的MCS字段为0，则系统基于VDK为主键查找MVT‑rp并返回二元组中的缓存json数据，然后将MVT‑rp中该数据视图此时用户的访问量count增加1；如果MCS字段为1，则系统基于VDK为主键查找FIT‑rp中的缓存文件存储路径FilePath，并访问磁盘中该缓存副本文件(以json文件存储)，将FIT‑rp中该数据视图此时用户的访问量count增加1；如果MCS字段为2，系统依据数据视图VDK为主键去数据库进行物化缓存的搜索，并将搜索结果返回；2.6选择访问该数据视图的物化缓存数据；查询VIT，如果VIT记录的该条数据视图的MCS字段为0，，则系统基于VDK为主键查找MVT并返回二元组中的缓存json数据，然后将MVT中该数据视图此时用户的访问量count增加1；如果MCS字段为1，则系统基于VDK为主键查找FIT中的缓存文件存储路径FilePath，并访问磁盘中该缓存副本文件，将FIT中该数据视图此时用户的访问量count增加1；如果MCS字段为2，系统依据数据视图VDK为主键去数据库进行物化缓存的搜索，并将搜索结果返回；2.7将返回的结果json注入相应的可视化模块中并将形成的可视化效果展示给用户，如果该结果json是从内存中或者持久层文件系统中取出来的，则将对应的MVT、FIT或者MVT‑rp、FIT‑rp中该数据视图此时用户的访问量count减少1。