[发明专利]面向云边端协同查询的深度学习代价估计系统、方法及设备

说明书

面向云边端协同查询的深度学习代价估计系统、方法及设备，属于计算机技术领域。为了解决于目前还没有一种针对云、边、端三种设备联合查询优化的方法的问题。本发明所述系统中以云边端系统的系统节点元信息和协同查询计划树确定面向云边端协同查询的深度学习代价估计模型的模型输入，代价估计模型根据模型输入进行代价估计；代价估计模型采用残差连接的m个树卷积模块，对协同查询计划树编码进行特征融合和特征提取，进而得到针对每个云/边/端节点的查询计划特征；然后使用GCN和树卷积高效融合了查询特征和云边端数据库系统特征，实现了对云边端数据库的准确代价估计。本发明主要用于面向云边端协同查询的深度学习代价估计。

技术领域

本发明涉及一种面向云边端协同查询的代价估计系统及方法，属于计算机技术领域。

背景技术

随着互联网和物联网的普及，边缘应用的数据量呈几何级数上涨。在云边端系统中，数据在终端形成、积累，传送到云端，进行数据处理，再返回到终端指导业务。这一系列动作将对网络带宽产生数百Gbps每秒的超高需求，不仅会存在延迟，还需要面临弱网卡顿、连接成功率低等诸多问题，用户体验无法保障。同时，大带宽对回传网络、业务中心造成巨大传输压力，也会让用户面临着巨额的带宽成本。这意味着集中式的数据存储、管理和处理将面临难解的瓶颈和压力。传统云计算架构无法满足这种爆发式的海量数据计算需求，将云计算的能力下沉到边缘侧、设备侧，并通过中心进行统一交付、运维、管控，将是重要发展趋势；

可以说，云边端协同是云计算的延伸，两者各有其特点：云计算能够把握全局，处理大量数据，在商业决策等非实时数据处理场景发挥着重要作用；云边端协同能够更好地在小规模、实时的智能数据管理中发挥作用，如满足局部企业的实时需求。因此，云计算更适合大规模数据的集中处理，而云边端协同可以用于小规模的智能数据管理和本地服务。云边端协同与云计算相辅相成、协调发展，更大程度上助力行业的数字化转型。

尽管云边端协同数据管理具有诸多优势，但是由于云、边和端的计算、存储资源状况和对数据协同管理的需求，现有的云端数据库查询优化难以适应云边端数据库系统数据高维异构，架构复杂的特性。

当前的数据管理理论和技术难以满足云边端协同数据管理的需求，同时当前研究主要集中在云上的数据管理，边缘和端上的数据管理研究较少，云边端协同的数据管理理论和技术的研究更是凤毛麟角。

在端侧的查询上，数据库系统Cougar和TinyDB在他们的设计中使用扩展的SQL语言来描述查询。在查询优化方面，他们的优化方法以能耗和传输成本为关键指标，以节点分组和算子重排序等方法作为优化查询计划的主要手段。

具体来讲，在上述两个数据库系统的优化方案中，数据库系统首先将SQL解析为查询计划，查询计划指定了每个传感器(端侧设备)要执行的计算、采样速率和传感器之间的通信结构。

查询计划生成后，方案的查询优化算法根据元数据做出查询优化决策。其中的元数据包括传感器位置、类型、内存量、每个操作的能耗等静态信息，以及有关传感器剩余电池寿命和查询谓词选择性的动态统计信息。

因此查询优化算法是基于成本模型的，这是现有技术中方案的核心所在，基于成本模型的查询优化算法是将能耗和传输成本作为主要考量指标。

令N为传感器类型的数量，k为谓词数量，E_i为传感器类型i的采样代价，E_trans、E_recv分别为发送和接收一条消息的能量，为评估谓词i'所消耗的能力，E_agg为计算(部分)聚集的能量开销，C为通过该节点连接的子节点的数量。节点s采集一个样本，并传输他的部分聚集结果的能量开销的估计公式如下：

假设传感器s的剩余电池电量为B_s焦耳，s有足够的功率来持续采样个样本集合。为了延长系统的使用周期需要生成一个计划以最大化这个值。设有P个计划，则此过程可以描述为：