[发明专利]基于OpenGauss的数据分组聚集方法

说明书

本发明涉及一种基于OpenGauss数据库的数据分组聚集方法及系统。本方法包括对有序集合中的数据进行扫描，根据当前的分组情况和扫描获得的数据信息选择相应的措施对数据进行分组处理；按照上步获得的分组对数据进行聚集运算处理等步骤。本方法克服了现有数据分组聚集方法普遍存在的执行效率低下的缺陷，本发明方法在进行数据分组聚集操作时，只维护排序靠前的N个分组，而对最终不需要返回的数据进行丢弃处理，从而避免了无用的排序和分组操作造成的额外性能开销，减少了分组数据的存储和运算成本，提升了数据分组聚集操作的执行效率，并保证了系统性能的稳定，可以很好地满足海量数据处理的应用需求。

技术领域

本发明属于OpenGauss数据库管理系统技术领域，尤其涉及一种基于OpenGauss数据库的数据分组聚集方法及系统。

背景技术

SQL聚集是指对一组数据进行汇总的操作，输入是一组数据的集合，输出是单个数据值。常见的聚集操作有COUNT、MAX、MIN、SUM、AVG等。作为一种常用的数据分析技术，在数据库SQL里使用聚集操作进行数据分析，是非常普遍的。

随着互联网技术的日新月异，数据存储和分析技术蓬勃发展，互联网每分每秒都在产生大量数据。人们对海量数据的存储、分析需求日益增长，如何高效分析海量数据，已成为数据库技术面临的主要挑战，同样地，现有的数据分组聚集方法也因其执行效率低下而亟需进行技术改进。

以下面的SQL为例，

select max(l_orderkey),l_orderkey from lineitem group by l_orderkeyorder by l_orderkey limit 3；

目前多采用以下数据分组聚集方法进行处理：

(1)先分组(group by)，后排序(order by)，最后取排序靠前的几个分组(limit)。该方案的缺点是进行分组步骤时，必须对所有数据进行分组聚集，然而最后只需要取排序靠前的几个分组，最终导致大量无用的数据参与了分组和聚集运算，导致系统性能下降。

(2)先排序(order by)，后分组(group by)，最后取排序靠前的几个分组(limit)。该方案的缺点则是进行排序步骤时，必须对所有数据进行排序，导致大量最后不需要的数据参与了排序，从而造成了系统性能下降。

显而易见，上述数据分组聚集方法由于执行过程中均进行了大量的无用数据处理从而导致了执行效率低下，无法很好地满足海量数据处理的应用需求。

发明内容

为了克服现有数据分组聚集方法存在的上述缺陷，本发明提出了一种新的数据分组聚集方案。

整体而言，本发明数据分组聚集方法基于OpenGauss数据库系统，在进行数据分组聚集操作时，只维护排序靠前的N个分组(Limit N)，而对最终不需要返回的数据进行丢弃处理，从而避免了无用的排序和分组操作造成的额外性能开销，解决了现有方法效率低下的问题，大大提升了数据分组聚集操作的执行效率，保证了系统性能的稳定。

具体地，第一方面，本发明提供了一种基于OpenGauss的数据分组聚集方法，当任务为在一个有序集合里维护排序靠前的N个分组时，本方法包括：

S1.数据扫描分组：对所述有序集合中的数据进行扫描，根据当前的分组情况和扫描获得的数据信息选择相应的措施对数据进行分组处理；

S2.聚集运算处理：按照上步获得的分组对数据进行聚集运算处理。

进一步地，本发明基于OpenGauss的数据分组聚集方法步骤S1中所述根据当前的分组情况和扫描获得的数据信息选择相应的措施对数据进行分组处理，包括：

S11.若新数据对应的分组属于Top-N目标组，则直接将该数据写入对应的分组中；