[发明专利]数据处理系统

说明书

本申请公开了一种数据处理系统，包括构成异构计算的第一处理器和第二处理器，第二处理器包括多个并行处理第一处理器的原始数据库表数据、且均连接内存控制器的计算单元；各计算单元包括以流水作业方式运行、且均具备独立缓存资源的读取组件、表数据处理组件和写组件。读取组件读取第一处理器的数据库对应的表描述符、过滤条件码流及待处理表数据；表数据处理组件基于表描述符，依次确定待处理表数据的每个行列的位置信息，并根据过滤条件码流和各行列的位置信息对待处理表数据的每一行进行过滤操作；写组件将汇总表数据处理组件的运算结果写入至第二处理器内存中。本申请可支持更多的数据类型和更复杂的逻辑运算类型，可有效提升数据处理能力。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理系统。

背景技术

在数据库查询中，当用户所查询的字段在数据库中没有建立索引时，数据库选择使用全表扫描的方式进行查询，其会对数据库中所有的文件进行扫描，进行逐个记录的解析、筛选、过滤操作，该过程会造成极大的CPU消耗，所需查询时间也大幅增加，查询效率较低，严重影响查询性能。尽管在数据库运维中，数据库管理员会对用户常用的查询字段建立索引，来尽量避免开启全表扫描方式。然而建立索引，不仅会增加存储空间的额外开销，而且在数据更新时，还需要同步更新索引信息，无疑会降低数据库写入性能。此外，数据库管理员也无法对所有的字段都创建索引，用户仍不可避免地会遇到因全表扫描而导致的响应延迟的问题。

全表扫描的运算逻辑是典型CPU(central processing unit，中央处理器)消耗性计算，会消耗大量的CPU算力，造成较大地查询响应延迟。在传统纯CPU的SMP(SymmetricalMulti-Processing，对称多处理)体系架构中，要降低因全表扫描所导致的响应延迟，只能通过增加CPU核心数量，提高CPU主频来提升数据库整体性能。但增加CPU核心数量、提升CPU主频的方式会导致功耗的大幅增加，且随着半导体的工艺制程逐渐逼近物理极限，提高CPU核心数量与主频变得越来越困难。

为了进一步提高数据库整体性能，解决因全表扫描影响查询效率的弊端问题，相关技术通过异构计算来实现，相比传统的SMP架构，异构计算将在CPU中大量进行的简单重复运算放入到专用的加速器上执行，在加速器上通过单指令多数据、并行及流水等技术手段实现极高的数据处理能力。但是，相关技术仍然存在数据处理能力差，且支持的数据类型和运算类型较少，无法满足用户对数据库的高性能需求。

发明内容

本申请提供了一种数据处理系统，可支持更多的数据类型，更为复杂的逻辑运算类型，有效提升数据处理能力。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例提供了一种数据处理系统，包括构成异构计算的第一处理器和第二处理器，所述第二处理器包括多个并行处理所述第一处理器的原始数据库表数据、且均连接内存控制器的计算单元；

每个计算单元均包括以流水作业方式运行、且均具备独立缓存资源的读取组件、表数据处理组件和写组件；

所述读取组件，用于读取所述第一处理器的数据库对应的表描述符、过滤条件码流及待处理表数据；所述表描述符用于记载数据库表的各列存储对齐方式和各列长度信息；

所述表数据处理组件，用于基于所述表描述符，依次确定所述待处理表数据的每个行列的位置信息，并根据所述过滤条件码流和各行列的位置信息对所述待处理表数据的每一行进行过滤操作；

所述写组件，用于将汇总所述表数据处理组件的运算结果，写入至所述第二处理器的内存中。

可选的，所述表描述符包括第一字段和第二字段，所述第一字段用于表示当前列对应的存储对齐方式，以使不同数据类型的数据按照对应的存储对齐方式存储至相应位宽的内存中；所述第二字段用于表示所述当前列的定义长度；