[发明专利]数据处理方法及数据处理系统

说明书

技术领域

本发明涉及数据处理技术，特别涉及一种数据处理方法及数据处理系统。

背景技术

随着科技的进步，用于描述信息的数据量也在不断增加，而且数据涉及的范围越来越广泛，数据之间的关系也变得更为复杂。为了提高数据处理的工作效率，对数据处理技术也提出了更高的要求。

目前主要使用的数据处理技术，首先是将数据存入数据记录集合，例如数据库，然后对数据库中的数据进行操作。数据储存在数据库中，可以看成是一条一条包含字段的数据记录。数据记录集合一般储存在数据存储引擎(也简称存储引擎)上，客户端与存储引擎通信，访问其中的数据记录集合。

传统的关系数据库要求存入的是事先定义好字段格式的固定字段数据记录，如果需要添加新的字段给记录存储，就要求更改字段定义，这会导致整个数据记录集合停机不可用。

一般情况下，大都是多个客户端一起使用数据记录集合，也就是说，数据记录集合需要支持多个客户端共享这一个数据记录集合，同时又必须满足不同客户端在存储数据记录时有自定义字段的要求，而且这个对新增加字段的数据记录的存取应该是对其他客户端透明，不发生影响的。

但是如果按传统模式把数据字段的定义存储按一个数据表一个定义的方式管理，其中一个客户端对自定义字段的添加或修改，就可能导致整个数据记录集合不可用。

专利号为ZL02148795.2的中国专利，公开了一种数据库中对象关系的处理方法，简化了数据库中对象之间关系的管理流程，减小了数据库维护的工作量。但是如何实现在不影响其他客户端存储数据记录的情况下，允许客户端存储自由模式的字段，且减轻存储引擎与客户端之间的网络传输的开销和客户端的处理负担成为目前设计人员亟待解决的问题之一。

发明内容

本发明解决的问题是提供一种数据处理方法和系统，以支持客户端添加自定义的字段，且该字段对其他客户端透明，还不会造成存储引擎的停机不可用。

为解决上述问题，本发明提供了一种数据处理方法，包括：

从客户端获取数据记录的存储请求，所述数据记录包括多个字段，每个字段包含元数据信息和数据内容，所述元数据信息包括字段名、字段类型和字段长度；

将所述数据记录储存至数据记录集合中。

可选的，所述数据记录还包括标记所述数据记录的标识，所述数据处理方法还包括建立所述数据记录的标识索引。

可选的，所述数据处理方法还包括：

从客户端获取数据记录的访问请求，所述访问请求包括要访问的数据记录的字段名；

依据所述数据记录的标识索引从所述数据记录集合中查询所述要访问的数据记录；

依据查询到的数据记录的字段名和字段长度查询要访问的数据记录的字段。

可选的，依据查询到的数据记录的字段名和字段长度查询要访问的数据记录的字段包括：

依次比对所述查询到的数据记录的字段的字段名与所述要访问的数据记录的字段名，若不匹配则依据当前比对的字段的字段长度跳转至下一字段，继续比对，直至当前比对的字段的字段名与所述要访问的数据记录的字段名匹配。

可选的，所述访问请求为读取请求，所述数据处理方法还包括：将查询到的要访问的数据记录的字段的数据内容返回给所述客户端。

可选的，所述访问请求为修改请求，所述修改请求还包括新的数据内容，所述数据处理方法还包括：依据查询到的要访问的数据记录的字段的字段类型修改该字段的数据内容为新的数据内容。

可选的，所述数据内容嵌套多个字段，每个字段包括该字段的元数据信息和数据内容。

为解决上述技术问题，本发明还提供了一种数据处理系统，包括：

客户端，用以发出数据记录的存储请求，所述数据记录包括多个字段，每个字段包含元数据信息和数据内容，所述元数据信息包括字段名、字段类型和字段长度；

存储引擎，包括存储单元，所述存储单元用以从所述客户端获取所述数据记录的存储请求，将所述数据记录储存至数据记录集合中。

可选的，所述数据记录还包括标记所述数据记录的标识，所述存储引擎还包括索引单元，所述索引单元用以建立所述数据记录的标识索引。

可选的，所述存储引擎还包括：

记录查询单元，用以从客户端获取数据记录的访问请求，所述访问请求包括要访问的数据记录的字段名，并依据所述索引单元建立的数据记录的标识索引从所述数据记录集合中查询所述要访问的数据记录；

字段查询单元，用以依据所述记录查询单元查询到的数据记录的字段名和字段长度查询要访问的数据记录的字段。