[发明专利]一种数据处理方法和装置

说明书

本发明提供了一种数据处理方法和装置，涉及数据库技术领域，主要解决了关联用户HTTP请求事件与数据库的SQL响应事件的技术问题。本发明包括：业务服务器为请求创建请求处理线程，其中，不同请求的请求处理线程相互隔离；业务服务器在每个请求处理线程内，采用HTTP插件拦截web请求，并获取web请求数据，以及，采用SQL插件拦截SQL请求，并获取SQL请求数据；业务服务器将每个请求处理线程内的web请求数据和SQL请求数据相互关联，得到关联数据。本发明将web请求数据和SQL请求数据进行100％相关联，降低数据中台关联错误率，还实现数据的精确定位、精确溯源。

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据处理方法和装置。

背景技术

在数据中台架构下，除了传统的浏览器与Web服务器之间、Web服务器与数据库服务器之间的数据交互，还包括Web服务器与API服务器、API服务器与API服务器、API服务器与数据库服务器之间的数据交互。在这种架构的应用中，很难将用户HTTP请求事件与数据库的SQL响应事件一对一的关联起来。

传统的数据库审计系统难以将数据中台下用户请求与数据查询两种信息进行精确的关联，无法实现安全事件的精确定位、精准溯源。

现在有些数据关联方法中，通过建立一些关联模型来对单独审计出来的HTTP审计日志及SQL审计日志进行事后的手动、半自动或者全自动的关联，关联模型一般采用基于时间戳、概率统计、关联规则或者SQL模板学习等方法，从技术原理上看就很难达到100％的关联度，尤其在高并发、大流量情况下数据中台关联错误率大大提高。

现有技术中，在Web服务器前镜像HTTP双向数据，在sql服务器前镜像TDS双向数据。通过http返回的内容中包含的关键字与SQL返回的结果进行模糊匹配，匹配成功即将HTTP请求与SQL请求关联。这种方法在数据中台架构的大并发下，同一个时间维度下同类查询(结果集相近)的查询请求会错误关联，无法实现精确定位、精确溯源。

并且，现有技术中，关联用户HTTP请求事件与数据库的SQL响应事件后，对数据库中的数据保护措施，判断用户的异常操作，及还能对用户行为进行人物画像等操作还不完善，随时用户请求事件和数据库中的数据被进行攻击，窃取用户资料，盗取数据库数据。

发明内容

本发明其中一个目的是为了提出一种数据处理方法和装置，解决了现有技术中关联用户HTTP请求事件与数据库的SQL响应事件的技术问题。本发明优选实施方案中能够达到诸多有益效果，具体见下文阐述。

为实现上述目的，本发明提供了以下技术方案：

本发明的一种数据处理方法，其包括：

业务服务器为请求创建请求处理线程，其中，不同请求的请求处理线程相互隔离；

业务服务器在每个请求处理线程内，采用HTTP插件拦截web请求，并获取web请求数据，以及，采用SQL插件拦截SQL请求，并获取SQL请求数据；

业务服务器将每个请求处理线程内的web请求数据和SQL请求数据相互关联，得到关联数据。

进一步的，还包括：

业务服务器在服务启动后，采用JVM进程装载所述HTTP插件和所述SQL插件，所述HTTP插件和所述SQL插件采用java字节码插桩技术预先加入到处理请求的类中。

进一步的，所述业务服务器为web服务器或者API服务器。

进一步的，所述关联数据包括：用户IP、登陆账号、浏览器信息、请求URL、请求时间、请求标识、SQL语句、操作表名、数据字段名、SQL响应时间、SQL响应状态、SQL返回行数、数据库信息、Web服务器信息。

进一步的，还包括：