[发明专利]一种基于事件模版相似度推荐的三层关联方法

说明书

本发明公开了一种基于事件模版相似度推荐的三层关联方法，具体涉及大数据安全技术领域，本发明通过提出的方法围绕模版进行数据库日志和应用日志的三层关联，大幅提升时效性和准确度，率先提出将DBSCAN聚类算法应用在url请求和响应参数汇聚中，有助于提升整套算法的准确度，将推荐协同过滤算法应用在三层关联技术领域，提出word2vec相似度矩阵匹配实现应用日志事件和数据库日志模版三层关联，大幅度提升关联准确度。

技术领域

本发明实施例涉及大数据安全技术领域，具体涉及一种基于事件模版相似度推荐的三层关联方法。

背景技术

随着网络技术的发展，信息安全问题越来越受到重视，目前在审计产品中，普遍的需求是检测数据库中表中的数据流向了哪些应用之中，从而支撑风险发现，日志溯源，敏感泄漏流向检测等安全需求。

目前审计类产品的通常通过数据库日志事件和应用日志事件的请求或响应参数进行三层关联。在现实场景下，由于事件总数非常巨大，实时分析应用事件和数据库事件的关联计算量非常大，而且传统的关联算法准确率并不高。

发明内容

为此，本发明实施例提供一种基于事件模版相似度推荐的三层关联方法，通过提出的方法围绕模版进行数据库日志和应用日志的三层关联，大幅提升时效性和准确度，率先提出将DBSCAN聚类算法应用在url请求和响应参数汇聚中，有助于提升整套算法的准确度，将推荐协同过滤算法应用在三层关联技术领域，提出word2vec相似度矩阵匹配实现应用日志事件和数据库日志模版三层关联，大幅度提升关联准确度。

为了实现上述目的，本发明实施例提供如下技术方案一种基于事件模版相似度推荐的三层关联方法，其特征在于：所述具体流出如下：

步骤一：筛选需要分析的sql模版；

步骤二：针对一个sql模版，筛选一段时间内的所有sql事件；

步骤三：将该sql模版的所有sql事件的请求和响应参数汇聚到集合sqlTemplateReqs，sqlTemplateRsps内并分别去重；

步骤四：对该sql模版的所有sql事件，筛选每一个sql事件之前一段时间内的所有url事件，并去重；

步骤五：将所有url事件根据apiUrl分别汇聚请求和响应参数用DBSCAN聚类算法聚类到apiUrlReqs,apiUrlRsps内，并去重；

步骤六：借鉴推荐系统的思想，基于上几步获得的结果将apiUrlReqs与sqlTemplateReqs，apiUrlRsps与sqlTemplateRsps分别转换为数值向量，并利用协同过滤算法计算相关性，并将合适的apiUrl推荐给对应的sql模版；

步骤七：将关联结果存储到数据库中，每隔一个月更新一次；

步骤八：重复1-7的步骤，循环sql模版。

进一步地，所述步骤一中的sql模版是审计产品对sql事件的一种抽象，用户可以输入需要分析的sql模版，这些sql模版一般是用户比较关注，对业务影响比较大，重要程度比较高的sql模版。

进一步地，所述步骤二中一个sql模版对应有多个sql事件，不同场景下sql事件数量不同，在实际落地中根据情况筛选1小时，1天或者1周的sql事件。

进一步地，所述步骤三中sqlTemplateReqs，sqlTemplateRsps中分别存储了该sql模版所有sql事件的请求响应参数，由于很多sql事件的响应参数有大量重复，所以先要分别进行去重处理，以免影响后续的算法流程。