[发明专利]基于决策树的异常数据源输出方法、装置和计算机设备

说明书

本申请涉及人工智能技术领域，揭示了一种基于决策树的异常数据源输出方法、装置、计算机设备和存储介质，包括：获取输入的数据组；调取预设的知识图谱；生成知识节点打捞工具；使用所述知识节点打捞工具，对应得到第一节点集合和第二节点集合；获取数据流集合；得到第一数据类别序列和第二数据类别序列；统计所述指定数据类型的成员数量；若所述成员数量大于预设的数量阈值，则获取异常成员，并获取异常数据流；将所述异常数据流两端的源头记为异常数据源，并输出所述异常数据源。从而实现了全面且准确的异常数据源发现与输出。此外，本申请还涉及区块链技术，所述决策树可存储于区块链中。

技术领域

本申请涉及到人工智能技术领域，特别是涉及到一种基于决策树的异常数据源输出方法、装置、计算机设备和存储介质。

背景技术

在数据处理过程中，异常数据或异常数据源的发现是很关键的，若能更早、更准确地找出异常数据或异常数据源，有利于计算机优化、故障分析等。

传统的异常数据的发现，只能对输入的数据进行直接分析，即分析该输入的数据是否异常，而难以对与其相关联的数据是否异常作出判断。因此，传统的异常数据的发现效率低、全面性差。

发明内容

本申请的主要目的为提供一种基于决策树的异常数据源输出方法、装置、计算机设备和存储介质，旨在实现准确、全面地输出异常数据源。

为了实现上述发明目的，本申请提出一种基于决策树的异常数据源输出方法，包括：

获取输入的数据组，所述数据组包括待分析数据与参考数据；其中所述参考数据被人工标注为指定数据类型，所述指定数据类型为正常数据类型或者异常数据类型；

调取预设的知识图谱，并将所述待分析数据与所述参考数据分别映射入所述知识图谱中，从而得到第一知识节点和第二知识节点；

采用预设的打捞工具生成规则，根据所述第一知识点，生成知识节点打捞工具；

使用所述知识节点打捞工具，分别以所述第一知识节点和所述第二知识节点为打捞基点进行知识节点打捞处理，从而对应得到第一节点集合和第二节点集合；其中所述第一节点集合至少包括所述第一知识节点，所述第二节点集合至少包括所述第二知识节点；

在预设的数据流库中，根据预设的数据流匹配方法，获取与所述第一节点集合匹配的第一数据流集合，以及获取与所述第二节点集合匹配的第二数据流集合；其中所述第一数据流集合包括至少一个数据流，所述第二数据流集合包括至少一个数据流；

将所述第一数据流集合和所述第二数据流集合同时输入预设的数据分类模型中进行处理，从而得到所述数据分类模型对应输出的第一数据类别序列和第二数据类别序列；其中数据类别序列中的每个成员为正常数据类型或者异常数据类型；所述数据分类模型基于决策树模型并采用预先收集的训练集训练得到，并且所述训练集不包括所述参考数据；

统计所述第二数据类别序列中数据类型为所述指定数据类型的成员数量，并判断所述成员数量是否大于预设的数量阈值；

若所述成员数量大于预设的数量阈值，则获取所述第一数据类别序列中数据类型为异常数据类型的异常成员，并根据所述第一数据流集合与所述第一数据类别序列的对应关系，获取所述第一数据流集合中与所述异常成员对应的异常数据流；

将所述异常数据流两端的源头记为异常数据源，并输出所述异常数据源。

进一步地，所述采用预设的打捞工具生成规则，根据所述第一知识点，生成知识节点打捞工具的步骤之前，包括：

采用预设的知识图谱构建工具对预先收集的数据进行实体识别操作，从而得到多个暂时实体；

比对所述多个暂时实体，以判断所述多个暂时实体中是否存在属于同一个同义词组的多个同义实体；