[发明专利]基于场景图的行为判定方法、系统、设备及存储介质

权利要求书

1.一种基于场景图的行为判定方法，其特征在于，包括以下过程：

获取待判定的场景图片序列，所述场景图片序列包括多张同一行为的场景图片；

提取所述场景图片序列中各场景图片的特征信息和序列信息，构建场景图；

提取当前场景中预设的具体规则的多个关键词，获得与关键词相匹配的多个结点；

提取与关键词相匹配的每个结点对应的边的信息；

将所述边的信息与结点结合后，计算与所述具体规则中各规则的相似度，对行为进行判定。

2.根据权利要求1所述的基于场景图的行为判定方法，其特征在于，所述提取所述场景图片序列中各场景图片的特征信息和序列信息，构建场景图，包括以下过程：

使用预先训练好的卷积神经网络模型提取所述场景图片序列中各场景图片的特征信息，作为场景图的结点信息；

使用预先训练好的多头自注意力机制模型提取所述场景图片序列中各场景图片的序列信息，作为场景图的边信息，构建场景图。

3.根据权利要求2所述的基于场景图的行为判定方法，其特征在于，所述使用预先训练好的多头自注意力机制提取所述场景图片序列中各场景图片的序列信息，作为场景图的边信息，包括以下过程：

对所述场景图片进行切分，获得多个图像块；

按照设定顺序提取各图像块包含的像素，并对各像素信息加入位置向量，获得一维嵌入序列；

将所述一维嵌入序列输入至双向长短期记忆网络，提取所述一维嵌入序列的时序特征，获得序列信息。

4.根据权利要求1所述的基于场景图的行为判定方法，其特征在于，所述提取预设的当前场景对应具体规则的多个关键词包括以下过程：基于预设的词向量模型，将所述具体规则与预设的场景库中的各关键词进行匹配，得到所述具体规则中含有的多个关键词。

5.根据权利要求1所述的基于场景图的行为判定方法，其特征在于，所述计算与所述具体规则中各规则的相似度，包括以下过程：

对所述边的信息与结点结合后的信息序列和当前规则分别分词处理，获得所述信息序列包含的词组和当前规则包含的词组；

分别计算所述信息序列中各词组的词频，和当前规则中各词组的词频；

计算并累加所述信息序列中各词组的词频和当前规则中各词组的词频的余弦相似度，获得所述信息序列与当前规则的相似度。

6.根据权利要求5所述的基于场景图的行为判定方法，其特征在于，所述对所述信息序列和当前规则分别分词处理之前，还包括：对所述信息序列和/或所述当前规则进行数据清洗。

7.根据权利要求6所述的基于场景图的行为判定方法，其特征在于，所述数据清洗为去除所述信息序列和/或所述当前规则中重复出现的词组。

8.一种基于场景图的行为判定系统，其特征在于，所述系统包括：

场景图片获取模块，用于获取待判定的场景图片序列，所述场景图片序列包括多张同一行为的场景图片；

场景图生成模块，用于提取所述场景图片序列中各场景图片的特征信息和序列信息，构建场景图；

匹配模块，用于提取当前场景中预设的具体规则的多个关键词，获得与关键词相匹配的多个结点；

边信息提取模块，用于提取与关键词相匹配的每个结点对应的边的信息；

判定模块，用于将所述边的信息与结点结合后，计算与所述具体规则中各规则的相似度，对行为进行判定。

9.一种基于场景图的行为判定设备，其特征在于：包括处理器，所述处理器与存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于：包括程序，当所述程序在计算机上运行时，执行如权利要求1至7中任一项所述的方法。