[发明专利]基于场景图的行为判定方法、系统、设备及存储介质

说明书

本发明提供一种基于场景图的行为判定方法、系统、设备及存储介质，属于行为判定技术领域。基于场景图的行为判定方法包括：获取待判定的场景图片序列；提取场景图片序列中各场景图片的特征信息和序列信息，构建场景图；提取当前场景中预设的具体规则的多个关键词，获得与关键词相匹配的多个结点；提取与关键词相匹配的每个结点对应的边的信息；将所述边的信息与结点结合后，计算与所述具体规则中各规则的相似度，对行为进行判定。解决了由人工识别具体行为工作量大，成本高的问题。

技术领域

本发明涉及行为判定技术领域，具体涉及一种基于场景图的行为判定方法、系统、设备及存储介质。

背景技术

为了保障社会和谐发展，防止违规行为对社会造成危害，大家共同制定了多项规则，限制社会上不规范行为的存在与潜在危害。对于判断不规范行为的工作，目前大多都是人为进行判断，工作量大的同时，在疲劳的情况下也无法确定准确度。因此，如何通过机器实现自动推理和判断，是一个值得挖掘的点。

目前市场上存在的行为推断算法，仍然具有普适性差，准确率低的问题。因此，需要提供一种基于场景图的行为判定方法、系统、设备及存储介质。

发明内容

鉴于以上现有技术的缺点，本发明的目的在于提供一种基于场景图的行为判定方法、系统、设备及存储介质，以改善现有技术中，由人工识别具体行为工作量大，成本高的问题。

为实现上述目的及其它相关目的，本发明提一种基于场景图的行为判定方法，包括以下过程：

获取待判定的场景图片序列，所述场景图片序列包括多张同一行为的场景图片；

提取所述场景图片序列中各场景图片的特征信息和序列信息，构建场景图；

提取当前场景中预设的具体规则的多个关键词，获得与关键词相匹配的多个结点；

提取与关键词相匹配的每个结点对应的边的信息；

将所述边的信息与结点结合后，计算与所述具体规则中各规则的相似度，对行为进行判定。

在本发明一实施例中，所述提取所述场景图片序列中各场景图片的特征信息和序列信息，构建场景图，包括以下过程：

使用预先训练好的卷积神经网络模型提取所述场景图片序列中各场景图片的特征信息，作为场景图的结点信息；

使用预先训练好的多头自注意力机制模型提取所述场景图片序列中各场景图片的序列信息，作为场景图的边信息，构建场景图。

在本发明一实施例中，所述使用预先训练好的多头自注意力机制提取所述场景图片序列中各场景图片的序列信息，作为场景图的边信息，包括以下过程：

对所述场景图片进行切分，获得多个图像块；

按照设定顺序提取各图像块包含的像素，并对各像素信息加入位置向量，获得一维嵌入序列；

将所述一维嵌入序列输入至双向长短期记忆网络，提取所述一维嵌入序列的时序特征，获得序列信息。

在本发明一实施例中，所述提取预设的当前场景对应具体规则的多个关键词包括以下过程：基于预设的词向量模型，将所述具体规则与预设的场景库中的各关键词进行匹配，得到所述具体规则中含有的多个关键词。

在本发明一实施例中，所述计算与所述具体规则中各规则的相似度，包括以下过程：

对所述边的信息与结点结合后的信息序列和当前规则分别分词处理，获得所述信息序列包含的词组和当前规则包含的词组；

分别计算所述信息序列中各词组的词频，和当前规则中各词组的词频；