[发明专利]基于目标检测网络与知识推理的人员行为意图识别方法

权利要求书

1.一种基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，包括以下步骤：

S1、以三元组的形式构建面向人员生活场景的知识图谱；

S2、采集视频数据并进行预处理，得到预处理后的数据；

S3、将预处理后的数据输入至目标检测模型，获取预处理后的数据中的各类实体；各类实体包括人体和物体；

S4、根据人体和物体的位置区域特征构建关系特征，根据关系特征采用高斯混合模型得出物体与人体的位置关系；其中位置关系包括“在手中”、“从属关系”和“距离小于阈值”；

S5、将物体、人体和对应的位置关系构成三元组，将三元组输入知识图谱，得到初步确定的场景；

S6、通过人体关键点检测模型获取预处理后的数据中人体关键点特征信息；

S7、基于人体关键点特征信息对初步确定的场景进行推理，输出符合人体关键点特征信息的场景，并将输出的场景作为人员行为意图；

步骤S1的具体方法为：

以“人-物-行为”构建三元组，以三元组为核心进行本体建模，搭建面向人员的生活场景的图谱基础架构；定义面向人员生活场景的物体概念，选取物体的视觉属性概念，明确物体间的相对位置关系，通过常识、场景图像和/或常用语义对图谱基础架构进行对象信息扩展，得到面向人员生活场景的知识图谱；

步骤S4的具体方法包括以下子步骤：

S4-1、获取实体λ_i的区域坐标(x_i,y_i)、宽度w_i和高度h_i，采用公式：

构建实体λ_i与人手λ_j的关系特征f(λ_i,λ_j)；其中area_i表示实体λ_i的面积；(x_j,y_j)、w_j、h_j和area_j分别为人手λ_j的区域坐标、宽度、高度和面积；

S4-2、将关系特征f(λ_i,λ_j)输入高斯混合模型，获取实体λ_i与人手λ_j之间条件概率值最大的位置关系，并将其作为物体与人体的位置关系；

步骤S4-2的具体方法包括以下子步骤：

S4-2-1、初始化高斯混合模型参数；

S4-2-2、基于当前参数，根据公式：

计算观测数据n来自子模型k的概率γ_nk；其中N表示观测数据的总数；K表示高斯混合模型中子模型的总数；α_k为观测数据属于子模型k的概率；φ(x_n|θ_k)为子模型k的高斯分布密度函数，μ_k为子模型的数据期望，σ_k为子模型的数据方差；x_n表示观测数据n；

S4-2-3、根据公式：

更新参数μ_k、α_k和∑_k；其中(·)^T表示转置；

S4-2-4、判断当前参数μ_k、α_k和∑_k是否均收敛，若是则进入步骤S4-2-5；否则返回步骤S4-2-2；

S4-2-5、根据公式：

获取实体λ_i与实体λ_j的关系特征f(λ_i,λ_j)的概率分布，并得到概率值最大的位置关系。

2.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S2中预处理的具体方法为：

将视频数据处理成帧图像，并对帧图像进行去噪和压缩。