[发明专利]一种基于数字孪生的厂区人员实时定位监测系统和方法

权利要求书

1.一种基于数字孪生的厂区人员实时定位监测方法，其特征在于，采用基于数字孪生的厂区人员实时定位监测系统，该系统包括设置于实际生产厂区的多个摄像机监控模块，多摄像机监控模块捕获厂区内工作场景视频流将其传输至厂区数字孪生服务器端，所述厂区数字孪生服务器端设于实际生产厂区同一台服务器上，所述厂区数字孪生服务器端包括视频流传输模块、视频处理与人员识别定位模块、数据库模块和数据融合传输模块；所述视频流传输模块用于按照摄像机编号获取实际厂区的视频流，视频处理与人员识别定位模块并发地提取视频流中的人员信息，提取出的人员信息被存储到数据库模块中，数据融合传输模块读取数据库模块中人员信息传输至数字孪生客户端软件；所述厂区数字孪生客户端设于实际生产厂区主控室中的一台图形工作站上，所述厂区数字孪生客户端包括厂区数字孪生体、多摄像机数字孪生体、人员孪生体和人员信息处理模块，其中人员信息处理模块接收厂区数字孪生服务器端传输的人员信息，将人员信息中的像平面坐标转换为局部世界系坐标，以人员信息指定的多摄像机数字孪生体作为局部坐标原点，分配或更新人员孪生体到指定位置，最终在厂区数字孪生体中监测人员的位置；采用基于数字孪生的厂区人员实时定位监测系统的监测方法包括如下步骤：

步骤S1、构建多摄像机数字孪生体：布置厂区多摄像机监控模块，根据其位置的生产厂区-车间-生产线加以编号，每个生产路径的摄像机为一组，各组中相邻摄像机的视野需有一定程度的重叠，获取各厂区摄像机位置、标定信息和编号，根据各厂区摄像机位置、标定信息和编号静态构建多摄像机数字孪生体；

步骤S2、视频流传输模块按照摄像机编号顺序获取实际厂区的视频信息流；

步骤S3、视频处理与人员识别定位模块对输入的视频流进行并发的人员信息提取，视频处理与人员识别定位模块检测到输入视频流中存在工作人员i，则将此时的系统时间作为该人员信息中的时间T_i，输入该视频流信号的摄像机编号作为该人员信息中的摄像机编号C_i,检测到的人员锚框像平面坐标记为(u_i,v_i)，将这些信息存储到数据库模块中；

步骤S4、数据库模块存储视频处理与人员识别定位模块中得到人员i的信息,每个人员对应的TABLE包含以下列：TIME,CAMERA_INDEX,VECTOR,分别对应人员识别定位模块中获取到的人员信息T_i,C_i,(u_i,v_i)；同一个人员的信息表以TIME为主索引进行排序；如果数据库中没有人员i的历史信息，则新建表TABLE I存储人员信息，否则根据人员信息中的时间T_i的先后顺序将数据插入已存在的TABLE I中；

步骤S5、数据融合传输模块将TABLE I中时间最靠后的一行数据整合为向量(T_i,C_i,u_i,v_i)，传输至厂区数字孪生客户端中的人员信息处理模块；

步骤S6、人员信息处理模块根据人员信息中的摄像机编号C_i确定人员定位局部世界坐标系原点；

步骤S7、人员信息处理模块将服务器传输的整合信息中的人员坐标由像素坐标系转换至摄像机的局部世界坐标系下坐标；

步骤S8、更新人员的局部坐标系原点及局部坐标系坐标，从而更新人员位置，实现人员的动态孪生构建，最终在厂区数字孪生体中还原人员在物理厂区中的具体位置。

2.根据权利要求1所述的一种基于数字孪生的厂区人员实时定位监测方法，其特征在于：所述多摄像机监控模块与视频流传输模块通过POE有线连接，所述厂区数字孪生服务器端中视频流传输模块、视频处理与人员识别定位模块、数据库模块和数据融合传输模块在同一计算机中本地传输，所述数据融合传输模块与人员信息处理模块通过socket局域网连接。

3.根据权利要求1所述的一种基于数字孪生的厂区人员实时定位监测方法，其特征在于：所述厂区数字孪生体和多摄像机数字孪生体以实际生产厂区和多摄像机监控模块为原型进行1:1静态孪生构建，所述人员孪生体以工作人员为原型进行动态孪生构建，系统根据实际生产厂区内人员数量分配人员孪生体，人员孪生体随着对应人员的位置变化更新其位置和局部定位摄像机。