[发明专利]基于体态控制的语义信息采集系统及方法

权利要求书

1.基于体态控制的语义信息采集系统，包括图像采集模块、声音采集模块、服务器和输出模块，其特征在于，服务器包括语音识别模块、肢体语言分析模块、法律数据库和处理模块，其中：

图像采集模块和声音采集模块分别用于实时获取用户的视频数据和声音信息；

语音识别模块，用于接收并处理声音信息，生成相应的文本信息；

肢体语言分析模块，用于分析用户在交谈过程中下意识触发的举动，接收并处理视频数据，生成图像数据；并提取图像数据中的特征信息，生成肢体语言信息；

法律数据库，用于预先存储若干法律信息；

处理模块，用于接收并处理肢体语言信息和文本信息，若采集到的肢体语言信息与文本信息不符，生成告警信号，提示用户重新确认；反之，则提取出文本信息中的关键字信息并根据关键字信息从法律数据库中匹配出相应的法律信息，并根据法律信息生成法律建议书；

输出模块，用于接收并显示法律建议书；

语音识别模块包括语音特征提取子模块、语料数据库和结果生成子模块，其中：

语音特征提取子模块，用于采用滤波和分帧对声音信息进行预处理；并根据傅里叶变换处理声音信息，生成特征向量；

语料数据库，用于预先存储若干语音样本信息；

结果生成子模块，用于根据深度神经网络处理语音样本信息，经过多次迭代训练，得到训练成功的语言模型；并根据HMM算法处理特征向量，将特征向量匹配到语言模型中，生成相应的文本信息；

肢体语言分析模块包括图像预处理子模块、目标检测子模块以及肢体语言判断子模块，其中：

图像预处理子模块，用于采用灰度转化、中值滤波和直方图均衡化对视频数据进行处理；

目标检测子模块，目标检测子模块，用于预先设定分隔阈值，并根据帧间差分法处理视频数据，对视频数据中相邻两帧图像的像素点灰度值进行差运算，若差值的绝对值大于分隔阈值，则提取出图像中的人手区域；目标检测子模块还用于对人手区域采用二值化处理，生成第一窗口信息；

肢体语言判断子模块，用于根据目标跟踪算法处理第一窗口信息，生成以胳膊肘作为原点、前臂作为纵轴、后臂作为横轴的二维坐标系；并将前臂与后臂垂直时，前臂的区域划定为第一窗口信息的中间区域；当前臂向左右摆动离开中间区域时，判断为否定语义信息；

目标检测子模块还用于根据轮廓特征提取图像中用户的头部区域，生成第二窗口信息，其中第二窗口信息中还包括用户的面部五官；

肢体语言判断子模块还用于以面部五官作为参照对象，并判断相邻两帧图像中参照对象的相对位置信息，如果相对位置信息为纵向变化，则判定为肯定语义信息，反之，如果相对位置信息为横向变化，判定为否定语义信息；

还包括自纠正模块，用于提取文本信息中连续出现的特征向量，若其中一个特征向量与其余特征向量的长度和方向不同，则提取并处理该特征向量发生节点的视频数据，得到肢体语言信息；如果肢体语言信息和文本信息不符，则生成提示信息。

2.根据权利要求1所述的基于体态控制的语义信息采集系统，其特征在于：所述图像预处理子模块还用于根据Gray＝(R*30+G*59+B*11)/100将视频数据中每个像素点的RGB颜色空间转换为一维灰度值；并根据颜色直方图对每个像素点的灰度值进行统计后，采用归一化处理将灰度值重新分配。

3.根据权利要求1所述的基于体态控制的语义信息采集系统，其特征在于：所述分隔阈值为15。

4.基于体态控制的语义信息采集方法，其特征在于：还包括如下步骤：

S1、通过图像采集模块和声音采集模块实时获取用户的视频数据和声音信息；并向法律数据库中预先输入若干法律信息；

S2、通过声音识别模块接收并处理声音信息，生成相应的文本信息；

S3、通过分析用户在交谈过程中下意识触发的举动，由肢体语言分析模块接收并处理视频数据，生成图像数据；并提取图像数据中的特征信息，生成肢体语言信息；

S4、通过处理模块接收并处理肢体语言信息和文本信息，若采集到的肢体语言信息与文本信息不符，生成告警信号，提示用户重新确认；反之，则提取出文本信息中的关键字信息并根据关键字信息从法律数据库中匹配出相应的法律信息，再根据法律信息生成法律建议书；

S5、通过输出模块推送出法律建议书；

步骤S2包括如下步骤：

S201、通过语音特征提取子模块采用滤波和分帧对声音信息进行预处理；并根据傅里叶变换处理声音信息，生成特征向量；并预先向语料数据库中输入若干语音样本信息；

S202、通过结果生成子模块根据深度神经网络处理语音样本信息，经过多次迭代训练，得到训练成功的语言模型；并根据HMM算法处理特征向量，将特征向量匹配到语言模型中，生成相应的文本信息；

步骤S3包括如下步骤：

S301、通过图像预处理子模块采用灰度转化、中值滤波和直方图均衡化对视频数据进行处理；

S302、通过目标检测子模块预先设定分隔阈值，并根据帧间差分法处理视频数据，对视频数据中相邻两帧图像的像素点灰度值进行差运算，若差值的绝对值大于分隔阈值，则提取出图像中的人手区域；目标检测子模块还用于对人手区域采用二值化处理，生成第一窗口信息；

S303、通过肢体语言判断子模块根据目标跟踪算法处理第一窗口信息，生成以胳膊肘作为原点、前臂作为纵轴、后臂作为横轴的二维坐标系；并将前臂与后臂垂直时，前臂的区域划定为第一窗口信息的中间区域；当前臂向左右摆动离开中间区域时，判断为否定语义信息；

步骤S3还包括如下步骤：

S304、通过目标检测子模块根据轮廓特征提取图像中用户的头部区域，生成第二窗口信息，其中第二窗口信息中还包括用户的面部五官；

S305、通过肢体语言判断子模块以面部五官作为参照对象，并判断相邻两帧图像中参照对象的相对位置信息，如果相对位置信息为纵向变化，则判定为肯定语义信息，反之，如果相对位置信息为横向变化，判定为否定语义信息；

还包括自纠正步骤，提取出文本信息中连续出现的特征向量，若其中一个特征向量与其余特征向量的长度和方向不同，则提取并处理该特征向量发生节点的视频数据，得到肢体语言信息；如果肢体语言信息和文本信息不符，则生成提示信息。