[发明专利]一种实时表情捕捉系统

权利要求书

1.一种实时表情捕捉系统，包括数据格式和表情配置、模型创造和配置、系统架构，所述系统架构包括发布者、基于视频信号的输入、FACS检测引擎、离线记录模块、消息交换模块、GUI模块、机器学习模块、AU到混合形状转换模块、AU转换文件模块、可视化引擎模块、订阅者；

所述所有模块通过网络协议进行通信，所述协议包括TCP、UDP以及其他应用层协议；

所述数据格式和表情配置是基于FACS构建，所述FACS包括肌肉强度值，肌肉变化被分成动作单元(AUs)，所述肌肉强度值存储在一个一维数组中；

所述模型创造和配置包括插件和混合形状，所述插件包括ManuelBastioniLAB2(MBLAB)插件、Maya、Blender3插件与FACSHuman3插件，所述混合形状的面部结构是通过线性插值来修改的；

所述基于视频信号的输入是基于FACS的数据输入，通过FACS检测引擎，通过网络实时发送AU、眼睛注视和头部旋转值；

所述FACS检测引擎包括输入参数与输出参数，所述输入参数包括图片和视频，所述输出参数为AU头部旋转参数，所述输入参数经过内部detectface函数处理，并从面部数据中提取AUs后生成输出参数；

所述离线记录模块包括输入数据和输出数据，所述输入数据为CSV格式文件的面部特征数据，所述输出数据为AU头部旋转参数；

消息交换模块和FACS检测引擎、离线记录模块、GUI模块、机器学习模块、AU到混合形状转换模块、AU转换文件模块、可视化引擎模块连接，用于进行信息交换；

GUI模块用于与用户进行信息交互；

机器学习模块用于通过深度学习获取面部动画；

AU到混合形状转换模块是一种转换器模块，用于AU到混合形状的转换；

AU转换文件模块用于进行格式转换。

2.根据权利要求1所述的一种实时表情捕捉系统，其特征在于：所述消息交换模块是一个简单的消息代理，将接收到的消息从输入模块传递到框架中的其他模块，通过使用消息交换模块，其他模块只需知道此模块的地址即可发布或订阅数据。

3.根据权利要求1所述的一种实时表情捕捉系统，其特征在于：所述GUI模块是一个可编程的图形用户界面，通过滑动条实时地参数化地修改AU值。

4.根据权利要求1所述的一种实时表情捕捉系统，其特征在于：所述机器学习模块利用Keras实现了一个简单的门控递归单元神经网络，通过生成数据驱动面部动画，包括输入端和输出端，所述输入端给出一个17个肌肉强度的数组，所述输出端为生成的17个肌肉强度。

5.根据权利要求1所述的一种实时表情捕捉系统，其特征在于：所述AU转换文件模块输入AU值，经过转换后可生成JSON、CSV格式的文件。