[发明专利]一种基于边缘计算的实时交互体感方法、系统及介质

权利要求书

1.一种基于边缘计算的实时交互体感系统，所述包括智能终端，智能电视；

所述智能终端包括如下单元：传感器采集层、核心计算层、第二网络协议层、UI交互层；

所述智能电视包括如下单元：第一网络协议层、数据解码处理层、应用逻辑控制层、视觉渲染层；

其中所述传感器采集层用于实时采集图像序列，并传递给核心计算层；

核心计算层计算得到人体交互数据；

第二网络协议层将核心计算层得到的交互数据进行编码，并实时传输至智能电视2用于交互逻辑处理；

UI交互层用于与用户交互；

第一网络协议层用于与智能终端进行网络通信并接收从智能终端传送的数据；

数据解码处理层将编码数据做解码运算处理并发送给应用逻辑控制层；

应用逻辑控制层利用接收到的人体交互数据做应用逻辑处理，并将处理结果反馈至视觉渲染层；

视觉渲染层根据应用逻辑控制层的处理结果进行渲染。

2.根据权利要求1所述的系统，所述人体交互数据包括：人体关键点数据、面部表情或手势位姿。

3.根据权利要求2所述的系统，所述核心层使用mobilenet与级联卷积姿态向量机输出热点图，并根据所述热点图输出所述人体交互数据。

4.一种基于边缘计算的实时交互体感方法，其包括如下步骤：

S1，智能终端接收获取人体交互数据的命令；

S2，智能终端控制传感器获取人体图像序列；

S3，智能终端通过卷积神经网络处理所述人体图像序列以获得人体交互数据；

S4，智能终端对所述人体交互数据进行编码得到编码后的人体交互数据；

S5，智能终端将所述编码后的人体交互数据发送给智能电视。

5.根据权利要求4所述的方法，其还包括如下步骤：

S6，智能电视接收所述编码后的人体交互数据；并解码所述人体交互数据；

S7、智能电视根据所述人体交互数据进行交互逻辑控制；

S8、智能电视根据所述交互逻辑进行渲染。

6.根据权利要求4所述的方法，在步骤S1之前还包括建立智能终端与智能电视的通信，其具体步骤如下：

S01.确保智能终端与大屏终端连接同一WIFI网络；

S02.智能终端端暴露本网络下IP地址，监听一端口；

S03.大屏终端获取本地子网掩码；

S04.遍历子网掩码的最后一位，从00-255开启4线程友好连接，直到连接配对智能终端成功，方停止搜索地址。

7.根据权利要求4所述的方法，步骤S4使用霍夫曼编码对所述人体交互数据进行编码。

8.根据权利要求7所述的方法，使用霍夫曼编码还包括建立霍夫曼树，所述建立霍夫曼树的具体步骤如下：

S41、将信源符号的概率按降序排队；

S42、把两个最小的概率相加，并继续这一步骤，始终将较高的概率分支放在右边，直到最后变成概率1；

S43、画出由概率1处到每个信源符号的路径，顺序记下沿路径的0和1，所得就是该符号的霍夫曼码字；

S44、将每对组合的左边一个指定为0，右边一个指定为1。

9.根据权利要求4所述的方法，所述卷积神经网络为mobilenet与级联卷积姿态向量机输出热点图，并根据所述热点图输出所述人体交互数据。

10.一种计算机易失存储介质，其上存储有程序，所述程序被处理其执行时，用以实现如权利要求4-9任一项所述的方法。