[发明专利]一种基于边缘计算的实时交互体感方法、系统及介质

说明书

本发明公开了一种基于边缘计算的实时交互体感方法，其包括如下步骤：S1，智能终端接收获取人体交互数据的命令；S2，智能终端控制传感器获取人体图像序列；S3，智能终端通过卷积神经网络处理所述人体图像序列以获得人体交互数据；S4，智能终端对所述人体交互数据进行编码得到编码后的人体交互数据；S5，智能终端将所述编码后的人体交互数据发送给智能电视。本发明将采用以智能手机作为边缘计算媒介，与大屏终端系统进行通信交互，而大屏终端主要提供视觉渲染与逻辑交互功能，因此其不需要复杂算力，克服了大屏终端的算力瓶颈。

技术领域

本发明涉及交互体感领域，具体来说，涉及基于边缘计算的实时交互体感方法、系统及介质。

背景技术

随着智能电视大屏幕(智能大屏)的普及，出现了可视交互的需求，例如大屏幕体感游戏，动作捕捉，手势控制识别等。然而，智能大屏沉浸式体感应用需要消耗较大计算能力与计算资源。目前主流的智能电视的硬件配置普遍较低，以Arm架构为主，高配芯片采用Mali-G72设计架构，以CPU算力以及GPU渲染能力来衡量的性能仅是智能手机的1/4。智能大屏终端主要是进行视频播放或其它低硬件需求应用，无须执行复杂计算程序，因此其相应的硬件配置不是很高。此外，大部分智能电视采用安卓操作系统，但绝大多数APP均实现视频播放功能，亦无须更高硬件配置支持。

因此现有的大屏幕体感应用大多依赖额外高成本算力单元，如LipMotion，Kinect等动捕单元，增大了大屏体感应用成本。阻碍了智能大屏的体感应用的普及。

本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于边缘计算的实时交互体感系统，所述包括智能终端，智能电视；

所述智能终端包括如下单元：传感器采集层、核心计算层、第二网络协议层、UI交互层；

所述智能电视包括如下单元：第一网络协议层、数据解码处理层、应用逻辑控制层、视觉渲染层；

其中所述传感器采集层用于实时采集图像序列，并传递给核心计算层；

核心计算层计算得到人体交互数据；

第二网络协议层将核心计算层得到的交互数据进行编码，并实时传输至智能电视2用于交互逻辑处理；

UI交互层用于与用户交互；

第一网络协议层用于与智能终端进行网络通信并接收从智能终端传送的数据；

数据解码处理层将编码数据做解码运算处理并发送给应用逻辑控制层；

应用逻辑控制层利用接收到的人体交互数据做应用逻辑处理，并将处理结果反馈至视觉渲染层；

视觉渲染层根据应用逻辑控制层的处理结果进行渲染。

具体的，所述人体交互数据包括：人体关键点数据、面部表情或手势位姿。

具体的，所述核心层使用mobilenet与级联卷积姿态向量机输出热点图，并根据所述热点图输出所述人体交互数据。

另一方面，本发明提出了一种基于边缘计算的实时交互体感方法，其包括如下步骤：

S1，智能终端接收获取人体交互数据的命令；

S2，智能终端控制传感器获取人体图像序列；

S3，智能终端通过卷积神经网络处理所述人体图像序列以获得人体交互数据；

S4，智能终端对所述人体交互数据进行编码得到编码后的人体交互数据；