[发明专利]一种智能可视化交互的装置和方法

摘要

本发明公开了一种智能可视化交互的装置，包括第一终端、第一处理器、雷达装置和/或若干第二终端，第一终端是交互控制的目标终端，其包括一种显示屏单元、处理器单元和/或屏幕表示和传输单元，第一处理器包括设备接入服务单元、参数配置单元、坐标计算单元、存储单元和手势识别计算单元，雷达装置包括雷达单元、雷达电源单元、雷达脉冲发送和接收单元和雷达信号采集单元，第二终端包括显示屏单元和处理器单元。本发明属于人机交互装置技术领域，为了克服上述现有技术中非触控屏的智能交互，解决人机交互虚拟可视化等技术问题，本发明提出了一种智能可视化交互的装置和方法，实现精确和实时的人机交互控制。

主权项

1.一种智能可视化交互的装置，其特征在于，包括第一终端、第一处理器、雷达装置和/或若干第二终端；

所述第一终端是交互控制的目标终端，其包括一种显示屏单元、处理器单元和/或屏幕表示和传输单元；所述第一终端和第一处理器通过串口和/或网络相连接；处理器单元负责串口和/或网络通信、计算处理和交互内容呈现；其串口和/或网络通信和处理模块包括接收交互控制指令单元；计算处理模块负责获取逻辑屏幕分辨率大小和上报至第一处理器，和实施交互指令的执行和处理；逻辑屏幕分辨率包括横轴和纵轴大小，单位是像素；交互内容呈现模块负责交互内容的渲染，以显示在第一终端显示屏；屏幕表示和传输单元负责计算用户交互界面中可操作元素，和/或通过图像或视频编码整个用户交互界面内容，以上两种方式二者选一传输至第一处理器；

所述第一处理器包括设备接入服务单元、参数配置单元、坐标计算单元、存储单元和手势识别计算单元；所述设备接入服务单元负责接入第一终端和至少一个以上第二终端；所述参数配置单元负责接收第一终端的逻辑分辨率大小，接收至少一个以上第二终端的物理屏幕的分辨率大小，和接收雷达装置的装配参数信息，下发到第一处理器系统实施计算；所述坐标计算单元依据第一终端的逻辑分辨率大小、第二终端的物理屏幕的分辨率大小、雷达装置装配点的位置类型和对于第二终端物理屏幕左上顶点的相对位置坐标，计算处理手部动作的坐标集合的各个坐标点在第一终端的逻辑分辨率对应下的坐标点；所述存储单元存储处理坐标计算单元在连续时间上不同的坐标点集合的结果，以及预先定义的手势的信息数据和手势对应的动作含义；手势识别计算单元依据存储单元的坐标点集合在不同时间轴上变化，结合存储单元预先定义的手势信息，计算当前的手势动作类型；

所述雷达装置包括雷达单元、雷达电源单元、雷达脉冲发送和接收单元和雷达信号采集单元；所述雷达单元包含雷达物理硬件主体、电机马达模组和串口或网络访问模块，电机马达模组用于以一指定的工作频率作旋转运动完成一定角度范围自由度的扫描工作的单元，串口或网络访问模块提供雷达装置和所述第一处理器控制信号和雷达测量数据信息的网络通信和传输；所述雷达电源单元是驱动雷达模块工作的电源输入模块；所述雷达脉冲发送和接收单元用于发送激光脉冲信号，并接收反射回的信号，以达到测定手部动作的距离；所述雷达信号采集单元用于采集手部动作的各点坐标，计算形成坐标集合；

所述第二终端包括显示屏单元和处理器单元；第二终端通过串口和/或网络通信方式和雷达装置相连接，同时第二终端和第一处理器处于网络连接；所述显示屏单元第一职能是展现第一处理器发送过来第一终端的用户交互界面的内容，第二职能是此种所述显示屏也用于人机交互输入控制，第一职能为第二职能提供了可见即所得的可视化交互控制；所述处理器单元负责接收和处理第一处理器发送过来的第一终端的用户交互界面的内容，标定和获取雷达装置的装配参数信息，获取手部动作的坐标集合；所述雷达装置的装配参数信息指示雷达装置装配点的位置对于第二终端物理屏幕左上顶点的相对位置坐标。

2.一种智能可视化交互的方法，其特征在于，本方法采用雷达盲区补偿技术，解决现有技术中的直线型多点交互的遮挡问题，并且交互区域精确覆盖，无任何死角，支持雷达装置安装在第二终端显示屏周围的任意位置，尤其对于超大LED拼接屏，摆脱设备安装部署的场地和空间的局限。

3.根据权利要求2所述的一种智能可视化交互的方法，其特征在于：所述方法具体依据雷达装置的扫描射程范围，所述雷达装置的扫描射程范围表示成：[Dmin,Dmax]；所述第二终端标定的所述雷达装置的装配参数信息，指示雷达装置装配点的位置对于第二终端物理屏幕左上顶点的相对位置坐标(x0，y0)，所述装配点的相对第二终端屏幕的相对位置坐标由覆盖第二终端的交互输入控制屏幕大小和雷达装置的扫描射程范围[Dmin,Dmax]计算确定；尤其当雷达装置的装配点是水平位置安装，需测定计算确定x0至Dmin以上大小，同样地，装配点是垂直位置安装，需测定计算确定y0至Dmin以上大小；扫描屏幕区域的最远距离如果超出Dmax，则需在屏幕另外对称一侧安装第二雷达装置，所述方法以保证覆盖扫描检测到整个所述第二终端显示屏的交互区域，可精确计算和表示到像素级单位。

4.根据权利要求3所述的一种智能可视化交互的方法，其特征在于：所述方法充分利用雷达装置的扫描工作频率，在交互控制过程中，动态周期计算所述雷达装置电机马达的采集频率，当所得的采集频率小于人机交互控制设定的目标工作频率，所述第二终端向上调整和设定电机马达的转速接口参数，如此输入设定电机马达的转速和实际运行的工作频率，构成了一个反馈的闭环控制系统，最终的实际运行频率也达到了稳定状态，即所述设定的目标工作频率。

5.根据权利要求2所述的一种智能可视化交互的方法，其特征在于：所述方法具体通过第一终端的屏幕表示和传输单元计算处理所述交互控制的目标终端，即第一终端的用户交互界面内容，所述第一终端的屏幕表示和传输单元负责计算用户交互界面中可操作元素，和或通过图像/或视频编码整个用户交互界面内容，以上两种方式二者选一传输至第一处理器，所述第一处理器传输所述用户交互界面内容至第二终端，第二终端计算获取的用户交互界面内容，并在所述第二终端的显示屏上展示，以达到可视化的人机交互的技术效果。

6.根据权利要求5所述的一种智能可视化交互的方法，其特征在于：当第一终端屏幕分辨率大于1920x1080时，本发明采用的方法是所述第一终端的屏幕表示和传输单元通过计算用户交互界面中的可操作元素，灰度值采样和经过图像/或视频编码用户交互界面内容；当第一终端屏幕分辨率小于1920x1080时，所述第一终端的屏幕表示和传输单元通过计算用户交互界面中的可操作元素，彩色采样和经过图像/或视频编码用户交互界面内容。

7.根据权利要求2所述的一种智能可视化交互的方法，其特征在于：所述方法支持多个非触控的终端本地和/或异地远程接入共同对同一目标终端的交互操控，方法可应用于多个非触控设备的竞争互动应用；第一处理器包含的设备接入服务单元负责接入第一终端和至少一个以上第二终端，实现多个第二终端同时交互控制第一终端的目标设备；多个第二终端接入交互服务系统中，向第一处理器分别发送注册接入服务消息，注册接入服务消息包括第二终端的物理屏幕的分辨率大小和第二终端标定的所述雷达装置的装配参数信息，第二终端的物理屏幕的分辨率大小指示第二终端显示屏的交互区域，第二终端标定的所述雷达装置的装配参数信息指示雷达装置装配点的位置对于第二终端物理屏幕左上顶点的相对位置坐标(x0，y0)；第一处理器返回所述第一终端的逻辑分辨率大小和第一终端的屏幕表示和传输单元计算的屏幕表示方法类型指示参数和屏幕表示的数据流；第二终端获取第一终端的逻辑分辨率大小、第一终端的屏幕表示方法类型指示参数和屏幕表示数据流，进行计算处理和渲染输出至第二终端显示屏；交互过程中，第二终端获取手部动作的坐标集合传输至所述第一处理器，第一处理器存储和合并处理所述多个第二终端同一时刻的坐标集合，坐标计算单元计算在连续时间上不同的坐标点集合的结果，以及预先定义的手势的信息数据和手势对应的动作含义，匹配计算当前的手势动作类型，第一处理器将当前的手势动作类型实时传输至第一终端计算和执行交互指令。