[发明专利]基于采集机器人终端的系统、机器人终端、方法及介质在审
| 申请号: | 202110053648.5 | 申请日: | 2021-01-15 |
| 公开(公告)号: | CN112908362A | 公开(公告)日: | 2021-06-04 |
| 发明(设计)人: | 秦基伟;徐明;裴卫斌;林大镰;员晓毅 | 申请(专利权)人: | 南京中兴力维软件有限公司;深圳力维智联技术有限公司 |
| 主分类号: | G10L25/63 | 分类号: | G10L25/63;G10L25/66;G10L15/22;G10L15/30;G10L15/34 |
| 代理公司: | 深圳鼎合诚知识产权代理有限公司 44281 | 代理人: | 彭家恩;彭愿洁 |
| 地址: | 210000 江苏省南京*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 采集 机器人 终端 系统 方法 介质 | ||
1.一种基于采集机器人终端的系统,其特征在于,包括云服务器和一个或多个采集机器人终端;其中:
所述采集机器人终端包括显示屏、输入部件、摄像头、扬声器、麦克风、通讯模块和处理器;所述显示屏用于显示应用界面信息;所述输入部件用于接收受访对象的输入;所述摄像头用于采集受访对象的面部视频流;所述扬声器用于向受访对象语音播报问题;所述麦克风用于采集受访对象的问题答复语音;所述通讯模块用于采集机器人终端和所述云服务器之间的数据通讯;所述处理器用于获取受访对象通过所述输入部件输入的受访对象的基本信息;所述处理器控制所述摄像头实时采集受访对象的面部视频流;所述处理器调取一预设问题库中的问题,并控制所述扬声器向受访对象语音播报所调取的问题;所述处理器控制所述麦克风采集受访对象的问题答复语音;所述处理器调取一预设游戏库中的游戏,并控制所述显示屏显示所调取的游戏的界面信息,以供受访对象通过所述输入部件和显示屏进行游戏,并且通过所述摄像头采集受访对象在游戏过程中的面部视频流;所述处理器控制所述通讯模块将所述受访对象的基本信息、所述面部视频流、所述所调取的问题、所述问题答复语音和所述所调取的游戏发送至所述云服务器;
所述云服务器用于获取所述通讯模块发送的所述受访对象的基本信息、所述面部视频流、所述所调取的问题、所述问题答复语音和所述所调取的游戏并进行处理,形成心理健康指标档案信息并储存。
2.如权利要求1所述的基于采集机器人终端的系统,其特征在于,所述云服务器包括:
语音识别服务器,用于对所述问题答复语音进行识别处理,获得语音处理数据;
情绪识别服务器,用于根据所述面部视频流,识别受访对象的内外特征;
指标收集服务器,用于结合所述受访对象的基本信息、所述面部视频流、所述所调取的问题、所述问题答复语音、所述所调取的游戏、所述语音处理数据和所述内外特征,形成心理健康指标档案信息并储存。
3.如权利要求2所述的基于采集机器人终端的系统,其特征在于,所述语音处理数据包括问题答复文字、问题答复文字的文字数量和问题回答语速;
所述对所述问题答复语音进行识别处理,获得语音处理数据,包括:
所述语音识别服务器将所述问题答复语音转化为所述问题答复文字,并判断所述问题答复文字的文字数量;所述语音识别服务器根据所述问题答复语音判断语音时长;所述语音识别服务器根据所述文字数量和所述语音时长计算所述问题回答语速。
4.如权利要求2所述的基于采集机器人终端的系统,其特征在于,所述内外特征包括面部表情、面部微动作、生理特征、生理指标和内心情绪;
所述根据所述面部视频流,识别受访对象的内外特征,包括:
所述情绪识别服务器获取所述面部视频流中的图像帧;所述情绪识别服务器根据所述图像帧识别所述面部表情、所述面部微动作、所述生理特征和所述生理指标;所述情绪识别服务器根据所述面部微动作、所述生理特征和所述生理指标,通过深度神经网络计算内心情绪。
5.一种采集机器人终端,其特征在于,包括:
显示屏,用于显示应用界面信息;
输入部件,用于接收受访对象的输入;
摄像头,用于采集受访对象的面部视频流;
扬声器,用于向受访对象语音播报问题;
麦克风,用于采集受访对象的问题答复语音;
通讯模块,用于采集机器人终端和一云服务器之间的数据通讯;以及,
处理器,用于获取受访对象通过所述输入部件输入的受访对象的基本信息;所述处理器控制所述摄像头实时采集受访对象的面部视频流;所述处理器调取一预设问题库中的问题,并控制所述扬声器向受访对象语音播报所调取的问题;所述处理器控制所述麦克风采集受访对象的问题答复语音;所述处理器调取一预设游戏库中的游戏,并控制所述显示屏显示所调取的游戏的界面信息,以供受访对象通过所述输入部件和显示屏进行游戏,并且通过所述摄像头采集受访对象在游戏过程中的面部视频流;所述处理器控制所述通讯模块将所述受访对象的基本信息、所述面部视频流、所述所调取的问题、所述问题答复语音和所述所调取的游戏发送至所述云服务器,以使所述云服务器对所接收到的数据进行处理,形成心理健康指标档案信息并储存。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京中兴力维软件有限公司;深圳力维智联技术有限公司,未经南京中兴力维软件有限公司;深圳力维智联技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110053648.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:黄色大鳞鲃人工繁育方法
- 下一篇:一种便于操作的临床护理用辅助起身器





