[发明专利]应用于电视场景的多模态交互方法

摘要

本发明涉及语音交互和图像处理技术领域，其公开了一种应用于电视场景的多模态交互方法，解决现有远场语音交互方案中存在的每次交互需要先说唤醒词，并且系统需要对播放音量进行调节，影响交互的流畅度和体验感的问题。本发明在获取到语音数据时进行缓存，同时通过对图像采集设备采集的用户图像进行识别，通过识别来确定用户是否有语音交互意图，若判定用户当前有语音交互意图才进行语音数据有效性判断，将有效的语音数据上传给云端服务器进行语音识别和语义理解处理。本发明适用于电视、音箱等设备的远场语音交互。

主权项

1.应用于电视场景的多模态交互方法，其特征在于，应用于包括语音采集设备和图像采集设备的电视系统中，所述电视系统上运行有语音交互应用服务和说话检测应用服务，该方法包括以下步骤：步骤1、语音交互应用服务在获取语音数据时，对语音数据进行缓存，同时通过调用说话检测应用服务对采集的图像进行识别；步骤2、说话检测应用服务根据对采集的图像的识别来检测当前用户是否有语音交互意图，并将检测结果发送给语音交互应用服务；步骤3、若语音交互应用服务接收到当前用户有语音交互意图的检测结果，则通过VAD算法对缓存的语音数据中是否含有有效语音数据进行判断，若含有有效语音数据，则将缓存的语音数据上传给云端服务器；步骤4、云端服务器对上传的语音数据进行语音识别以及自然语言处理，将处理结果发送给电视系统的语音交互应用服务；步骤5、语音交互应用服务根据云端服务器反馈的处理结果判断是否为与电视场景匹配的控制指令，若是，则执行控制指令并使用TTS技术进行语音回复，从而完成一轮语音交互。