[发明专利]车载多音区语音分离方法及电子设备和存储介质

说明书

本发明公开一种车载多音区语音分离方法、电子设备和存储介质，其中，一种车载多音区语音分离方法，包括：将获取的高保真音频与获取的房间脉冲响应数据进行卷积，得到混合信号和至少一个语音标签；基于所述混合信号和所述至少一个语音标签训练融合波束成形的网络模型；基于预设的仿真测试集测试所述融合波束成形的网络模型，判断所述融合波束成形的网络模型是否达到预设要求；若达到预设要求，基于所述融合波束成形的网络模型预测所述混合信号和所述至少一个语音标签的波束成形的权重，得到每一音区分离信号。

技术领域

本申请实施例涉及语音识别技术领域，特别是涉及一种车载多音区语音方法及电子设备和存储介质。

背景技术

随着汽车智能座舱的发展，对于车载多音区语音交互要求越来越高，尤其体现在多音区语音分离。

现有技术中，传统算法的车载多音区语音分离方案，主要涉及回声消除(AEC)、波束形成(BF)、盲源分离(BSS)以及后处理(POST)等技术。AEC主要作为语音分离的前处理，用于消除车载场景下，麦克风采集到的本机播放以及TTS语音播报；BF通过麦克风之间的相位信息，对各个音区进行增强；BSS基于信号源的独立性假设，通过信号的统计分布解混成若干独立成分；POST主要对分离后各个通道残余的干扰做进一步的抑制。缺陷是处理过程繁琐且各个模块较难同时达到最优，导致整体分离效果欠佳。

基于NN的车载多音区语音分离方案，也包括AEC部分，但相较于传统方案，BF、BSS、POST则采用端到端的NN(神经网络)方案代替。针对端到端的NN方案，主要分为基于时域和基于频域两大类，而基于频域的NN方案又可通过优化目标的不同分为，基于掩码的，如理想二进制掩码(IBM)或理想比率掩码(IRM)和基于映射的方法，如对数功率谱(LPS)或幅度谱(MS)。缺陷是由于仿真的房间冲激响应(RIR)与实际车内RIR有一定差距，导致NN直出的多音区分离音频失真较大，对识别，唤醒等后端影响较大。

发明内容

本发明实施例提供了一种车载多音区语音分离方法以及装置，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供了一种车载多音区语音分离方法，包括：将获取的高保真音频与获取的房间脉冲响应数据进行卷积，得到混合信号和至少一个语音标签；基于所述混合信号和所述至少一个语音标签训练融合波束成形的网络模型；基于预设的仿真测试集测试所述融合波束成形的网络模型，判断所述融合波束成形的网络模型是否达到预设要求；若达到预设要求，基于所述融合波束成形的网络模型预测所述混合信号和所述至少一个语音标签的波束成形的权重，得到每一音区分离信号。

第二方面，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项车载多音区语音分离方法。

第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项车载多音区语音分离方法。

第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项车载多音区语音分离方法。

本申请的方法通过采用三维建模软件基于车辆三维模型获取实车数据，从而可以实现比实车测量具有更高的准确性以及提前进行模型训练；然后采用波束成形网络模块基于大量先验信息预测波束成形的权重，从而可以大大减小了音区间的模糊区域，使用户在车内可以采用更自由的坐姿去进行交互，提高音区分离的分辨率以及精度；进一步地，使用各个音区的分离信号指导传统盲源分离的分离，从而可以使其具有更高的分离度。

附图说明