[发明专利]增强现实耳机环境渲染

说明书

声学混响的准确建模可能是为参与者生成并提供现实的虚拟现实或增强现实体验必需的。在例子中，可以提供用于使用耳机回放的混响信号。混响信号可以对应于起源于局部收听者环境中的指定地点的虚拟声源信号。除了其他方面之外，提供混响信号还可以包括使用关于来自参考环境的参考脉冲响应的信息并且使用关于参与者的局部环境中的混响衰退的特性信息。提供混响信号可以进一步包括使用关于参考环境的体积和参与者的局部环境的体积之间的关系的信息。

优先权声明

本国际申请要求2016年2月2日提交的美国专利申请No.62/290,394和2016年9月16日提交的美国专利申请No.62/395,882的优先权权益，这些申请中的每篇整体通过引用并入本文。

背景技术

音频信号再现已经发展到超越了简单的立体声或双声道配置或系统。例如，环绕声系统(诸如5.1环绕声)常用于家庭安装和商业安装中。这样的系统利用位于相对于预期收听者的各种地点的扩音器，并且被配置为为收听者提供比从常规立体声配置可获得的体验更沉浸式的体验。

一些音频信号再现系统被配置为递送三维音频或3D音频。在3D音频中，声音是由立体声扬声器、环绕声扬声器、扬声器阵列、或耳机或耳麦产生的，并且可以涉及或包括将声源虚拟地放置在收听者在听觉上感知到的真实的或理论的三维空间中。例如，虚拟化声音可以在听到3D音频处理后的声音的收听者的上面、下面或者甚至后面提供。

经由耳机的常规立体声音频再现趋向于提供被感知为起源于或来自于收听者的头部内部的声音。在例子中，可以对由耳机递送的(包括使用常规的扩音器驱动器立体声对递送的)音频信号进行特殊处理以实现3D音频效果，诸如为收听者提供感知到的空间声音环境。3D音频耳机系统可以用于虚拟现实应用，诸如为收听者提供没有真实声源存在的局部或虚拟环境中的特定位置处的声源的感知。在例子中，3D音频耳机系统可以用于增强现实应用，诸如为收听者提供没有真实声源存在的位置处的声源的感知，但是以收听者保持至少部分地知道局部环境中的一个或多个真实声音的方式。

发明内容

提供本发明内容是为了以简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本发明内容并非意图认定要求保护的主题的关键特征或基本特征，也不意图用于以任何方式限制要求保护的主题的范围。

计算机生成的用于虚拟现实(VR)或增强现实(AR)的音频渲染可以利用游戏和虚拟现实音频渲染系统和应用编程接口中的信号处理技术发展，诸如建立在计算机音乐和建筑声学领域中的以前的发展之上并且从这些发展延伸的信号处理技术发展。可以应用各种双耳技术、人工混响、物理房间声学建模和可听化技术来为用户提供增强的收听体验。在例子中，VR或AR音频可以经由耳机或耳麦递送到收听者。VR或AR信号处理系统可以被配置为再现一些声音以使得它们被收听者感知为来自于局部环境中的外部源，而不是来自于耳机或收听者的头部内部的地点。

与VR 3D音频相比，AR音频涉及鼓励参与者的怀疑的暂停(诸如通过提供基本上与局部收听环境的声学一致的模拟环境声学和源-环境相互作用)的额外挑战。也就是说，本申请的发明人已经认识到，要被解决的问题包括以这样的方式对虚拟信号或添加的信号提供音频信号处理：信号包括或表示用户的环境，并且使得信号不易于与环境中自然出现的或通过扩音器再现的其他声音区分开。例子可以包括被配置为模拟物理存在的声源的“翻版”的虚拟声源的渲染。该例子可以包括例如真实表演者和演奏相同乐器的虚拟表演者之间的二重奏、或真实人物和他/她的“虚拟双胞胎”在给定环境中的对话。

在例子中，在虚拟声场中提供准确的声源的问题的解决方案可以包括对于给定的收听环境、匹配并应用混响衰退时间、混响响度特性和/或混响均衡特性(例如，混响的频谱内容)。本申请的发明人已经认识到，进一步的解决方案可以包括或使用测得的双耳房间脉冲响应(BRIR)或从关于环境的物理或几何数据计算的脉冲响应。在例子中，解决方案可以包括或使用测量环境中的混响时间，诸如多个频带中的混响时间，并且可以进一步包括或使用关于环境(或房间)体积的信息。