[发明专利]一种多模态显示装置

说明书

本发明涉及一种多模态显示装置，其特征在于，包括N个模态显示器以及光学合成器，其中，N个模态显示器分别用于显示N个物理模态的光学信号，其中，N个光学信号的物理模态全部不同或者至少部分相同，光学合成器用于将N个模态显示器产生的内容在观测点合成在一起一并呈现给观测方设备，N≥2。从各个可度量的物理维度来看，本发明所公开的显示设备呈现的虚拟内容与真实物体几乎没有差异。与通常意义的显示装置一样，本发明的显示装置能够重复改变其显示内容，所以，与直接呈现真实物体相比，使用本发明提供的显示装置呈现的内容具有显著的灵活性。在真实物体不可获得或者获取成本较高的情况下，可以通过本发明公开的装置以较低的成本呈现该内容。

技术领域

本发明涉及一种多模态显示技术。

背景技术

多模态显示技术指的是能够同时呈现多种模态图像的显示技术。传统意义上的多模态显示技术主要指的是在普通显示器或者电脑上提供多种模态的数字化图像的显示。比如，在医学诊断中，通过同时提供同一部位来自X光、核磁共振和声纳的图像，可以提升医生诊断和治疗时的信息获取能力。

发明内容

本发明的目的是：提供一种与传统多模态显示技术完全不同的多模态显示方法，提供物理层面的多模态显示能力，能够在物理信号上同时呈现出一个物体的3维外形、彩色、红外、温度等不同模态的信息。

为了达到上述目的，本发明的技术方案是提供了一种多模态显示装置，其特征在于，包括N个模态显示器以及光学合成器，其中，N个模态显示器分别用于显示N个物理模态的光学信号，其中，N个光学信号的物理模态全部不同或者至少部分相同，光学合成器用于将N个模态显示器产生的内容在观测点合成在一起一并呈现给观测方设备，N≥2。

优选地，所述模态显示器选用RGB模态显示器、IR模态显示器和/或深度模态显示器。

优选地，将与所述光学合成器平面垂直的平面定义为参考平面，则：

所述RGB模态显示器的显示平面与参考平面呈一个夹角，以避免RGB模态显示器反射观测方设备的投影和照明光，并基于该夹角对RGB模态显示器显示的内容作对应的形变矫正；

所述IR模态显示器的显示平面与参考平面呈一个夹角，以避免IR模态显示器反射观测方设备的投影和照明光，并基于该夹角对IR模态显示器显示的内容作对应的形变矫正。

优选地，所述IR模态显示器为IR波段的数码光处理投影机、IR波段的LCD屏幕、电子墨水屏或打印内容的纸张中的一种，其中：

在电子墨水屏上加装IR光源，将想要显示的IR图像作为电子墨水屏的显示画面，从而在IR波段显示对应的IR图像；

将想要显示的IR图像打印在纸张上从而形成打印内容的纸张，并补充IR光源。

优选地，所述深度模态显示器为基于结构光技术的深度模态显示器或基于ToF技术的深度模态显示器。

优选地，所述基于结构光技术的深度模态显示器为基于物理实体模型的深度模态显示器或基于虚拟生成的结构光散斑图案的深度模态显示器。

优选地，所述基于物理实体模型的深度模态显示器为采用3D打印技术制作得到待显示物体的实物模型，其中，3D打印材料采用具有漫反射特性的树脂；

所述基于虚拟生成的结构光散斑图案的深度模态显示器为通过所述IR模态显示器来呈现的结合待显示的物体3D模型通过计算得出的物体出现状态下的结构光散斑图案。

优选地，所述基于ToF技术的深度模态显示器包括用于反射ToF投影仪信号以产生准确的深度信息的物理实体模型以及用于保证ToF深度信息不被影响的情况下让ToF传感器收到特定强度信息的光强衰减滤镜。

优选地，所述物理实体模型为采用3D打印技术制作得到待显示物体的实物模型，其中，3D打印材料采用具有漫反射特性的树脂。