[发明专利]基于增强现实的大屏显示方法及装置

权利要求书

1.基于增强现实的大屏显示方法，其特征在于，所述方法执行以下步骤：

步骤1：通过三个图像采集单元，对当前场景中的实物进行图像采集，得到三个场景图像；

步骤2：对三个场景图像分别进行图像去噪处理，然后进行图像色彩通道分离，分别得到红色通道图像、蓝色通道图像和黄色通道图像；

步骤3：对三个场景图像进行图像融合，得到融合后的场景图像；

步骤4：对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果；

步骤5：基于识别结果，在数据库中调取该实物对应的数据信息；

步骤6：将实物和对应的数据信息，发送到大屏显示器中，进行显示；同时将每个数据信息，叠加在对应的实物的相应位置处进行显示。

2.如权利要求1所述的方法，其特征在于，所述步骤6中，将每个数据信息，叠加在对应的实物的相应位置处进行显示包括：根据场景图像确定所述图像采集单元相对所述实物的实时姿态信息；根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，并将所述三维显示信息叠加在所述场景图像的相应位置处进行显示，所述三维显示信息包括用于模拟所述实物的三维显示信息。

3.如权利要求2所述的方法，其特征在于，根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，包括：根据所述实时姿态信息以及所述图像采集单元的图像采集参数，得到投影矩阵；

对预先存储的对应于所述实物的三维素材信息中的每一个顶点，根据所述投影矩阵计算所述顶点在成像平面上对应的像素成像位置，根据所述顶点的色彩信息确定所述像素成像位置处对应的色彩信息。

4.如权利要求3所述的方法，其特征在于，所述步骤4：对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果的方法包括：对融合后的额场景图像进行阈值分割，得到二值化图像，将二值化图像进行一次开闭运算，得到分割后的图像；针对每个分割后的图像分别进行图像识别，然后将针对每个分割后的图像的识别结果作为一个集合，该集合为该场景图像的识别结果。

5.一种用于实现权利要求1至4之一所述方法的基于增强现实的大屏显示装置，其特征在于，所述装置包括：图像采集模块，包括：三个图像采集单元，所述三个图像采集单元对当前场景中的实物进行图像采集，得到三个场景图像；图像处理单元，配置用于对三个场景图像分别进行图像去噪处理，然后进行图像色彩通道分离，分别得到红色通道图像、蓝色通道图像和黄色通道图像；图像融合单元，配置用于对三个场景图像进行图像融合，得到融合后的场景图像；图像识别单元，配置用于对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果；基于识别结果，在数据库中调取该实物对应的数据信息；显示单元，配置用于将实物和对应的数据信息，发送到大屏显示器中，进行显示；同时将每个数据信息，叠加在对应的实物的相应位置处进行显示。

6.如权利要求5所述的装置，其特征在于，所述显示单元，将每个数据信息，叠加在对应的实物的相应位置处进行显示的方法包括：根据场景图像确定所述图像采集单元相对所述实物的实时姿态信息；根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，并将所述三维显示信息叠加在所述场景图像的相应位置处进行显示，所述三维显示信息包括用于模拟所述实物的三维显示信息。

7.如权利要求6所述的装置，其特征在于，根据所述图像采集单元的图像采集参数和实时姿态信息、以及预先存储的对应于所述实物的三维素材信息，获得对应于所述实物和当前的实时姿态的三维显示信息，包括：根据所述实时姿态信息以及所述图像采集单元的图像采集参数，得到投影矩阵；对预先存储的对应于所述实物的三维素材信息中的每一个顶点，根据所述投影矩阵计算所述顶点在成像平面上对应的像素成像位置，根据所述顶点的色彩信息确定所述像素成像位置处对应的色彩信息。

8.如权利要求7所述的装置，其特征在于，所述图像识别单元对融合后的场景图像进行图像识别，识别场景图像中的实物，得到识别结果的方法包括：对融合后的场景图像进行阈值分割，得到二值化图像，将二值化图像进行一次开闭运算，得到分割后的图像；针对每个分割后的图像分别进行图像识别，然后将针对每个分割后的图像的识别结果作为一个集合，该集合为该场景图像的识别结果。