[发明专利]360度视频传输的用户观看视点序列预测方法有效
| 申请号： | 201810886661.7 | 申请日： | 2018-08-06 |
| 公开（公告）号： | CN109257584B | 公开（公告）日： | 2020-03-10 |
| 发明（设计）人： | 邹君妮;杨琴;刘昕;李成林;熊红凯 | 申请（专利权）人： | 上海交通大学 |
| 主分类号： | H04N13/117 | 分类号： | H04N13/117;H04N13/366;G06N3/04 |
| 代理公司： | 上海恒慧知识产权代理事务所(特殊普通合伙) 31317 | 代理人： | 徐红银 |
| 地址： | 200240 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种360度视频传输的用户观看视点序列预测方法，所述方法包括：将用户过去时刻的视点位置作为视点序列预测模型的输入，通过所述视点序列预测模型预测未来多个时刻的视点位置，所述未来多个时刻的视点位置构成第一视点序列；通过视点跟踪模型，将视频内容作为所述视点跟踪模型的输入，通过所述视点跟踪模型预测未来多个时刻的视点位置，所述未来多个时刻的视点位置构成第二视点序列；结合第一视点序列和第二视点序列，确定用户未来的观看视点序列。本发明中的预测方法能够具有良好的实用性和扩展性，能够根据用户头部运动速度改变预测视点的序列长度。 | ||
| 搜索关键词： | 360 视频 传输 用户 观看 视点 序列 预测 方法 | ||
【主权项】：
1.一种360度视频传输的用户观看视点序列预测方法，其特征在于，包括：将用户过去时刻的视点位置作为视点序列预测模型的输入，通过所述视点序列预测模型预测未来多个时刻的视点位置，所述未来多个时刻的视点位置构成第一视点序列；通过视点跟踪模型，将视频内容作为所述视点跟踪模型的输入，通过所述视点跟踪模型预测未来多个时刻的视点位置，所述未来多个时刻的视点位置构成第二视点序列；结合第一视点序列和第二视点序列，确定用户未来的观看视点序列。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海交通大学，未经上海交通大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810886661.7/，转载请声明来源钻瓜专利网。
- 同类专利
- 空间不均等流媒体化-202210671497.4
- 罗伯特·斯库皮;哥尼流·赫勒格;托马斯·斯基尔勒;雅格·桑切斯·德·拉·富恩特;迪米特里·普德保斯基;托马斯·威甘德 - 弗劳恩霍夫应用研究促进协会
- 2017-10-11 - 2023-10-27 - H04N13/117
- 本申请涉及一种具有编码至其中的视频的视频比特流、和解码所述视频比特流的方法。描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。
- 空间不均等流媒体化-202210671240.9
- 罗伯特·斯库皮;哥尼流·赫勒格;托马斯·斯基尔勒;雅格·桑切斯·德·拉·富恩特;迪米特里·普德保斯基;托马斯·威甘德 - 弗劳恩霍夫应用研究促进协会
- 2017-10-11 - 2023-10-24 - H04N13/117
- 本申请涉及一种用于对具有编码至其中的视频的视频比特流进行解码的解码器、一种用于流媒体化来自服务器的视频比特流的方法、装置和数字存储介质。描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。
- 图像处理方法及装置、存储介质、电子设备-202310622670.6
- 马思研;陈丽莉;李文宇;李治富;李言 - 京东方科技集团股份有限公司;北京京东方技术开发有限公司
- 2023-05-29 - 2023-09-29 - H04N13/117
- 本公开具体图像处理技术领域，具体涉及一种图像处理方法及装置、存储介质、电子设备。所述方法包括：获取深度相机采集的目标深度图像、彩色相机采集的目标彩色图像；基于深度相机与彩色相机的矩阵转换关系，将所述目标深度图像对应的原始三维点云投影至目标彩色图像，并根据匹配的投影点确定输入视点图像；确定用户视线，并根据用户视线确定所述输入视点图像中对应第二注视区域，基于第二注视区域对应的注视区域图像进行图像融合处理，以获取高清注视区域图像；对所述输入视点图像进行缩放、融合处理，以获取低清图像；对高清注视区域图像、低清图像进行图像融合处理，以获取待显示的虚拟视点图像。本方案能够提高虚拟视点图像生成算法的帧率。
- 全景视频生成方法、装置、计算机设备以及存储介质-202210272200.7
- 谢朝毅 - 影石创新科技股份有限公司
- 2022-03-18 - 2023-09-22 - H04N13/117
- 本申请提供一种全景视频生成方法、装置、计算机设备以及存储介质，该方法通过获取待处理的目标鱼眼图像；根据目标鱼眼图像的鱼眼深度图，生成相机坐标系下的三维点云数据；根据三维点云数据构建全景点云数据，以及全景点云数据对应的三维曲面图像；获取对象视野的标的坐标系，基于三维曲面图像在标的坐标系中生成全景视频帧。通过将鱼眼图像转换为拍摄场景下的全景点云数据，并根据全景点云数据生成三维曲面图像，在获取对象视野的标的坐标系后，将三维曲面图像渲染至标的坐标系，得到用户视野跟踪的全景视频帧，实现生成既跟随用户头部的转动带来的视野角度变化、又跟随用户的位置变化的全景视频画面。
- 多用户通信会话中三维放置和细化的系统和方法-202310174552.3
- C·A·史密斯;B·H·博伊塞尔;D·H·黄;J·S·诺里斯;J·佩伦;J·A·卡泽米亚斯;任淼;邱诗善 - 苹果公司
- 2023-02-27 - 2023-08-29 - H04N13/117
- 本公开涉及多用户通信会话中三维放置和细化的系统和方法。本公开的一些示例涉及用于通信会话中化身的空间放置的方法。在一些示例中，当第一电子设备正在呈现三维环境时，第一电子设备可接收与进入与第二电子设备的通信会话的请求相对应的输入。在一些示例中，响应于接收到该输入，第一电子设备可扫描围绕第一电子设备的环境。在一些示例中，第一电子设备可标识在三维环境中显示表示第二电子设备的用户的虚拟对象的放置位置。在一些示例中，第一电子设备在三维环境中的放置位置处显示表示第二电子设备的用户的虚拟对象。本公开的一些示例涉及用于通信会话中空间细化的方法。
- 多用户通信会话中的三维沉浸式应用的系统和方法-202310191549.2
- 任淼;C·A·史密斯;H·J·李;B·M·萨默尔 - 苹果公司
- 2023-02-27 - 2023-08-29 - H04N13/117
- 本公开涉及多用户通信会话中的三维沉浸式应用的系统和方法。本公开的一些示例涉及与多用户通信会话中的电子设备的用户相对应的化身的选择性显示。在一些示例中，当在该通信会话中共享沉浸式内容时，该化身当在三维环境中呈现该内容时保持被显示。在一些示例中，当在该通信会话中共享视角受限的沉浸式内容时，该化身当在该三维环境中呈现该内容时停止被显示。在一些示例中，当在该通信会话中共享以全屏模式呈现的内容时，该化身当在该三维环境中以该全屏模式呈现该内容时保持被显示。在一些示例中，当在该通信会话中共享受对象限制的内容时，该化身当在该三维环境中呈现该受对象限制的内容时保持被显示。
- 具有三维图像显示功能的显示装置及三维图像显示方法-202211519451.7
- 刘浩宇;翁睿哲;住尚树 - 群创光电股份有限公司
- 2022-11-30 - 2023-08-22 - H04N13/117
- 本揭露提供一种三维图像显示方法及具有三维图像显示功能的显示装置。三维图像显示方法包括以下步骤：取得第一体数据，并定义第一体数据中的多个体素分别在显示装置坐标系中的多个坐标，以产生第二体数据；取得两个第一眼睛坐标，并且将两个第一眼睛坐标转换至显示装置坐标系，以产生两个第二眼睛坐标；计算对应于显示装置的多个像素的多个光线路径；匹配多个光线路径与两个第二眼睛坐标，以决定多个光线投射路径；以及根据第二体数据以及多个光线投射路径，决定对应于多个像素的多个采样数据，以产生显示数据。
- 一种基于AR技术的智能导游系统-202310504633.5
- 谢民雄;朱立谷 - 北京金商祺科技有限公司
- 2023-05-08 - 2023-07-25 - H04N13/117
- 本发明公开了一种基于AR技术的智能导游系统，该方法能使用户在足不出户的情况下就能感受景区的气象和景观，提升用户体验；具体包括以下步骤：获取与云端服务器相连接的移动摄像装置，通过移动摄像装置对景区景观进行扫描采集，得到景区环境图像数据；将景区环境图像数据输入图像特征向量分析模型中提取图像特征向量；根据移动端访问数据在云端数据库中对第一虚拟景观图像进行空间定位，得到第一3D虚拟景观图像；响应于用户输入的目标移动数据，根据目标移动数据在用户AR移动端实时展示3D虚拟景观图像，得到目标3D虚拟景观图像。
- 基于数据共享的场馆3D全景视频生成方法、装置、头戴式显示设备和介质-202210130880.9
- 刘威;夏勇峰 - 北京蜂巢世纪科技有限公司
- 2022-02-12 - 2023-07-21 - H04N13/117
- 本申请提供一种基于数据共享的场馆3D全景视频生成方法、装置、头戴式显示设备和介质，属于图像处理的技术领域，方法包括：响应于用户的第一视频切换动作，获取自身位于场馆内的第一位置信息以及所述场馆内其它头戴式显示设备的第二位置信息；基于所述第一位置信息和所述第二位置信息确定至少一个共享头戴式显示设备；获取自身3D摄像头拍摄的第一3D视频信息，并分别接收至少一个所述共享头戴式显示设备的3D摄像头拍摄的第二3D视频信息；基于所述第一位置信息和所述第二位置信息的位置关系，将第一3D视频信息以及所述第二3D视频信息依次拼接，生成3D全景视频信息；控制显示所述3D全景视频信息。本申请具有使观众全方位地观看赛事或演出的效果。
- 空间不均等流媒体化-202210671445.7
- 罗伯特·斯库皮;哥尼流·赫勒格;托马斯·斯基尔勒;雅格·桑切斯·德·拉·富恩特;迪米特里·普德保斯基;托马斯·威甘德 - 弗劳恩霍夫应用研究促进协会
- 2017-10-11 - 2023-07-18 - H04N13/117
- 本申请涉及一种用于将视频编码至视频比特流中的编码器。描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。
- 空间不均等流媒体化-202210671453.1
- 罗伯特·斯库皮;哥尼流·赫勒格;托马斯·斯基尔勒;雅格·桑切斯·德·拉·富恩特;迪米特里·普德保斯基;托马斯·威甘德 - 弗劳恩霍夫应用研究促进协会
- 2017-10-11 - 2023-07-18 - H04N13/117
- 本申请涉及一种具有存储在其上的计算机程序的非暂时性数字存储介质，当所述计算机程序被计算机运行时，所述计算机程序用于执行用于对具有编码至其中的视频的视频比特流进行解码的方法。描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。
- 图像处理装置、图像处理方法、以及存储介质-202211664157.5
- 小林正明 - 佳能株式会社
- 2022-12-23 - 2023-06-30 - H04N13/117
- 本发明公开了图像处理装置、图像处理方法、以及存储介质。公开的技术便于从与广角图像的预定的视角对应的部分图像区域生成的透视投影图像的确认。首先，图像获得单元获得超广角图像。区域信息获得单元获得用于定义对超广角图像设置的用于确认的图像的虚拟相机的光轴方向和视角，并且获得预定的视野角度信息。图像转换单元基于获得的虚拟相机的光轴方向和视角，将获得的超广角图像转换成透视投影图像作为用于确认的图像。区域信息绘制单元基于关于虚拟相机的视角的视野角度信息计算视场区域，以及在透视投影图像上叠加并且绘制指示计算的视场区域的矩形。
- 体积视频播放方法、装置、电子设备及存储介质-202211610309.3
- 张煜;魏汉青;孙伟;邵志兢 - 珠海普罗米修斯视觉技术有限公司
- 2022-12-14 - 2023-05-23 - H04N13/117
- 本申请实施例公开了一种体积视频播放方法、装置、电子设备及存储介质。方法包括：电子设备通过识别体积视频中虚拟对象的肢体动作；根据虚拟对象的肢体动作，在虚拟对象对应的肢体上确定出至少一个特征点；根据至少一个特征点在肢体附近确定出对应的相关联区域，并在每一相关联区域设置至少一个虚拟元素；当播放体积视频时，展示虚拟对象的肢体动作以及在相关联区域展示至少一个虚拟元素。本申请实施例中，在体积视频播放时，通过在虚拟对象对应的区域增加虚拟元素，从而增强体积视频的趣味性。
- 虚拟道具的显示方法、装置、设备以及存储介质-202310073740.7
- 刘博焕 - 北京达佳互联信息技术有限公司
- 2023-01-13 - 2023-05-09 - H04N13/117
- 本申请涉及一种虚拟道具的显示方法、装置、设备以及存储介质，涉及视频处理技术领域。该方法包括：显示拍摄画面，并响应于在拍摄画面中检测到目标肢体，在拍摄画面对应的立体空间中渲染第一虚拟道具；第一虚拟道具跟随目标肢体。在目标肢体的动作为第一目标动作的情况下，在拍摄画面中显示第一虚拟道具在立体空间中基于目标动作产生的运动轨迹；在第一虚拟道具在拍摄画面立体空间中的运动结果满足预设条件的情况下，更新第一虚拟道具在拍摄画面中的显示效果。从而提高了视频内容的趣味性。
- 视频数据的处理，传输方法及装置，视频数据的处理系统-201810993340.7
- 黄成 - 中兴通讯股份有限公司
- 2018-08-29 - 2023-04-11 - H04N13/117
- 本发明提供了一种视频数据的处理，传输方法及装置，视频数据的处理系统。具体而言，视频数据的处理方法，包括：播放从第一视点切换至第二视点的全方向视频轨道；根据所述第二视点的视点信息和/或自所述第一视点切换前用户的观看方向，确定播放所述全方向视频轨道时用户的初始观看方向。通过本发明，解决了用户会由于视点切换前后视窗内容的突然变化而感到不适的问题，达到了提高用户观看体验效果。
- 基于可穿戴设备的巡检方法、装置、系统、设备及介质-202211563960.X
- 金迪;马国平;胡旭波;孙晨航;江剑枫;谢潜;赵纪宗;钟良亮;杨志义;戴晓红;邵栋栋;谢宇哲 - 国网浙江省电力有限公司宁波供电公司
- 2022-12-07 - 2023-04-07 - H04N13/117
- 本发明提供一种基于可穿戴设备的巡检方法、装置、系统、设备及介质，包括基于可穿戴设备获取巡检区域中目标对象的图像信息，基于预设的虚拟数据库与虚实空间坐标系，结合空间三维融合算法，构建与所述目标对象对应的虚实融合目标对象；获取远程指导人员对所述虚实融合目标对象的交互信息，并将所述交互信息叠加在所述虚实融合目标对象上，得到远程指导信息，并将所述远程指导信息反馈至所述可穿戴设备；并将远程指导信息反馈至所述可穿戴设备，其中，巡检人员用于通过所述可穿戴设备根据所述远程指导信息对所述目标对象进行故障判断和/或故障维修。本发明可通过远程协作，现场人员可借助头盔完成第一视角分享，让远程专家快速感知现场状况。
- 一种3D成像多屏互动方法及系统-202211720396.8
- 孔令阔;李颜江 - 魔瞳（北京）科技有限公司
- 2022-12-30 - 2023-03-17 - H04N13/117
- 本发明涉及3D成像领域，具体公开了一种3D成像多屏互动方法及系统。本发明通过接收用户在互动屏的选择操作，加载目标视频数据，并进行监测拍摄，获取位置拍摄数据；根据目标视频数据和位置拍摄数据，对背景屏和多个3D全息屏进行距离调节；进行实时分配处理，获取多个分配视频数据；将多个分配视频数据向背景屏和多个3D全息屏进行联动分配，通过背景屏和多个3D全息屏进行联动3D成像。能够按照用户的位置，对背景屏和多个3D全息屏进行距离调节，通过背景屏和多个3D全息屏进行视频数据的联动分配，进行联动3D成像，从而制造出整体的景深感，且能够根据用户的位置进行3D视觉的调节，使得3D视觉效果更加真实。
- 一种显示图像压缩方法、装置、设备及计算机存储介质-202010996776.9
- 季渊;陈远生 - 苏州唐古光电科技有限公司
- 2020-09-21 - 2023-01-06 - H04N13/117
- 本发明公开了一种显示图像压缩方法、装置、设备及计算机存储介质。其中，方法包括：确定显示图像的第一凝视点的第一位置信息；获取与第一位置信息对应的图像压缩模型，图像压缩模型包括至少一个图像压缩比和与图像压缩比对应的像素距离；根据至少一个图像压缩比，对显示图像进行压缩处理，得到至少一个显示图层；根据像素距离，确定每个显示图层的像素传输区域，得到待传输的目标压缩数据。根据本发明实施例显示图像压缩方法，解决了传输近眼显示图像所需的传输带宽高的问题。
- 沉浸媒体的数据处理方法、装置、相关设备及存储介质-202110659190.8
- 胡颖 - 腾讯科技（深圳）有限公司
- 2021-06-11 - 2022-12-13 - H04N13/117
- 本发明实施例公开了一种沉浸媒体的数据处理方法、装置、设备及存储介质，其中所述沉浸媒体是由处于不同视角的N个相机拍摄的图像组成，所述沉浸媒体被封装到M个轨道，一个轨道中封装来自至少一个相机的图像，N和M均为大于1的整数；所述方法包括：获取沉浸媒体的第i个轨道对应的自由视角信息数据盒，所述自由视角信息数据盒包括所述第i个轨道对应的视角信息，i为大于或等于1且小于或等于M的整数；根据所述自由视角信息数据盒中的视角信息对所述第i个轨道内封装的图像进行解码。采用本发明实施例可以使得内容消费设备根据各个轨道中的视角信息以及用户当前位置选择合适的图像进行解码消费。
- 一种展品显示系统-202221236252.0
- 李建武 - 中科闪维（北京）科技有限公司
- 2022-05-20 - 2022-10-04 - H04N13/117
- 本申请公开了一种展品显示系统，其包括：显示装置；至少一个定位标签，每一定位标签用于实时发送一游客的定位信号；多个定位基站，用于接收定位信号，并将定位信号至定位服务器；定位服务器，用于解析每一游客在不同时间的位置信息；控制装置，存储有展厅的三维虚拟场景，用于生成每一游客的足迹点于展厅的三维虚拟场景内的对应位置，并控制显示装置显示具有足迹点的三维虚拟场景；输入装置，用于在显示装置上选择足迹点；控制装置还用于控制显示装置显示位于选择的足迹点处的详细场景。本申请能够在显示终端呈现所有展品，从而具有便于游客观看展厅内任意展品的效果。
- 空间不均等流媒体化-202210671205.7
- 罗伯特·斯库皮;哥尼流·赫勒格;托马斯·斯基尔勒;雅格·桑切斯·德·拉·富恩特;迪米特里·普德保斯基;托马斯·威甘德 - 弗劳恩霍夫应用研究促进协会
- 2017-10-11 - 2022-09-09 - H04N13/117
- 描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。
- 空间不均等流媒体化-202210671217.X
- 罗伯特·斯库皮;哥尼流·赫勒格;托马斯·斯基尔勒;雅格·桑切斯·德·拉·富恩特;迪米特里·普德保斯基;托马斯·威甘德 - 弗劳恩霍夫应用研究促进协会
- 2017-10-11 - 2022-09-09 - H04N13/117
- 描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。
- 空间不均等流媒体化-202210671238.1
- 罗伯特·斯库皮;哥尼流·赫勒格;托马斯·斯基尔勒;雅格·桑切斯·德·拉·富恩特;迪米特里·普德保斯基;托马斯·威甘德 - 弗劳恩霍夫应用研究促进协会
- 2017-10-11 - 2022-09-09 - H04N13/117
- 描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。
- 空间不均等流媒体化-202210671441.9
- 罗伯特·斯库皮;哥尼流·赫勒格;托马斯·斯基尔勒;雅格·桑切斯·德·拉·富恩特;迪米特里·普德保斯基;托马斯·威甘德 - 弗劳恩霍夫应用研究促进协会
- 2017-10-11 - 2022-09-09 - H04N13/117
- 描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。
- 空间不均等流媒体化-202210671443.8
- 罗伯特·斯库皮;哥尼流·赫勒格;托马斯·斯基尔勒;雅格·桑切斯·德·拉·富恩特;迪米特里·普德保斯基;托马斯·威甘德 - 弗劳恩霍夫应用研究促进协会
- 2017-10-11 - 2022-09-09 - H04N13/117
- 描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。
- 空间不均等流媒体化-202210671460.1
- 罗伯特·斯库皮;哥尼流·赫勒格;托马斯·斯基尔勒;雅格·桑切斯·德·拉·富恩特;迪米特里·普德保斯基;托马斯·威甘德 - 弗劳恩霍夫应用研究促进协会
- 2017-10-11 - 2022-08-19 - H04N13/117
- 本申请涉及一种用于对具有编码至其中的视频的视频比特流进行解码的解码器。描述针对媒体内容流媒体化的各种概念。一些概念允许以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小。其他概念允许以增大对其他应用情境的适用性的方式流媒体化空间场景内容。
- 一种立体显示系统及方法-202210431861.X
- 张晶;邵海兵;方松 - 深圳市华星光电半导体显示技术有限公司
- 2022-04-22 - 2022-08-05 - H04N13/117
- 本发明公开了一种立体显示系统及方法。立体显示系统包括信息收集单元、信息处理单元及立体显示单元；其中，信息收集单元用于收集使用者的人眼信息与人体信息；信息处理单元用于构建虚拟空间，根据人眼信息和人体信息，在虚拟空间中构建使用者对应的人眼模型和人体模型，并通过人眼模型在虚拟空间中采集立体显示数据，及通过人体模型形成交互显示数据；立体显示单元，用于根据立体显示数据和交互显示数据，展示立体显示画面。本发明根据收集的人眼信息，使观看者感受到虚拟空间与真实空间重合，可以看到逼真且具有运动视差的立体画面；并通过人体信息让人体模型实现使用者在虚拟空间中的交互操作，无需外接设备或手持设备即可实现虚拟交互。
- 图像重建方法、系统、设备及计算机可读存储介质-201910172720.9
- 盛骁杰 - 阿里巴巴集团控股有限公司
- 2019-03-07 - 2022-07-26 - H04N13/117
- 一种图像重建方法、系统、设备及计算机可读存储介质，所述方法包括：获取多角度自由视角的图像组合、所述图像组合的参数数据以及基于用户交互的虚拟视点位置信息，其中，所述图像组合包括多个角度同步的多组存在对应关系的纹理图和深度图；根据所述虚拟视点位置信息及所述图像组合的参数数据，按照预设规则选择用户交互时刻图像组合中相应组的纹理图和深度图；基于所述虚拟视点位置信息及用户交互时刻图像组合中相应组的纹理图和深度图对应的参数数据，将选择的用户交互时刻图像组合中相应组的纹理图和深度图进行组合渲染，得到所述用户交互时刻虚拟视点位置对应的重建图像。采用上述方案可以减小图像重建过程中数据运算量。
- 虚拟现实视差校正-202210503333.0
- S·J·迪维尔迪;A·B·S·帕彻尤;A·P·赫茨曼 - 奥多比公司
- 2018-08-08 - 2022-07-22 - H04N13/117
- 描述了被配置为对从单个原点捕获的VR数字内容的视差进行校正的虚拟现实视差校正技术和系统。在一个示例中，采用视差校正模块来对在从与VR数字内容相对应的原点到相对于VR数字内容的输出的新视点的变化中引起的伪像进行校正。如以下部分中进一步描述的，视差校正模块可以采用各种技术来校正视差。这些技术的示例包括深度过滤、边界标识、拖尾检测、网格切割、置信度估计、模糊和误差扩散。
- 增强现实的显示方法及增强现实的显示系统-201910058904.2
- 陈丽莉;张浩;陈明;董学 - 京东方科技集团股份有限公司;北京京东方光电科技有限公司
- 2019-01-22 - 2022-07-19 - H04N13/117
- 本发明提供一种增强现实的显示方法及增强现实的显示系统，涉及增强现实领域，可降低数据传输带宽和显示功耗，进而提高AR系统的显示质量。该增强现实的显示方法包括：根据用户视野范围内关注的目标物体，生成预设图像；其中，所述预设图像包括：背景和目标子图像，所述目标子图像的内容与所述目标物体相关联；向显示单元输出所述目标子图像的图像信息和位置信息；根据所述图像信息和所述位置信息，在所述显示单元的显示区域内的目标子区域内显示所述目标子图像；其中，所述目标子区域在所述显示区域内的位置，对应于所述目标子图像在所述预设图像中的位置。用于增强现实的显示系统的显示。
- 专利分类
