[发明专利]用于从场景获得深度信息的设备和方法有效
| 申请号： | 201780089095.0 | 申请日： | 2017-02-06 |
| 公开（公告）号： | CN110462686B | 公开（公告）日： | 2023-08-11 |
| 发明（设计）人： | J·V·布拉斯科克拉雷特;C·蒙托柳阿尔瓦罗;I·维尔吉利奥派利诺;A·马丁内斯尤斯欧 | 申请（专利权）人： | 弗托斯传感与算法公司 |
| 主分类号： | G06T7/579 | 分类号： | G06T7/579;G06T7/593 |
| 代理公司： | 中国贸促会专利商标事务所有限公司 11038 | 代理人： | 刘倜 |
| 地址： | 西班牙*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 公开了一种用于从场景获得深度信息的方法，其中方法包括以下步骤：a)在拍摄的时间期间用至少一个相机获取场景的多个图像，其中多个图像提供场景的至少两个不同的视图；b)对于步骤a)的每个图像，同时获取关于参考六轴参考系统的图像的位置的数据；c)从步骤b)的图像中选择至少两个图像；d)校正在步骤c)所选择的图像，从而生成校正的图像的集合；以及e)从校正的图像生成深度图。此外用于执行所公开的方法的装置。 | ||
| 搜索关键词： | 用于 场景 获得 深度 信息 设备 方法 | ||
【主权项】：
1.用于从场景获取深度信息的方法，包括以下步骤：/na)在拍摄的时间期间借助于至少一个相机获取场景的多个图像，其中所述多个图像提供场景的至少两个不同的视图；/nb)对于步骤a)的每个图像，同时获取关于参考六轴参考系统的图像的位置的数据；/nc)从步骤b)的图像中选择至少两个图像；/nd)校正在步骤c)所选择的图像，从而生成校正的图像的集合；以及/ne)从校正的图像生成深度图。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于弗托斯传感与算法公司，未经弗托斯传感与算法公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201780089095.0/，转载请声明来源钻瓜专利网。
- 同类专利
- 检测并呈现对象上的表面变化的方法、执行其的设备和多个设备构成的系统-202180091899.0
- J·F·施米德 - 罗伯特·博世有限公司
- 2021-12-17 - 2023-10-27 - G06T7/579
- 提出了一种用于识别并呈现在对象(22)、尤其是建筑物、优选地建筑物的地板上的表面变化(20)的方法，其中在至少一个方法步骤(70)中，借助于设备(12)、尤其是机器人的相对于所述对象(22)可移动的摄像机(26)，通过多个图像来检测所述对象(22)的表面(24)，其中在至少一个方法步骤(80)中，借助于评估单元(34)，通过对所述表面(24)的表面部分(50)的至少两个时间上彼此间隔开地检测的图像的比较，确定在所述表面部分(50)内的至少一种表面变化(20)，其中在至少一个另外的方法步骤(82)中，借助于所述评估单元(34)，通过根据所述表面部分(50)的所检测到的图像进行的具有所述表面变化(20)的表面部分(50)在所述对象(22)的表面(24)上的分配，确定在所述对象(22)上的所述至少一种表面变化(20)的位置，而且其中在至少一个方法步骤(84)中，借助于输出单元(28)，呈现在所述对象(22)上的所述至少一种表面变化(20)的所确定的位置。
- 在被跟踪网格序列中保持几何细节-202280015942.X
- 古川権大;M·格哈拉维-阿尔克汉萨利;武田浩行 - 索尼集团公司;美国索尼公司
- 2022-08-16 - 2023-10-20 - G06T7/579
- 提供了被跟踪网格中几何细节的保持的电子设备和方法。获取感兴趣对象的一组三维(3D)扫描和被跟踪网格序列。被跟踪网格序列包括与该一组3D扫描在时间上对应的一组被跟踪网格。基于该一组被跟踪网格和该一组3D扫描之间的差异，生成一组位移贴图。计算多个向量，该多个向量中的每个向量包括与对应的被跟踪网格的网格顶点相关联的表面张力值。基于该一组位移贴图和对应的一组向量，关于位移贴图生成任务训练神经网络。将经训练的神经网络模型应用于该多个向量以生成位移贴图。基于对应的位移贴图更新每个被跟踪网格。
- 用于从场景获得深度信息的设备和方法-201780089095.0
- J·V·布拉斯科克拉雷特;C·蒙托柳阿尔瓦罗;I·维尔吉利奥派利诺;A·马丁内斯尤斯欧 - 弗托斯传感与算法公司
- 2017-02-06 - 2023-08-11 - G06T7/579
- 公开了一种用于从场景获得深度信息的方法，其中方法包括以下步骤：a)在拍摄的时间期间用至少一个相机获取场景的多个图像，其中多个图像提供场景的至少两个不同的视图；b)对于步骤a)的每个图像，同时获取关于参考六轴参考系统的图像的位置的数据；c)从步骤b)的图像中选择至少两个图像；d)校正在步骤c)所选择的图像，从而生成校正的图像的集合；以及e)从校正的图像生成深度图。此外用于执行所公开的方法的装置。
- 使用注意力模型将2D表示提升到3D-202080102235.5
- 阿德里安·洛帕特;萨拉·卡劳特 - 华为技术有限公司
- 2020-08-31 - 2023-04-04 - G06T7/579
- 描述了一种处理设备(200)，用于形成用于估计由多个数据集(101)表示的一个或多个关节对象的三维状态的系统，每个数据集指示对象的关节在二维空间上的投影，该处理设备包括一个或多个处理器(201)，其被配置为：接收(301)数据集；使用具有多个编码器层的编码器架构(104)处理(302)数据集，每个编码器层包括各自的自注意力机制(107)和各自的前馈网络(109)，每个自注意力机制实现多个注意力头；以及根据数据集训练(303)编码器层，以提高编码器架构估计由数据集表示的一个或多个对象的三维状态(106)的准确性。这可以允许通过使用小型高效模型在实时运行时外推输入数据来估计深度，将2D人体关键点提升到相对于根部(如骨盆关节)的3D。
- 基于光度测量的3D对象建模-202180041722.X
- 奥利弗·伍德福德 - 斯纳普公司
- 2021-04-28 - 2023-03-07 - G06T7/579
- 本公开内容的各方面涉及一种用于执行包括以下的操作的系统和方法：访问描绘目标结构的源图像；访问描绘目标结构的至少一部分的一个或更多个目标图像；计算目标结构的第一部分的源图像中的第一组像素与目标结构的第一部分的一个或更多个目标图像中的第二组像素之间的对应关系，该对应关系是根据在源图像与一个或更多个目标图像之间变化的摄像装置参数计算的；以及基于对目标结构和摄像装置参数的联合优化，基于源图像中的第一组像素与一个或更多个目标图像中的第二组像素之间的对应关系，生成目标结构的三维(3D)模型。
- 点云集群的空间关系-202180014208.7
- P·约特瓦尼 - 苹果公司
- 2021-01-26 - 2022-09-20 - G06T7/579
- 在一个具体实施中，在包括一个或多个处理器和非暂态存储器的设备处执行确定点云集群的空间关系的方法。该方法包括获得包括多个点的点云，其中该多个点包括第一点集群和第二点集群，其中第一点集群中的特定点与包括三维空间中的该特定点的一组坐标和第一点集群的集群标识符的表征向量相关联。该方法包括：基于第一点集群和第二点集群的体积布置来确定空间关系向量，其中该空间关系向量表征第一点集群与第二点集群之间的空间关系；以及将该空间关系向量添加到表征向量。
- 基于来自深度传感器的数据的针对定位的单目相机激活-202080095716.8
- 何塞·阿罗约;阿迷尔侯赛因·塔赫库斯塔尼;迭戈·冈萨雷斯莫兰;约安尼斯·卡拉吉安尼斯;阿南亚·慕都克里斯那 - 瑞典爱立信有限公司
- 2020-02-07 - 2022-09-13 - G06T7/579
- 公开了一种设备，该设备被配置为使用可与设备一起运输的深度传感器(200)和单目相机(202)中的一者或两者来执行定位。该设备适于：从深度传感器接收深度数据，基于深度数据来确定激活单目相机用于定位的收益水平，以及基于对激活单目相机的收益水平满足激活规则的确定来激活单目相机用于定位。还公开了相关的方法和计算机程序产品。
- 数据集生成方法、神经网络生成方法和场景模型构建方法-202180011373.7
- 匡玉斌;保·加加洛皮拉塞斯;曼努埃尔·洛佩兹安特奎拉;简·埃里克·索里姆;彼得·康茨希德;塞缪尔·罗塔布勒 - 元平台公司
- 2021-02-16 - 2022-09-13 - G06T7/579
- 一种用于生成估计场景的图像的至少一个深度度量的图像深度估计神经网络的方法，该方法包括：接收图像的第一集合，图像的该第一集合是由一个或更多个相机拍摄的场景的多个图像；对于图像的第一集合中的每个图像，接收相关联的焦距，该相关联的焦距是拍摄图像的相机的焦距的估计；将图像的第一集合变换成归一化训练图像的集合，该归一化训练图像的集合表示图像的第一集合中的图像在该集合中的图像具有联合焦距的情况下将如何呈现，其中将图像的第一集合中的图像变换成归一化训练图像包括对图像进行缩放，缩放表示图像的相关联的焦距的变化，使得该相关联的焦距接近联合焦距；训练神经网络以预测图像的至少一个深度度量，其中训练神经网络包括向神经网络提供具有成对的输入数据和输出数据的训练数据集，其中训练数据集的输入数据包括归一化训练图像的集合。
- 用于测量环境地形的方法-202080095163.6
- C.休斯;P.埃尔米利奥斯;M.伦科;S.钱德拉 - 康诺特电子有限公司
- 2020-12-08 - 2022-09-06 - G06T7/579
- 一种用于形成对应于成像环境的地形的点云的方法，包括：用安装在车辆上的具有WFOV镜头的相机获取环境的第一图像；通过大于阈值的调整来改变相机姿态；以及用处于改变姿态的相机获取环境的第二图像。图像被映射到相应表面上，以形成由相同的非平面几何形状定义的相应映射图像。第一或第二映射图像之一被分成像素块；并且对于每个像素块，通过对另一个映射图像执行搜索以评估每个映射图像中像素块的位置的位置差异来形成深度图。当车辆在环境中移动时，深度图被转换成对应于车辆周围环境的局部地形的点云的一部分；并且根据相机姿态的调整来缩放点云。
- 使用传感器融合的经优化对象扫描-201780004838.X
- M·斯卡维泽;A·汤姆林;蔡锐;李志伟 - 微软技术许可有限责任公司
- 2017-02-07 - 2022-09-06 - G06T7/579
- 传感器融合被用在诸如头戴式显示(HMD)设备的电子设备中，所述电子设备具有配备有不同的传感器的传感器封装，从而对所捕捉的在现实世界环境中的对象或场景的2D图像进行补充的信息可被用于确定图像立体对的经优化变换并丢弃误差数据，否则这些误差数据将妨碍用于在例如虚拟世界应用中构建3D模型的成功扫描。这样的补充信息可以包括世界位置、世界旋转、来自扩展视野(FOV)的图像数据或深度图数据中的一个或多个。
- 生成三维(3D)模型的方法-201980101800.3
- 沃洛佳·格兰恰诺夫;斯蒂芬·库姆斯 - 瑞典爱立信有限公司
- 2019-10-28 - 2022-06-07 - G06T7/579
- 本发明涉及由计算机设备(400)执行的方法(500)，该计算机设备(400)被配置为生成三维(3D)模型，该方法包括：获得(510)多个二维(2D)图像(I_0至I_M)，该多个2D图像(I_0至I_M)各自从不同的观察方向(WD1，WD2)描绘3D对象(120)和3D对象的背景，其中，该多个2D图像是使用相机来获得的，针对该多个2D图像(I_0至I_M)中的每一个生成(520)关键点总集合(KP_0，KP_1，…KP_M)，将每个关键点总集合(KP_0，KP_1，…KP_M)辨别(530)为描绘3D对象(120)的第一关键点子集(KP_0’，KP_1’、…KP_M’)、和描绘3D对象的背景的第二关键点子集(KP_0”，KP_1”，…KP_M”)，仅使用描绘3D对象(120)的关键点子集(KP_0’，KP_1’，...KP_M’)来生成(540)3D模型，其中，通过将经训练的模型应用于所生成的关键点集合(KP_0，KP_1，…KP_M)来执行辨别每个关键点集合(KP_0，KP_1，…KP_M)。
- 无监督深度预测神经网络-201980057913.8
- 文森特·迈克尔·卡塞尔;索伦·皮尔克;雷扎·马乔里安;阿内利亚·安格洛瓦 - 谷歌有限责任公司
- 2019-09-05 - 2021-04-09 - G06T7/579
- 描述了一种用于生成图像的深度输出的系统。该系统接收描绘相同场景的输入图像，每个输入图像包括一个或多个潜在对象。该系统为每个输入图像生成相应的背景图像，并对背景图像进行处理以生成表征在输入图像之间的相机的运动的相机运动输出。对于每个潜在对象，系统基于输入图像和相机运动输出生成潜在对象的相应的对象运动输出。该系统使用深度预测神经网络(NN)处理输入图像的特定输入图像以生成特定输入图像的深度输出，并基于特定深度输出、相机运动输出、以及潜在对象的对象运动输出来更新深度预测NN的参数的当前值。
- 使用视频数据映射对象实例-201980053902.2
- 约翰·布伦丹·麦科马克;罗纳德·克拉克;迈克尔·布勒施;安德鲁·戴维森;斯特凡·莱乌特尼格尔 - 帝国理工学院创新有限公司
- 2019-08-07 - 2021-04-02 - G06T7/579
- 一种方法，包括：对视频数据帧应用对象识别流水线。所述对象识别流水线提供在所述帧中检测到的对象的掩模输出。所述方法包括：将所述对象识别流水线的所述掩模输出与跟所述视频数据帧相关联的深度数据融合以生成对象实例映射图，这包括使用相机位姿估计和所述深度数据将所述掩模输出投影到所述对象实例映射图的模型空间。所述对象实例映射图中的对象实例在三维对象体积内使用表面距离度量值来定义，并且具有指示所述对象实例到所述模型空间的变换的对象位姿估计。所述对象位姿估计和所述相机位姿估计形成所述模型实例映射图的位姿图的节点。
- 用于执行同步定位与地图构建的设备和方法-201880096440.8
- 米格尔·克里斯托瓦尔;班基·塞蒂亚万 - 华为技术有限公司
- 2018-09-07 - 2021-03-26 - G06T7/579
- 本发明实施例涉及同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)的技术领域。特别地，提供了一种用于执行SLAM的设备和方法。所述设备包括至少一个处理器，用于执行所述SLAM，具体用于：在第一处理阶段，对接收的数据序列进行预处理，以获得帧序列，其中，所述接收的数据序列包括摄像机记录的多个图像和来自多个传感器的传感器读数。所述帧序列的每个帧包括与确定的时间实例处的图像之一相关的视觉特征集和该时间实例的传感器读数。进一步地，在第二处理阶段，基于所述帧序列的每个帧中包括的所述视觉特征集和所述传感器读数，按顺序处理该帧，以生成序列映射图。最后，在第三处理阶段，将所述序列映射图与至少一个其他图合并，以生成或更新全图。
- 基于多相机卷积器系统的三维环境建模-201980024755.6
- 沙巴利瓦斯·阿比兰;吉尔·J.C.A·巴克斯;尤金·M·范伯格;贝伦德·奥兹卡里;马丁·斯蒂芬·帕特兹 - 雷哥尼公司
- 2019-02-13 - 2021-01-01 - G06T7/579
- 描述了用于确定一个或多个相机装置的环境的三维环境模型的系统、方法和机器可读介质，其中可在所述相机装置处执行用于推断所述模型的图像处理。
- 用于手持式用户设备的增强现实的运动深度-201980006353.3
- 朱利安·瓦伦汀;奥努尔·G·居莱尔于兹;米拉·勒翁;马克西姆·迪兹休科;乔斯·帕斯库亚尔;米尔科·施密特;克里斯多佛·雷曼;尼尔·瓦德瓦;埃里克·特纳;萨姆赫·卡米斯;阿达尔什·普拉卡什·穆尔蒂·寇德莱;安布鲁斯·恰萨尔;若昂·曼纽尔·卡斯特罗·阿丰索;乔纳森·T·巴龙;迈克尔·舍恩贝格尔;伊万·德亚诺夫斯基;维韦克·维尔马;弗拉迪米尔·坦科维奇;沙赫拉姆·伊扎迪;肖恩·瑞安·弗朗切斯科·法内洛;康斯坦丁·尼古拉斯·约翰·佐措斯 - 谷歌有限责任公司
- 2019-10-04 - 2020-07-28 - G06T7/579
- 一种手持式用户设备包括：单目，该单目相机用于捕获局部场景的图像馈送；以及处理器，用于从馈送选择关键帧，并且对来自该馈送的第一图像，使用该第一图像、关键帧以及基于与该第一图像相关联的姿势和与关键帧相关联的姿势的相对姿势来执行立体匹配以生成表示所述第一图像与所述关键帧之间的视差的稀疏视差图。处理器进一步将使用双边求解器算法来从所述视差图确定密集深度图，并且基于所述深度图利用遮挡渲染来处理从馈送的第二图像生成的取景器图像以将一个或者多个虚拟对象并入到所述取景器图像中以生成AR取景器图像。进一步地，处理器将提供所述AR取景器图像以供显示。
- 利用事件摄像机同时进行定位和映射-201780060218.8
- 亨利·勒贝克;吉耶尔莫·加莱戈·博内特;达维德·斯卡拉穆扎 - 苏黎世大学
- 2017-08-24 - 2019-05-21 - G06T7/579
- 本发明涉及一种用于场景的3D重建的方法，其中，事件摄像机(1)沿着场景在轨迹(T)上移动，其中，事件摄像机(1)包括多个像元，该多个像元被配置为仅在事件(ek)发生所在的时间(tk)处在场景中存在亮度变化的情况下输出上述事件，其中，每个事件包括其发生所在的时间(tk)、检测到亮度变化的相应像元的地址(xk，yk)以及指示亮度变化的符号的极性值(pk)，其中，由事件摄像机(1)沿着所述轨迹(T)生成的多个连续事件根据事件摄像机(1)的视点(P)被反投射为通过离散化体积(DSI)的观察射线(R)，该离散化体积在与所述多个事件相关联的虚拟事件摄像机的参考视点(RV)处，其中，所述离散化体积(DSI)包括体元(V')，并且其中，确定与离散化体积(DSI)相关联的得分函数f(X)，该得分函数f(X)是穿过具有中心X的相应体元(V')的反投射观察射线(R)的数量，并且其中，所述得分函数f(X)用于确定在相应体元(V')中是否存在场景的3D重建的3D点。
- 专利分类
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端，信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置
