“罗凡明”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果18个，建议您升级VIP下载更多相关专利

[发明专利]一种反馈控制系统变化的预警方法、装置、设备及介质-CN202211356764.5有效
发明人： 罗凡明;俞扬;庞竟成;曹星辰;杨思航;李立和;秦熔均;薛正海;陈雄辉;王建树;许天 -专利权人：南栖仙策（南京）高新技术有限公司
申请日： 2022-11-01 - 公布日： 2023-08-29 - 主分类号： G05B13/04 文献下载
摘要：本发明公开了一种反馈控制系统变化的预警方法、装置、设备及介质。该方法包括：在对目标反馈控制系统执行实时反馈控制的过程中，获取与目标反馈控制系统匹配的实时反馈控制轨迹集；利用预先训练的反馈控制系统识别器生成与实时反馈控制轨迹集对应的实时环境特征向量，并计算实时环境特征向量与目标反馈控制系统的基准环境特征向量之间的差异值；当差异值大于设定阈值时，对目标反馈控制系统进行反馈控制系统变化的预警。通过采用上述技术方案，能够基于反馈控制系统识别器在反馈控制系统中快速识别反馈控制系统变化，并对反馈控制系统变化进行预警，能够有效提高反馈控制系统变化预警的灵敏度。
一种反馈控制系统变化预警方法装置设备介质

[发明专利]反馈控制方法、通用反馈控制器、训练方法、可读存储介质、计算机程序产品及系统-CN202211371321.3有效
发明人：庞竟成;俞扬;罗凡明;曹星辰;杨思航;李立和;秦熔均;陈雄辉;许天;王健树;薛正海 -专利权人：南栖仙策（南京）高新技术有限公司
申请日： 2022-11-03 - 公布日： 2023-08-29 - 主分类号： G05B13/04 文献下载
摘要：本发明实施例公开了一种反馈控制方法、通用反馈控制器、训练方法、可读存储介质、计算机程序产品及系统，该控制方法包括：获取并运行反馈控制系统；获取反馈控制系统的系统状态；将系统状态输入至预先训练的时序模型中，获取与系统状态匹配的当前系统特征向量；根据系统状态和当前系统特征向量，得到相应的控制量并输出；执行控制量，同时将控制量反馈至时序模型；返回执行获取反馈控制系统的系统状态的操作，直至反馈控制系统的待控量当前值达到待控量目标值。本发明实施例的技术方案可以快速识别不同反馈控制系统之间的系统特征差异，有效地分辨不同的反馈控制场景，提升了反馈控制器的通用性，能够灵活响应反馈控制需求。
反馈控制方法通用控制器训练可读存储介质计算机程序产品系统

[发明专利]一种控制周期自适应的强化学习无人机稳定飞行控制方法-CN202110988096.7有效
发明人：俞扬;詹德川;黎铭;周志华;罗凡明;袁雷;吴银霞 -专利权人：南京大学
申请日： 2021-08-26 - 公布日： 2023-06-16 - 主分类号： G05D1/10 文献下载
摘要：本发明公开一种控制周期自适应的强化学习无人机稳定飞行控制方法。本发明针对无人机飞行时灵敏性与稳定性的权衡问题，提出了基于强化学习的无人机自适应周期的控制方法。共包含以下关键环节：(1)构造动作增广的策略模型，在策略模型的动作输出中加入是否需要执行该动作的标志位。(2)在环境中运行策略模型时，若标志位为“是”，则执行策略模型输出的动作，并计一定的动作惩罚值；否则不执行该动作，且无惩罚值。(3)使用强化学习算法，通过策略模型与环境的交互，以最大化环境奖励并最小化动作惩罚值为目标，对策略模型进行优化。本发明使得无人机能够对其控制周期进行自适应的调整，同时保证了无人机的性能与飞行稳定性。
一种控制周期自适应强化学习无人机稳定飞行方法

[发明专利]一种基于计算机视觉的开放道路交通参与者数据采集方法-CN201910519984.7有效
发明人：俞扬;罗凡明;詹德川;周志华 -专利权人：南京大学
申请日： 2019-06-17 - 公布日： 2023-04-07 - 主分类号： G06V20/10 文献下载
摘要：本发明公开一种基于计算机视觉的开放道路交通参与者数据采集方法，包括对道路上行人及车辆的行动数据进行采集，获取到包含有交通行为的视频；用目标检测网络得到交通参与者检测的数据；提取图像中所有的特征点，并除去检测到的交通参与者上的特征点；基于检测到的特征点，对视频和检测结果进行增稳处理；用目标追踪算法得到每个交通参与者的轨迹；用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵；并计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标；对于每一条轨迹，估计得到每个轨迹点的速度并对轨迹滤波；将道路情况以图像的形式绘制出来；提取出每个交通参与者的特征描述。
一种基于计算机视觉开放道路交通参与者数据采集方法

[发明专利]反馈控制系统识别器的训练方法、装置、设备及介质-CN202211356753.7在审
发明人：庞竟成;俞扬;罗凡明;曹星辰;杨思航;李立和;秦熔均;陈雄辉;许天;王健树;薛正海 -专利权人：南栖仙策（南京）科技有限公司;南栖仙策（南京）高新技术有限公司
申请日： 2022-11-01 - 公布日： 2023-01-17 - 主分类号： G05B11/42 文献下载
摘要：本发明实施例公开了一种反馈控制系统识别器的训练方法、装置、设备及介质。该反馈控制系统识别器的训练方法包括：构建与多个反馈控制场景对应的多个反馈控制系统，并获取与每个反馈控制系统分别对应的反馈控制策略；按照所述反馈控制策略，生成与每个反馈控制系统分别对应的反馈控制轨迹集；使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器。本发明实施例的技术方案可以快速的识别出不同反馈控制系统之间的系统特征差异，进而能够有效解决传统反馈控制器无法识别系统特征，且需要针对各个反馈控制系统单独调整PID参数的问题，提升了反馈控制的通用性与泛化性。
反馈控制系统识别训练方法装置设备介质

[发明专利]一种反馈控制器的训练方法、装置、电子设备及介质-CN202211356752.2在审
发明人：李立和;俞扬;罗凡明;庞竟成;曹星辰;杨思航;薛正海;秦熔均;陈雄辉;许天;王健树 -专利权人：南栖仙策（南京）科技有限公司;南栖仙策（南京）高新技术有限公司
申请日： 2022-11-01 - 公布日： 2023-01-13 - 主分类号： G05B13/04 文献下载
摘要：本发明公开了一种反馈控制器的训练方法、装置、电子设备及介质。通过反馈控制系统模拟器对当前反馈控制系统进行执行控制，获取当前待控量状态；将其与上一时刻数值输入至预先训练的反馈控制系统识别器中，获取当前环境特征向量；将当前待控量状态、上一时刻数值和当前环境特征输入至待训练的反馈控制器，获取控制量的当前数值，并提供给反馈控制系统模拟器；返回执行通过反馈控制系统模拟器对当前反馈控制系统进行执行控制的操作，直至满足结束模拟条件；根据各待控量状态、控制量的数值以及环境特征向量，基于强化学习算法进行模型训练。解决了传统反馈控制器严重依赖于环境静态性的问题，提高了反馈控制器的泛化性、可靠性、灵活性与通用性。
一种反馈控制器训练方法装置电子设备介质

[发明专利]参数整定模型训练、参数确定方法、装置、设备及介质-CN202211356763.0在审
发明人：曹星辰;俞扬;罗凡明;庞竟成;杨思航;李立和;薛正海;秦熔均;陈雄辉;许天;王建树 -专利权人：南栖仙策（南京）科技有限公司;南栖仙策（南京）高新技术有限公司
申请日： 2022-11-01 - 公布日： 2023-01-13 - 主分类号： G05B11/42 文献下载
摘要：本发明公开了一种参数整定模型训练、参数确定方法、装置、设备及介质。反馈控制参数整定模型的训练方法包括：构建与多个反馈控制场景对应的多个第一类反馈控制系统，并生成与每个第一类反馈控制系统分别对应的反馈控制轨迹集；利用预先训练的反馈控制系统识别器生成与各第一类反馈控制轨迹集分别匹配的环境特征向量；获取与每个第一类反馈控制系统分别对应的最优反馈控制参数；使用各环境特征向量和与各环境特征向量分别对应的各最优反馈控制参数，对反馈控制参数整定模型进行训练，得到反馈控制参数整定模型。采用上述技术方案，能够解决人工调节PID参数耗费时间久、通用性差的问题，能够快速、准确的获取与目标反馈控制系统相匹配的PID参数。
参数模型训练确定方法装置设备介质

[发明专利]一种环境参数的标定方法、装置、电子设备及存储介质-CN202211370861.X在审
发明人：杨思航;俞扬;罗凡明;庞竟成;曹星辰;李立和;薛正海;秦熔均;陈雄辉;许天;王健树 -专利权人：南栖仙策（南京）科技有限公司;南栖仙策（南京）高新技术有限公司
申请日： 2022-11-03 - 公布日： 2023-01-13 - 主分类号： G06Q10/0631 文献下载
摘要：本发明公开了一种环境参数的标定方法、装置、电子设备及存储介质。获取待标定环境参数的源反馈控制任务，以及与所述源反馈控制任务对应的目标反馈控制任务；将与所述目标反馈控制任务对应的目标反馈控制轨迹集输入至预先训练的反馈控制系统识别器中，获取标准环境编码向量；结合使用反馈控制系统识别器以及预设的环境参数优化算法，以标准环境编码向量为基准，优化得到与源反馈控制任务匹配的优化环境参数，以使得源反馈控制任务的动力学模型与目标反馈控制任务的动力学模型等价。解决了对环境参数精细化调整所需的人力成本高、工作效率低以及浪费时间的问题，提高了对环境参数精细化调整的准确率和效率，节省了人力成本和时间成本。
一种环境参数标定方法装置电子设备存储介质

[发明专利]一种基于最大熵强化学习框架的无人驾驶车道保持方法-CN202110375328.1有效
发明人：俞扬;詹德川;周志华;余峰;陈雄辉;罗凡明;张云天;管聪 -专利权人：南京大学
申请日： 2021-04-08 - 公布日： 2022-09-23 - 主分类号： B60W30/12 文献下载
摘要：本发明公开一种基于最大熵强化学习框架的无人驾驶车道保持方法，包括：(1)创建无人车仿真道路环境；设置环境车行驶策略和行人的运动模型，设计奖励函数以及碰撞检测条件；(2)利用深度神经网络近似状态值函数、动作值函数以及策略，并初始化网络参数；(3)获得无人车初始状态，使其与环境交互，收集数据，并存储到缓冲池；(4)对状态值函数网络、动作值函数网络以及策略网络进行更新；(5)对目标值函数网络进行更新，直到策略网络将近收敛；(6)将状态值网络优化目标中熵项系数置零，继续训练直到策略网络完全收敛；(7)对于训练好的策略模型，根据网络输出的动作概率分布，选择概率值最大的动作给无人车执行。
一种基于最大强化学习框架无人驾驶车道保持方法

[发明专利]基于模仿学习和强化学习算法的无人机飞行控制方法-CN202011020765.3有效
发明人：俞扬;詹德川;周志华;付聪;张云天;袁雷;庞竟成;罗凡明 -专利权人：南京大学
申请日： 2020-09-25 - 公布日： 2021-09-28 - 主分类号： G05D1/08 文献下载
摘要：本发明公开一种基于模仿学习和强化学习算法的无人机飞行控制方法：创建无人机飞行仿真环境模拟器；定义飞行的基本动作集合；根据飞行基本动作将轨迹数据进行分类；对于每个飞行动作，利用模仿学习学出从飞行基本动作到原始动作的映射网络参数；统计每个基本动作的最小连续行动数量；构建上层的强化学习网络，并将最小连续行动数量作为飞机动作不一致性的惩罚p加入；在模拟器中，获取当前的观测信息和奖励，使用pDQN算法，选取对应飞行基本动作；将飞机自身的状态信息输入到飞行基本行动对应的模仿学习神经网络中，输出模拟器的原始行动；将得到的原始行动输入到模拟器中获取下个时刻的观测和奖励；使用pDQN算法进行训练，直到上层的策略网络收敛。
基于模仿学习强化算法无人机飞行控制方法

[发明专利]一种基于多智能体强化学习的无人机集群高效通信方法-CN202110441049.0在审
发明人：俞扬;詹德川;周志华;练娅莉;袁雷;秦熔均;庞竟成;管聪;罗凡明;张云天;陈雄辉 -专利权人：南京大学
申请日： 2021-04-23 - 公布日： 2021-08-20 - 主分类号： H04W4/46 文献下载
摘要：本发明公开一种基于多智能体强化学习的无人机集群高效通信方法，构建无人机飞行环境模拟器；随机选取一架无人机作为队长并标记；每架无人机获取并维护本机的局部观测值，将自身观测值进行编码并发送给队长；队长根据每架无人机的自身观测值，分别对全局观测值进行attention注意力机制处理，根据信息的重要程度来决定信息的权重，继而将计算好的观测值发送给每个队友，作为队友的全局观测值；训练阶段以全局观测值作为训练数据，直到策略网络收敛；执行阶段以分布式的方式进行；对队长的存活给一个额外的奖励。本发明可以在通信开销较小的条件下解决无人机集群集中式信息交互的问题，给予无人机自主决策权。
一种基于智能强化学习无人机集群高效通信方法

[发明专利]一种基于课程学习的无人机空中博弈对抗的解决方法-CN202110445367.4在审
发明人：俞扬;詹德川;周志华;周佳俊;庞竟成;罗凡明;秦熔均;管聪 -专利权人：南京大学
申请日： 2021-04-25 - 公布日： 2021-08-20 - 主分类号： G05B19/418 文献下载
摘要：本发明公开一种基于课程学习的无人机空中博弈对抗的解决方法，包含以下步骤：(1)构建仿真模拟环境；(2)收集飞行员控制飞机的真实轨迹数据，将轨迹数据按照机动动作难度进行课程目标分类；(3)对指定课程目标下的轨迹，通过模仿学习来优化策略模型生成的轨迹和专家轨迹的相似度；(4)获得预训练无人机策略模型；(5)基于预训练无人机策略模型，在模拟器中创建敌我双方无人机智能体；(6)无人机在模拟器中获得当前时刻的观测；(7)无人机与模拟环境进行交互，将我方与敌方无人机对抗的任务建模为一个强化学习智能体与环境交互的问题，用强化学习算法优化无人机对抗的飞行策略；(8)获得无人机进行空中博弈对抗的有效策略。
一种基于课程学习无人机空中博弈对抗解决方法

[发明专利]基于强化学习的无人机对抗博弈训练控制方法-CN202110464589.0在审
发明人：俞扬;詹德川;周志华;郭天豪;管聪;庞竟成;罗凡明;张云天;袁雷;陈雄辉 -专利权人：南京大学
申请日： 2021-04-28 - 公布日： 2021-08-20 - 主分类号： G05D1/10 文献下载
摘要：本申请公开了一种基于强化学习的无人机对抗博弈训练控制方法，包括如下步骤：使主智能体与对手池中所有对手对战并统计所述主智能体的胜率；判断所述主智能体的胜率是否满足预设要求；如果所述主智能体的胜率满足预设要求，则根据所述主智能体的胜率选择对抗对手；使主智能体与所述对抗对手训练直至所述主智能体策略收敛。本申请的有益之处在于。本申请的有益之处在于提供了一种行之有效的基于强化学习的无人机对抗博弈训练控制方法从而使主智能体具有更强学习能力。
基于强化学习无人机对抗博弈训练控制方法

[发明专利]基于动态生成环境的无人车行驶策略规划方法及实现装置-CN202110464610.7在审
发明人：俞扬;詹德川;周志华;史正昕;罗凡明;袁雷;秦熔均 -专利权人：南京大学
申请日： 2021-04-28 - 公布日： 2021-08-20 - 主分类号： B60W60/00 文献下载
摘要：本发明公开一种基于动态生成环境的无人车行驶策略规划方法及实现装置，(1)在模拟器中构建无人驾驶环境。(2)初始化强化学习参数及网络策略模型。(3)与环境交互，收集无人驾驶车辆当前状态，由策略网络进行动作采样，在模拟器中执行动作并进入新的状态。(4)收集车辆在一段生成环境中的累积奖励以及是否成功完成任务，并建立一段新的生成环境。(5)对于车辆的行驶策略，在重复(3)中的操作采集一定强化学习样本后，进行强策略迭代。(6)对于车辆所面临的环境，将由(4)中所述的模式不断生成，并基于对是否成功以及累积奖励的收集，抽取那些失败道路以及低累积奖励道路的环境参数，在这些路段进行反复多次训练。(7)持续上述步骤训练直到策略收敛。
基于动态生成环境无人车行策略规划方法实现装置

[发明专利]一种基于多智能体强化学习的无人机集群协同学习方法-CN202010944781.5在审
发明人：俞扬;詹德川;周志华;袁雷;张云天;付聪;庞竟成;罗凡明;贾俊华 -专利权人：南京大学
申请日： 2020-09-10 - 公布日： 2020-12-25 - 主分类号： G06F30/15 文献下载
摘要：本发明公开一种基于多智能体强化学习的无人机集群协同学习方法，构造基于空气动力学的环境模拟器；每个无人机获取并维护本机的局部观测值；作为student，每个无人机获取并维护来自队友的建议观测值；作为teacher，为其他无人机给出指导值；基于本机局部观测值与从队友获取的建议观测值执行动作策略，获取奖励并转移到下一状态；基于MADDPG思想进行训练，直到值网络与策略网络收敛；执行阶段以分布式的方式进行，即每个无人机基于局部观测值和队友提供的建议观测值，通过动作策略执行。本发明可以在成本较低的前提下实现无人机集群之间观测值的互补，实现无人机单独自主决策，解决“主从”结构带来的通信问题。
一种基于智能强化学习无人机集群协同学习方法

1
2
下一页»
尾页
共 18 条