[发明专利]基于深度强化学习的能量采集认知物联网资源分配方法

说明书

本发明涉及一种基于深度强化学习的能量采集认知物联网资源分配方法，包括：搭建能量采集认知物联网系统模型，并推导出资源分配的数学模型；搭建强化学习模型，将次发射机到次接收机、协作干扰器到窃听节点这两条链路的2m条子信道以及一个能量采集时间分配网络共建模为2m+1个强化学习智能体，能量采集认知物联网中的其他部分为强化学习环境，智能体与环境不断进行交互；构建基于深度强化学习的能量采集认知物联网资源分配模型，并对其进行训练；通过训练好的资源分配模型对认知物联网进行联合能量采集时间和传输功率的最优分配。该方法有利于对能量采集认知物联网资源进行最优分配。

技术领域

本发明属于无线通信领域，具体涉及一种基于深度强化学习的能量采集认知物联网资源分配方法。

背景技术

随着现代无线通信技术的发展，物联网已经成为了连接大量物联网设备来满足日常服务需求的一种新范式。这些物联网设备需要占用大量的频谱资源，然而频谱资源短缺已经成为了制约物联网未来发展的重要因素。

为了解决频谱资源短缺的问题，认知无线电技术应运而生。认知无线电通过感知外界环境，智能地调节系统内部参数，发现并利用频谱空穴，实现频谱资源的高效利用，从而提高日常服务需求，因此将认知无线电技术应用于物联网是一项有前景的方案。认知物联网就是认知无线电技术与物联网相结合来解决频谱资源短缺问题的一种范式。

尽管认知物联网具有上述的优点，但物联网设备往往是采用传统的电池供电，日益增多的电池数量不仅增加了维护成本，而且废弃电池还会给环境带来污染。对于大规模的认知物联网而言，频频更换电池不仅耗时费力，而且还会降低网络的通信效率。为了解决这一难题，能量采集技术得以应用于认知物联网中。能量采集技术是一种能够将风能、热能、太阳能、射频能量等自然能量存在形式转化为电能形式为物联网设备供电，从而无需受到外部电池容量限制的技术。自然能源不稳定且采集过程需要大型复杂的电力设备进行，而射频能量信号只需通过天线接收就能够实现，因此考虑通过射频能量采集技术为物联网设备供电不仅能解决能量效率的问题，同时也符合绿色通信的要求。

科技生产力的提高在促进各种无线通信网络发展的同时，也使得这些网络的安全复杂度也随之增加。特别是在当前信息化时代背景下，在认知物联网中物联网设备之间的通信变得更加频繁，这就使得认知物联网的通信安全面临着重大考验。无线信道的广播特性，为窃听节点接入网络并窃取保密信息提供了可乘之机。传统上往往是在网络协议栈的上层采用密码学加密的方法来提高网络通信安全，但是计算力的提高使得这种加密方法很容易被非法用户破解，这对于存储了大量通信资源的物联网而言是个巨大的安全挑战。为了进一步地提高网络的通信安全，物理层安全技术成为了传统密码学加密方法的补充方案。物理层安全技术包括波束成形，人工噪声，协作干扰等技术，其主要是利用无线信道的衰落、噪声、干扰等固有特性来防止窃听，这种方法无需关注窃听节点的计算力就能够保证网络在信息理论上的绝对安全。因此，将物理层安全技术应用于认知物联网来增强通信安全是一种切实可行的方案。

发明内容

本发明的目的在于提供一种基于深度强化学习的能量采集认知物联网资源分配方法，该方法有利于对能量采集认知物联网资源进行最优分配。

为实现上述目的，本发明采用的技术方案是：一种基于深度强化学习的能量采集认知物联网资源分配方法，包括：

搭建能量采集认知物联网系统模型，并推导出资源分配的数学模型；

搭建强化学习模型，将次发射机到次接收机、协作干扰器到窃听节点这两条链路的2m条子信道以及一个能量采集时间分配网络t₀共建模为2m+1个强化学习智能体，能量采集认知物联网中的其他部分为强化学习环境，智能体与环境不断进行交互；

构建基于深度强化学习的能量采集认知物联网资源分配模型，并对其进行训练；

通过训练好的资源分配模型对认知物联网进行联合能量采集时间和传输功率的最优分配。