[发明专利]一种基于强化学习的M2M通信中中继节点的选择方法

说明书

本发明揭示了一种基于强化学习的M2M通信中中继节点的选择方法，包括如下步骤：S1、搭建强化学习模型框架，确定强化学习的动作集、状态集以及奖赏值；S2、对强化学习模型的框架进行细化；S3、根据具体问题对强化学习模型进行迭代循环；S4、根据训练结果对强化学习模型进行调整，应用调整后的强化学习模型进行中继节点的选择。本发明将每次通信的能量消耗情况与为中继节点供能的电池的能量均衡情况都纳入强化学习的目标中，使系统在减少能量消耗与实现能量均衡中达到平衡，避免了能量失衡、延长了整个系统的使用寿命。

技术领域

本发明涉及一种中继选择方法，具体涉及一种针对电池供电中继选择的、基于强化学习的M2M通信中中继节点的选择方法，属于无线通信技术领域。

背景技术

近年来，随着计算机技术的不断发展，机器学习(Machine Learning)逐渐成为了人工智能的核心技术，得到了众多业内研究人员的广泛关注。

具体而言，依据其数据库中的样本数据是否存在标签，可以将机器学习大致分为监督学习、非监督学习以及强化学习三种类型。其中，强化学习是一种以环境反馈作为输入、以统计和动态规划技术为指导的学习方法。强化学习的灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。与上述其他两种机器学习的方法不同，强化学习的优势着眼于智能体在不确定的环境中进行交互的问题，强调如何基于环境而行动、以取得最大化的预期利益。目前，强化学习已经在许多相关领域内得到了广泛的应用，针对通信领域，一般将其应用于无线资源分配、中继选择等场景中。

在无线通信领域内，中继技术是近年来的研究热点之一，中继技术是指在无线通信网络中设置多个中继节点，这些中继节点可以将消息辅助传送到目的节点中，从而有效地克服无线信道衰落、提高无线系统的通信质量，同时扩大通信系统的覆盖范围。进一步而言，

中继节点对于信号的处理方式主要包括放大转发与解码转发两种方式。其中，对于中继节点的选择方法一般包括四种，即信噪比最大方案、最近邻居方案、最优最差信道方案以及最小调和平均方案，这些算法基本的参考依据都是源、中继节点及目的节点间的信道条件。

在执行现有的这些中继节点选择方法时，技术人员发现，整个无线通信网络中信道条件较好的中继节点会被频繁选择用于信息传输，为其供电的电池能量会消耗的比其他中继节点更快，从而造成系统内的能量失衡、缩短整个系统的使用寿命。

综上所述，如何在现有技术的基础上提出一种全新的中继节点选择方法，尽可能地克服现有技术中所存在的缺陷，也就成为了本领域内技术人员共同的研究目标。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种针对电池供电中继选择的、基于强化学习的M2M通信中中继节点的选择方法，具体如下。

一种基于强化学习的M2M通信中中继节点的选择方法，应用于M2M通信系统中，包括如下步骤：

S1、搭建强化学习模型框架，确定强化学习的动作集、状态集以及奖赏值；

S2、采用Q-Learning算法对强化学习模型的框架进行细化；

S3、根据具体问题确定Q-Learning算法中的超参数，对强化学习模型进行迭代循环；

S4、根据训练结果对强化学习模型进行调整，应用调整后的强化学习模型进行中继节点的选择。

优选地，所述S1包括如下步骤：

S11、将M2M通信系统中不同的中继节点选择定义为强化学习中的动作；

S12、将各中继节点的电池的剩余能量及下次通信的目标节点作为强化学习的状态；