[发明专利]一种WTA注意力机制神经网络模型的优化方法和装置在审
申请号: | 202211399604.9 | 申请日: | 2022-11-09 |
公开(公告)号: | CN115527088A | 公开(公告)日: | 2022-12-27 |
发明(设计)人: | 曾啸;陈霖;李迪;刘淡冰;黄嘉明;胡欣欣;陈兆炜;蚁殷翔;王亚迪;苗浩;刘锦湖;王强;徐雪丹 | 申请(专利权)人: | 广东电网有限责任公司;广东电网有限责任公司珠海供电局 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V10/82;G06V10/44;G06N3/08;G06N3/04 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 杨艺 |
地址: | 510600 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 wta 注意力 机制 神经网络 模型 优化 方法 装置 | ||
1.一种WTA注意力机制神经网络模型的优化方法,其特征在于,包括:
当接收到图像训练数据集时,对所述图像训练数据集进行双向生成对抗训练,生成对应的目标训练样本数据,并获取网络构建参数;
采用所述网络构建参数构建初始WTA注意力机制网络模型;
采用所述目标训练样本数据对所述初始WTA注意力机制网络模型进行训练,生成目标WTA注意力机制网络模型;
当接收到目标图像数据时,提取所述目标图像数据对应的输入特征图;
采用所述输入特征图输入所述目标WTA注意力机制网络模型,生成WTA路径图;
采用所述WTA路径图反馈优化所述目标WTA注意力机制网络模型。
2.根据权利要求1所述的WTA注意力机制神经网络模型的优化方法,其特征在于,涉及初始GAN网络模型,所述初始GAN网络模型包括生成器和识别器,所述当接收到图像训练数据集时,对所述图像训练数据集进行双向生成对抗训练,生成对应的目标训练样本数据,并获取网络构建参数的步骤,包括:
当接收到图像训练数据集时,提取所述图像训练数据集中每个样本训练图像对应的第一特征信息;
采用所述第一特征信息输入所述生成器进行学习,生成对应的目标训练图像;
提取所述目标训练图像对应的第二特征信息;
通过所述识别器对所述第一特征信息与所述第二特征信息进行辨别,生成辨别结果;
若所述辨别结果为所述初始GAN网络模型不能辨别出所述第一特征信息与所述第二特征信息,则生成目标GAN网络模型;
采用所述图像训练数据集输入所述目标GAN网络模型进行双向生成对抗训练,生成对应的目标训练样本数据,并获取网络构建参数。
3.根据权利要求2所述的WTA注意力机制神经网络模型的优化方法,其特征在于,还包括:
若所述辨别结果为所述初始GAN网络模型能辨别出所述第一特征信息与所述第二特征信息,按照预设梯度调整所述生成器和所述识别器的参数,并跳转所述通过所述识别器对所述第一特征信息与所述第二特征信息进行辨别,生成辨别结果的步骤。
4.根据权利要求1所述的WTA注意力机制神经网络模型的优化方法,其特征在于,所述采用所述目标训练样本数据对所述初始WTA注意力机制网络模型进行训练,生成目标WTA注意力机制网络模型的步骤,包括:
将所述目标训练样本数据输入所述初始WTA注意力机制网络模型,生成对应的训练样本路径图;
计算所述训练样本路径图与关联的标准路径图之间的训练损失值;
比较所述训练损失值与预设的训练标准阈值;
若所述训练损失值小于或等于所述训练标准阈值,则停止训练,生成目标WTA注意力机制网络模型。
5.根据权利要求1所述的WTA注意力机制神经网络模型的优化方法,其特征在于,涉及LSTM网络模型,所述采用所述输入特征图输入所述目标WTA注意力机制网络模型,生成WTA路径图的步骤,包括:
采用所述输入特征图输入所述目标WTA注意力机制网络模型,确定对应的赢家状态数据;
通过所述LSTM网络模型记录所述赢家状态数据关联的目标注意力位置数据,并输出WTA路径图。
6.一种WTA注意力机制神经网络模型的优化装置,其特征在于,包括:
目标训练样本数据获取模块,用于当接收到图像训练数据集时,对所述图像训练数据集进行双向生成对抗训练,生成对应的目标训练样本数据,并获取网络构建参数;
初始WTA注意力机制网络模型构建模块,用于采用所述网络构建参数构建初始WTA注意力机制网络模型;
目标WTA注意力机制网络模型生成模块,用于采用所述目标训练样本数据对所述初始WTA注意力机制网络模型进行训练,生成目标WTA注意力机制网络模型;
输入特征图获取模块,用于当接收到目标图像数据时,提取所述目标图像数据对应的输入特征图;
WTA路径图生成模块,用于采用所述输入特征图输入所述目标WTA注意力机制网络模型,生成WTA路径图;
优化模块,用于采用所述WTA路径图反馈优化所述目标WTA注意力机制网络模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东电网有限责任公司;广东电网有限责任公司珠海供电局,未经广东电网有限责任公司;广东电网有限责任公司珠海供电局许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211399604.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:SJ-IGBT器件及其形成方法
- 下一篇:故障定位方法、装置及设备