[发明专利]一种基于知识迁移压缩网络的方法在审
| 申请号： | 202310576587.X | 申请日： | 2023-05-22 |
| 公开（公告）号： | CN116757245A | 公开（公告）日： | 2023-09-15 |
| 发明（设计）人： | 宋晨;张连超;陈兆亮;段强;姜凯;李锐 | 申请（专利权）人： | 山东浪潮科学研究院有限公司 |
| 主分类号： | G06N3/042 | 分类号： | G06N3/042;G06N3/0495;G06N3/096;G06Q50/20 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 姜鹏 |
| 地址： | 250100 山东省济*** | 国省代码： | 山东;37 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本发明涉及深度学习技术领域，具体为一种基于知识迁移压缩网络的方法，包括以下步骤：步骤1人工设计出轻量化模型；步骤2初始化网络参数；步骤3在训练完成的网络上进行每层敏感度的测量；步骤4微调门参数；步骤5重复步骤3和步骤4，最终得到一个包含大部分信息的且压缩的网络；步骤6将压缩的网络部署到嵌入式设备中；有益效果为：将检测学生情感识别的轻量化网络布置到嵌入式设备中，结合小型摄像头可以提升教学质量。 | ||
| 搜索关键词： | 一种 基于 知识 迁移 压缩 网络 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东浪潮科学研究院有限公司，未经山东浪潮科学研究院有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310576587.X/，转载请声明来源钻瓜专利网。
- 同类专利
- 一种构建图集成模型的方法、装置及存储介质-202310844391.4
- 林科奥;谢小竹;翁伟 - 厦门理工学院
- 2023-07-11 - 2023-10-27 - G06N3/042
- 本申请实施例公开了一种构建图集成模型的方法、装置及存储介质，用于有效提高经典图神经网络模型的性能，可以结合多个模型的预测结果，有效捕捉数据的多样性，从而提高节点分类的效率和准确性。本申请实施例方法包括：对原始图数据集进行预处理，得到预处理后的原始图数据集；根据所述预处理后的原始图数据集进行训练，得到基学习器，所述基学习器包括图卷积网络GCN、GraphSAGE和图注意力网络GAT中的至少两种；对所述基学习器进行集成，构建图集成模型，所述图集成模型用于节点分类。
- 一种模型部署方法、装置、电子设备及存储介质-202310454737.X
- 陶淳;马子扬;景宗飞 - 腾讯科技（深圳）有限公司
- 2023-04-24 - 2023-10-27 - G06N3/042
- 本申请涉及深度学习技术领域，尤其涉及一种模型部署方法、装置、电子设备及存储介质。该方法为：获取待部署至目标设备的原始模型；基于训练数据，按照预设的量化精度，对原始模型进行再次训练，获得量化模型，并基于预设的模型格式，对量化模型进行格式转化，获得中间模型；基于针对目标设备配置的目标精度，对中间模型包含的各模型参数进行精度调整，获得目标模型；将目标模型部署至目标设备中。这样，根据目标精度对中间模型的精度灵活地进行调整，调整后获得的目标模型可以进行相应的数据处理，只需要管理一个中间模型，实现了一个模型进行多种精度的数据处理，避免了部署和管理多个模型，从而提高了模型部署的效率和节约了管理成本。
- 神经网络的信息流动控制方法、装置、设备及介质-202310999951.3
- 杨志宏;由育阳 - 中国医学科学院药用植物研究所;北京理工大学
- 2023-08-10 - 2023-10-27 - G06N3/042
- 本发明涉及神经网络技术领域，尤其涉及一种神经网络的信息流动控制方法、装置、设备及介质。该方法包括：将样本体表生理数据输入到目标神经网络中；针对至少一个隐藏层，对该隐藏层的至少部分输入特征进行置零处理；在每对一个隐藏层进行置零处理时，确定目标神经网络在进行该置零处理前后的模型性能的变化量；基于与每次进行的置零处理对应的模型性能的变化量，确定进入各隐藏层的输入特征的置零位置，以实现待测体表生理数据在目标神经网络中的信息流动控制；其中，样本体表生理数据和待测体表生理数据的数据类型相同，且样本体表生理数据和待测体表生理数据均为时间序列数据。上述技术方案能够增强神经网络的可解释性。
- 一种基于节点特征与图结构解耦的图表示学习方法-202310803416.6
- 周航;周斌彬;郑增威;周展 - 浙江大学;浙大城市学院
- 2023-07-03 - 2023-10-24 - G06N3/042
- 本发明涉及一种基于节点特征与图结构解耦的图表示学习方法，包括收集原始图结构数据并标记；对图中每个节点生成特征子图与结构子图；对于特征子图，使用注意力机制和图池化得到特征子图的表示；对于结构子图，对节点特征进行重初始化，并使用图同构网络和图池化得到结构子图的表示；将特征子图表示与结构子图表示进行加权融合；将最终的节点表示输入至编码器进行节点分类任务。本发明的有益效果是：本发明考虑了在图表示学习的过程中对节点特征信息和结构信息进行了解耦，使用基于子图采样的方法分别学习节点特征信息和结构信息，使其更加适应现有的图神经网络，具有更高的泛化性。
- 数据处理方法、装置、电子设备、程序产品及介质-202210321270.7
- 陈昊 - 腾讯科技（深圳）有限公司
- 2022-03-29 - 2023-10-24 - G06N3/042
- 本申请实施例公开了数据处理方法、装置、电子设备、程序产品及介质，可应用于数据处理技术领域。其中方法包括：获取基于对象集针对资源集的访问行为所构建的访问结构图；从访问结构图中分别获取以每个图节点为中心图节点的访问结构子图；任一个访问结构子图中的任一个图节点与该访问结构子图的中心图节点间所包含的连边的数量小于或等于L，L为正整数；基于每个图节点的访问结构子图训练特征生成网络，并基于训练好的特征生成网络生成每个对象的对象特征及每个资源的资源特征；特征生成网络的网络深度大于L。采用本申请实施例，有助于更准确地生成各个资源以及各个对象的特征。
- 基于图神经网络模型的量化方法、任务处理方法及装置-202311168927.1
- 曹其春;董刚;胡克坤;王斌强;杨宏斌;晁银银;尹文枫 - 苏州浪潮智能科技有限公司
- 2023-09-12 - 2023-10-20 - G06N3/042
- 本发明提供了基于图神经网络模型的量化方法、任务处理方法及装置，本申请实施例提供的方法通过利用硬件加速器的资源预算量对期望量化分配信息调整，并按照调整后的第一目标量化分配信息量化图神经网络模型和图数据。以此保证图神经网络模型和图数据在硬件加速器上运行的稳定性。后续利用硬件加速器反馈的准确度继续对第一目标量化分配信息进行优化，从而得到第二目标量化分配信息，最终通过第二目标量化分配信息对图神经网络模型和图数据进行量化压缩，一方面减少存储空间，另一方面，结合硬件加速器的并行计算和可编程特性，能够实现高效率、低功耗的计算，同时保证了图神经网络模型的精度。
- 一种带随机噪声掩码的图自动编码的模型训练方法及系统-202310994907.3
- 张玥雯;刘飞;余关元;何刚;陈少磊 - 四川新网银行股份有限公司
- 2023-08-08 - 2023-10-17 - G06N3/042
- 本发明公开了一种带随机噪声掩码的图自动编码的模型训练方法及系统，包括获取银行的金融风险传播相关数据并转换为图结构数据；对节点的原始特征向量进行随机掩码，利用伯努利分布随机挑选若干节点，形成被选择的节点特征向量；由多元标准正态分布生成的数据替代，得到带有随机掩码的节点特征向量；对边的原始特征向量行随机掩码，得到带有随机掩码的边特征向量；对未被选择的节点和边进行噪声注入，得到噪声注入后的图数据；根据带有随机掩码的节点特征向量、带有随机掩码的边特征向量和噪声注入后的图数据，进行重构；利用重构后的图结构数据进行神经网络模型训练，得到训练好的神经网络模型。本发明可以提高模型在网络中金融风险的识别能力。
- 一种自连接宽度图卷积神经网络模型系统及训练方法-202011610969.2
- 刘勋;宗建华;夏国清;陈晓霖 - 广州大学华软软件学院
- 2020-12-30 - 2023-10-13 - G06N3/042
- 本发明提供了一种自连接宽度图卷积神经网络模型及其训练方法，所述自连接宽度图卷积神经网络模型依次包括输入层、同时捕捉多阶邻域信息的自连接高阶图卷积层、融合多阶邻域信息的SP信息融合池化层和softmax函数多分类输出层，所述自连接宽度图卷积神经网络模型对应的训练方法为先进行预处理得到预处理特征，再将预处理特征输入训练的高效模型训练方法。该模型及其训练方法应用于实际分类测试时，采用自连接高阶图卷积层增加模型宽度、降低模型深度、减少参数量和复杂度的同时，还同时聚集多阶邻域节点信息，且赋予自身节点更高权重，进而在扩宽模型感受野、避免过拟合风险的同时，还进一步提升了模型的学习能力、稳定性和分类精度。
- 一种图神经网络架构的搜索方法、装置、预测方法和产品-202310814432.5
- 朱文武;王鑫;张紫昭 - 清华大学
- 2023-07-04 - 2023-10-10 - G06N3/042
- 本发明提供了一种图神经网络架构的搜索方法、装置、预测方法和产品，该方法应用于深度学习技术领域，该方法包括：建立搜索空间，所述搜索空间包括图神经网络架构空间和图编码空间；对所述搜索空间中的所有候选架构进行编码，得到超网络，所述候选架构由所述图神经网络架构空间中的部分架构和所述图编码空间中的部分架构组成；基于所述候选架构所采用的图编码策略，对超网络进行训练，得到训练后的超网络；利用进化算法，在所述训练后的超网络中进行搜索，得到预测性能最优的图神经网络架构。
- 基于图学习和不确定行为建模的胜率预测系统及方法-202310867347.5
- 吕冰;赵洪科;冯楠 - 天津大学
- 2023-07-14 - 2023-10-10 - G06N3/042
- 本发明公开了一种基于图学习和不确定行为建模的胜率预测系统及方法，该系统设有依次连接的多维度行为表征模块、耦合图对比学习模块、随机行为表征模块及前馈神经网络模型；多维度行为表征模块设有序列图、知识图及第一图注意力网络，序列图用于表征单个玩家局部比赛序列的技能信息；知识图用于表征从游戏系统全局抽取的游戏角色间的合作和对抗信息，第一图注意力网络采用注意力机制，将序列图和知识图的邻居节点信息聚合成玩家特征耦合图；耦合图对比学习模块对玩家特征耦合图进行强化；随机行为表征用于模拟玩家的真实实力以及玩家在游戏内受环境影响的波动情况；前馈神经网络模型输入玩家特征并输出最终的预测结果。本发明提高了预测的准确性。
- 一种计算图切分方法、装置、电子设备及存储介质-202210289267.1
- 张云铭;屠震元;李鹏飞;周智强;叶挺群 - 杭州海康威视数字技术股份有限公司
- 2022-03-22 - 2023-10-10 - G06N3/042
- 本申请实施例提供了一种计算图切分方法、装置、电子设备及存储介质。获取单向无环图；确定算子的预设优化类别为不参与算子融合的节点，作为第一类节点；针对每一第一类节点，将该第一类节点的父节点中的第二类节点标记为缩点中止节点，将该第一类节点的子节点中的第二类节点标记为缩点起始节点；根据每一关系边连接的两个节点的节点类型，确定该关系边的权重；基于缩点中止节点、缩点起始节点和每一关系边的权重进行缩点处理，得到缩点图；基于缩点图对单向无环图进行切分，得到多个第一子计算图。通过本申请实施例提供的技术方案，使得切分得到的各子计算图间的依赖关系较低，以及切分得到的子计算图的数量较少，从而提高网络模型的处理效率。
- 模型训练方法、装置、相关设备及存储介质-202210270917.8
- 张震 - 中移（上海）信息通信科技有限公司;中移智行网络科技有限公司;中国移动通信集团有限公司
- 2022-03-18 - 2023-09-29 - G06N3/042
- 本申请提供一种模型训练方法、装置、相关设备及存储介质，其中，所述方法包括：获取训练数据，其中，所述训练数据包括：用于表征社交场景中的用户身份的第一节点、以及用于表征社交场景中用户间联系频次的第一边数据；对所述训练数据进行划分处理，得到N个第一子数据，其中，N为大于1的整数；根据所述N个第一子数据训练预先构建的初始模型，得到用于识别异常用户的N个识别模型，所述N个识别模型与所述N个第一子数据一一对应。通过对训练数据进行划分处理的方式，简化图神经网络在训练阶段的繁琐流程，规避节点数量庞大的图网络存在的高复杂度的计算问题，使图神经网络在用于识别社交场景中的团伙异常行为时，能灵活便捷地完成模型训练过程。
- 一种用于自注意力神经网络的归一化方案-202180092730.7
- 阿拉丁·维尔莫;乔治·达苏拉斯;凯文·斯卡曼 - 华为技术有限公司
- 2021-02-04 - 2023-09-29 - G06N3/042
- 描述了一种数据处理设备(700)，用于对图神经网络执行基于注意力的操作。所述设备用于接收一个或多个输入图，每个输入图具有多个节点(201、202、203、204、205、206)，并且对于所述输入图中的至少一个，还用于执行以下操作：形成(601)所述相应输入图中的每个节点的输入节点表示，其中，可以为每个输入节点表示定义相应的范数；形成(602)一组注意力参数；将所述输入节点表示中的每一个与所述一组注意力参数相乘(603)，以形成所述相应输入图的得分函数；基于所述输入节点表示的范数中的最大值，对所述得分函数进行归一化(604)，以形成归一化得分函数；通过所述归一化得分函数的相应元素对所述相应输入图中的每个节点进行加权，来形成(605)加权节点表示。所述得分函数的所述归一化可以通过加强利普希茨连续性使得基于注意力的深度神经网络表现更好。
- 分布式计算方法及分布式计算系统-202010123789.5
- 黄鑫;宋宪政;王琳 - 支付宝（杭州）信息技术有限公司
- 2020-02-27 - 2023-09-26 - G06N3/042
- 本说明书提供了一种用于运行分析图结构的深度学习模型的分布式计算方法和系统。所述分布式计算系统中的至少一个计算设备反复迭代执行所述图结构的图嵌入向量更新操作，包括：获取所述图结构中目标节点的目标图嵌入向量；从所述分布式计算系统中的至少一个关联计算设备接收相邻目标图嵌入向量；基于所述目标图嵌入向量和相邻目标图嵌入向量，生成迭代后的目标图嵌入向量；以及将所述迭代后的目标图嵌入向量发送给所述关联计算设备。
- 一种基于属性邻域的异质图属性补全方法-202310001112.8
- 章昭辉;王鹏伟;黄思婷;胡超超 - 东华大学
- 2023-01-03 - 2023-09-22 - G06N3/042
- 现有的图神经网络作为分析属性异质图的模型，对给定图数据的节点属性非常敏感。节点属性的缺失通常会导致噪声在图中传播，影响后续的任务。针对该问题本发明提出了一种基于属性邻域的异质图属性补全方法，构建了节点的属性邻域，实现了节点邻域的属性聚合不受无属性节点影响。进一步提出了结构信息再学习模块，通过加权聚合节点的结构嵌入使节点的补全属性同时具有结构信息和语义信息。该方法能有效地补全异质图中缺失的属性，将补全的属性与现有的异质图模型相结合，能有效避免缺失节点属性带来的误差，提升原有框架。
- 学生模型的训练方法、装置及电子设备-202010297966.1
- 曾凡高;张有才;危夷晨 - 北京迈格威科技有限公司
- 2020-04-15 - 2023-09-22 - G06N3/042
- 本发明提供了一种学生模型的训练方法、装置及电子设备，涉及人工智能领域，学生模型通过知识蒸馏方式向已训练好的教师模型学习，学生模型和教师模型均为物体检测模型，该方法包括：获取训练样本的候选样本区域；分别通过学生模型和教师模型对训练样本的候选样本区域进行特征提取，得到学生模型提取出的第一特征和教师模型提取出的第二特征；获取第一特征的置信度；根据第一特征、第二特征和第一特征的置信度确定学生模型和教师模型之间的蒸馏损失；基于蒸馏损失更新学生模型的参数。本发明可以使学生模型能够针对不同样本进行不同程度的参数更新，使训练好的学生模型具有更优秀的性能，从而提升物体检测效果。
- 一种高分辨率模型蒸馏低分辨率模型的方法-202310767540.1
- 张宝川;毛辉杰;葛棋棋;陈赟;张子川;肖昌震;陈胜利 - 浙江千从系统技术有限公司
- 2023-06-26 - 2023-09-19 - G06N3/042
- 本发明涉及一种高分辨率模型蒸馏低分辨率模型的方法，在低分辨率模型中设置改进的特征对齐模块；基于同一输入图像，将高分辨率图像输入高分辨率模型，将低分辨率图像输入低分辨率模型，模型分别处理对应输入，以改进的特征对齐模块对齐特征，在模型间建立关联，训练低分辨率模型，完成高分辨率模型蒸馏低分辨率模型。本发明通过高分辨率输入模型蒸馏低分辨率模型，提升低分辨率模型的模型精度，同时维持低分辨率模型原有的推理速度；不限制高分辨率模型和低分辨率模型的网络结构必须相同；具备通用性，不限定于单一的深度学习任务，在包括但不限于分类、检测、分割等的多种任务中都可以通用，可以扩展到各种类型的算法模型的蒸馏上。
- 一种用于时空数据建模的多头注意力时空图卷积模型-202310835960.9
- 彭程;程媛 - 哈尔滨理工大学
- 2023-07-07 - 2023-09-19 - G06N3/042
- 本发明涉及计算机科学、机器学习、图神经网络、以及相关的数据分析和模式识别领域，是典型的跨学科课题。本发明提出了深度学习框架时空多头注意力图卷积网络模型，它采用时间卷积层来提取时间特征，使用空间注意力以及多头注意力机制完成节点间的消息汇聚更好的提取空间的特征，得习更全面的信息，本发明从中具有较高的准确度，在效率上优于常规的基准模型，且在性能上也有更好表现。
- 基于人工智能的数据处理方法、装置、介质及电子设备-201910825937.5
- 荣钰;黄文炳;徐挺洋 - 腾讯科技（深圳）有限公司
- 2019-09-03 - 2023-09-19 - G06N3/042
- 本公开提供了一种基于人工智能的数据处理方法、装置及系统，涉及人工智能领域。该方法包括：获取图结构，所述图结构包含多个节点；对各所述节点对应的各级子节点分别进行特征提取，以获得与所述图结构对应的各级图节点信息；根据所述图结构对应的原始特征和所述各级图节点信息确定与所述图结构对应的表征信息。本公开的技术方案减弱了过拟合和过平滑对图神经网络模型性能的影响，提升了图神经网络模型的性能，并进一步提升了图神经网络的预测性能。
- 图神经网络模型、训练方法、设备以及存储介质-202310714279.9
- 蔡亚男;周海;周怡;刘建坤 - 中国国际金融股份有限公司
- 2023-06-15 - 2023-09-15 - G06N3/042
- 公开了用于用户属性识别的图神经网络模型的训练方法。包括步骤：基于与用户属性有关的内容之间的关联以及用户和内容之间的交互关系构建知识图谱；对时间进行切片，得到多个时间切片；针对每个时间切片，基于知识图谱，确定任意两个用户之间可触达的所有元路径类型；生成每一个时间切片下每一个元路径类型对应的所有用户节点的向量表示；确定用户节点的最终向量表示，其中，每一个用户节点的最终向量表示为每一个用户节点在所有时间切片下所有元路径类型对应的相应用户节点的所有向量表示的加权拼接；以及训练图神经网络模型。还公开了图神经网络模型的应用方法、相应的设备和计算机可读存储介质等。
- 一种基于知识迁移压缩网络的方法-202310576587.X
- 宋晨;张连超;陈兆亮;段强;姜凯;李锐 - 山东浪潮科学研究院有限公司
- 2023-05-22 - 2023-09-15 - G06N3/042
- 本发明涉及深度学习技术领域，具体为一种基于知识迁移压缩网络的方法，包括以下步骤：步骤1人工设计出轻量化模型；步骤2初始化网络参数；步骤3在训练完成的网络上进行每层敏感度的测量；步骤4微调门参数；步骤5重复步骤3和步骤4，最终得到一个包含大部分信息的且压缩的网络；步骤6将压缩的网络部署到嵌入式设备中；有益效果为：将检测学生情感识别的轻量化网络布置到嵌入式设备中，结合小型摄像头可以提升教学质量。
- 神经网络计算图的处理方法、装置和设备-202310683193.4
- 袁学鹏;艾国;杨作兴 - 深圳比特微电子科技有限公司
- 2023-06-09 - 2023-09-12 - G06N3/042
- 本申请实施例提供了一种神经网络计算图的处理方法、装置和设备，其中的方法包括：从神经网络模型的第二模型文件中获取算子对应的兼容数据结构；兼容数据结构中的模式信息包括：仅静态存在模式、或者仅运行时存在模式、或者静态和运行时均存在模式；根据静态索引信息或运行时索引信息，确定前一算子到后一算子的连接关系；在前一算子和后一算子之间绘制连接线；其中，连接线的类型根据后一算子对应的模式信息确定；在后一算子的模式信息为仅静态存在模式的情况下连接线的类型为第一类型，或者，在后一算子的模式信息为仅运行时存在模式或者静态和运行时均存在模式的情况下连接线的类型为第二类型。本申请实施例可以提高神经网络模型的调试速度。
- 一种图神经网络架构的自动化生成方法及系统-202310601673.1
- 傅剑文;陈心童;章建森;韩弘炀;周文彬 - 天翼电子商务有限公司
- 2023-05-25 - 2023-09-05 - G06N3/042
- 本发明提出了一种图神经网络架构的自动化生成方法及系统，涉及图神经网络领域。包括构建图网络；在图数据库生成该图网络；为每个节点生成代表其属性的m维特征向量，以生成节点集的属性特征矩阵；同时生成代表该图网络各节点间连接关系的邻接矩阵；为节点集中的节点打上正负标签；节点集包括有标签和无标签；定义待搜索的搜索空间为集合，集合中的元素为图神经网络中的聚合算子；初始化架构空间，将原始图层通过任一算子生成下一图层，并将下一图层与汇总图层进行连接作为初始结构；对搜索空间中的所有算子的初始结构进行参数学习，并加入图神经网络架构集合中。本发明高效的构建出当前场景的图神经网络架构，降低了开发门槛和时间投入。
- 分布式空间图神经网络的模型建立及实现方法-202310525386.7
- 邓泽;严坤;王力哲;任川龙 - 中国地质大学（武汉）
- 2023-05-11 - 2023-09-01 - G06N3/042
- 本发明涉及分布式图处理领域，提供了一种分布式空间图神经网络的模型建立及实现方法，该方法包括：搭建分布式架构，将训练图输入初始模型，将训练图分割为多个第一子图，将第一子图中的节点划分为多个分区，并存储到分布式架构的计算机中；获取目标节点在训练图中最重要的多个邻居节点，生成训练子图；对训练子图进行特征分解获得多个镜像图；利用解耦的方法对镜像图中目标节点的特征向量进行更新，得到目标节点的初始属性结果；计算损失，进行迭代更新，以构建分布式空间图神经网络模型。本发明中的网络模型基于分布式架构，可应用到大规模含空间信息的图处理中，该网络模型降低了通讯次数，从而减少训练时间，提高空间图神经网络的训练效率。
- 一种基于参数分离和知识蒸馏的图持续学习方法-202310558961.3
- 吕肖庆;林鸿翔;贾瑞琪;赵堉萌 - 北京大学
- 2023-05-17 - 2023-08-29 - G06N3/042
- 本发明属于深度学习技术领域，具体公开一种基于参数分离和知识蒸馏的图持续学习方法，该方法的输入是一张原图，由节点和边构成，Trans‑CGL首先为图中每个节点构造一个子图，然后通过Graph transformer并行地提取节点特征，此时应用参数分离和知识蒸馏来防止旧任务的特征遗忘，在经过L层Graph transformer之后，最终输出结果。Trans‑CGL由四个主要部分组成：构造子图(Construct subgraph)、参数分离(Parameter isolation)、知识蒸馏(Knowledge distillation)和模型输出(Output)。本发明主要是解决基于参数分离和知识蒸馏的图持续学习(CGL)存在的拓扑引起的灾难性遗忘问题，主要就是节点特征遗忘和拓扑特征遗忘。
- 一种基于自蒸馏的目标检测方法-202310658974.8
- 梁山清;宋风合;谢文平 - 深圳市南方硅谷半导体股份有限公司
- 2023-06-06 - 2023-08-25 - G06N3/042
- 本发明公开了一种基于自蒸馏的目标检测方法，涉及深度学习技术领域，解决了目前用于目标检测的自蒸馏技术不够灵活，导致自蒸馏效率低，从而导致目标检测结果的准确率不高。该方法包括S1、构建用于目标检测的神经网络模型，选择候选网络层并添加适配结构；S2、通过初始训练，获取每个候选网络层目标检测结果的均值平均精度和每个样本的错误率；S3、根据基于引力搜索算法的匹配条件和均值平均精度，当前候选网络层自动匹配其他候选网络层；S4、根据样本错误率，自动匹配的两个候选网络层进行自蒸馏训练；S5、则得到训练好的目标检测模型。本发明实现了网络层的知识跨层高效蒸馏，从而提高自蒸馏效率。
- 基于图神经网络的节点关系空间对比学习社区发现方法-202310576862.8
- 施振佺;王博文;施佺;罗奇才;张翁坚;黄子玲;冯季;孙凡 - 南通大学
- 2023-05-22 - 2023-08-22 - G06N3/042
- 本发明在于提供一种基于图神经网络的节点关系空间对比学习社区发现方法，解决以前模型大多是有监督并且没有考虑节点和关系之间相似度的问题，通过最大化节点空间与关系空间学习到的节点特征之间的相似度来设计损失函数，并且改进了以前的对比学习方法，使用节点空间和关系空间进行对比学习从而得到更好的优化模型，考虑了元路径长度和覆盖数量对节点特征的影响，并通过不同关系之间的交互学习，得到最终的节点表征，更好的进行社区发现。
- 一种融合知识与数据的烧结矿转鼓强度智能检测方法-202310640950.X
- 严锋;杨春节 - 浙江大学
- 2023-06-01 - 2023-08-22 - G06N3/042
- 本发明公开了一种融合知识与数据的烧结矿转鼓强度智能检测方法，属于工业过程软测量建模领域。本发明利用门控时空卷积模块分别从知识和数据角度提取烧结过程的时空特征，并采用局部保持投影方法对这两类特征进行融合，实现知识与数据协同驱动的转鼓强度智能检测。首先，利用专家知识和高斯核距离公式分别构建基于知识和数据的邻接矩阵。然后，利用门控思想将图卷积和时间卷积进行融合，搭建门控时空卷积模块；接着，构建一个双分支网络，分别提取基于知识特征和基于数据的特征。最后，利用局部保持投影方法融合这两类特征，并输给一个全连接层，实现转鼓强度的智能检测。在某烧结厂中搜集烧结矿转鼓强度的数据，验证了该方法的有效性和可行性。
- 一种基于距离编码的图卷积神经网络模型的训练方法-202310449159.0
- 凃昊森;张宇涵;郑兴凯;孟琦;李鑫 - 南京邮电大学
- 2023-04-24 - 2023-08-15 - G06N3/042
- 本发明公开了一种基于距离编码的图卷积神经网络模型的训练方法，包括获取样本集用作训练数据集，并进行预处理。通过最短路径距离或随机游走方式获取距离编码，并将其拼接在节点的原始特征上作为节点的初始特征输入。通过共享的门控机制自适应地获取注意力系数，并使用注意力系数调整聚合目标节点的特征和邻居目标节点的比例。训练图卷积神经网络模型，并对模型进行验证和测试。本发明提出一种基于距离编码作为附加特征且能够自适应地学习不同类型的节点特征信息的图卷积神经网络模型。该模型可以解决图卷积神经网络模型只考虑图的整体表示，忽略图结构的稀疏性，图拓扑信息利用率较低且节点分类准确率损耗较高的问题。
- 一种动态图链接生成方法-202310525595.1
- 鲍秉坤;王鸿宇;邵曦 - 南京邮电大学
- 2023-05-11 - 2023-08-15 - G06N3/042
- 本发明公开了一种动态图链接生成方法，所述方法包括：获取不同时刻的快照图；将所述不同时刻的快照图，输入至预设的生成对抗图胶囊网络模型中，得到下一时刻快照图之间的链接；其中，所述生成对抗图胶囊网络模型基于生成对抗网络进行双重训练得到的，所述生成对抗图胶囊网络模型采用样本集进行训练，所述样本集是基于每个动态离散快照图对应生成的拓扑结构得到的；所述生成对抗网络包括生成器和鉴别器，所述鉴别器用于对真实数据和生成的数据进行鉴别判断；所述生成器用于生成下一时刻快照图的拓扑结构。
- 专利分类
