“罗同桉”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果2个，建议您升级VIP下载更多相关专利

[发明专利]一种基于对抗式训练的多模态适配网络学习方法-CN202310694109.9在审
发明人：邵镇炜;余宙;罗同桉;俞俊 -专利权人：杭州电子科技大学
申请日： 2023-06-13 - 公布日： 2023-09-19 - 主分类号： G06N3/0475 文献下载
摘要：本发明公开了一种基于对抗式训练的多模态适配网络学习方法，包括如下步骤：S1、构建对抗式多模态适配网络，包括多模态模型的构建和对抗式扰动生成器的构建；S2、设置损失函数，包括原始损失、扰动后损失和扰动差异损失；S3、所构建的多模态模型朝着最小化所设置的损失函数的损失方向优化，所构建的对抗式扰动生成器朝着最大化所设置的损失函数的损失方向进行优化。该方法在现有的多模态模型上搭建用于适配下游任务的适配器和用于生成对抗式噪声扰动的扰动生成器，并将适配器与扰动生成器统一在一个对抗式训练的框架中进行端到端的训练，使得多模态模型在对下游任务的适配上能够获得更好的稳健性与泛化性。
一种基于对抗训练多模态适配网络学习方法

[发明专利]一种多模态场景图知识增强的对抗式多模态预训练方法-CN202210962059.3在审
发明人：余宙;罗同桉;俞俊;袁柳;刘弋锋;许胜新 -专利权人：杭州电子科技大学;中国电子科技集团公司电子科学研究院
申请日： 2022-08-11 - 公布日： 2022-11-11 - 主分类号： G06V10/774 文献下载
摘要：本发明公开了一种多模态场景图知识增强的对抗式多模态预训练方法。本发明步骤：1、构建图像区域的特征表示及图像先验知识，2、构建文本及跨模态先验知识，3、构建多模态场景图，4、构建对抗式噪声生成网络与多模态预训练网络，5、多模态场景图知识增强的对抗式预训练。本发明通过从图像和文本两个模态中提取先验知识，以此构建多模态场景图，并构建以多模态场景图知识增强的多模态自注意力网络为核心的对抗噪声生成网络，为输入的图文对数据生成噪声扰动，与多模态预训练网络进行对抗式多模态预训练，最终在下游任务上得到了更好的性能表现。
一种多模态场景知识增强对抗式多模态预训练方法