[发明专利]基于MobileNetV3的五线谱识别与简谱转换的方法及系统有效
| 申请号： | 202211045268.8 | 申请日： | 2022-08-30 |
| 公开（公告）号： | CN115393875B | 公开（公告）日： | 2023-05-26 |
| 发明（设计）人： | 胡楚哲;滕旭阳;郭明宇;周一鸣 | 申请（专利权）人： | 杭州电子科技大学 |
| 主分类号： | G06V30/304 | 分类号： | G06V30/304;G06V30/146;G06V10/82 |
| 代理公司： | 浙江永鼎律师事务所 33233 | 代理人： | 周希良 |
| 地址： | 310018 浙江省杭州市杭*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于MobileNetV3的五线谱识别与简谱转换的方法及系统，方法按如下步骤：步骤一：获取五线谱图片；步骤二：选定识别区域，并进行倾斜校正，将图片以五线谱的行为单位划分，形成样本集；步骤三：对预备的五线谱数据集，进行数据增强，得到扩充后的数据集，在MobileNetV3的基础上进行训练迭代，获得五线谱识别模型；步骤四：统计所有步骤二中输入样本集，输入至步骤三所得到的模型中进行检测识别，将识别出的信息以MusicXML文件形式保存；步骤五：对步骤四的识别结果进行预览核对，给出能供修改的候选项，更改识别的错误信息，将错误内容反馈给五线谱识别模型进行再训练；步骤六：根据数据处理结果以及选择的简谱调式，完成文本整合，得到简谱转换结果。 | ||
| 搜索关键词： | 基于 mobilenetv3 五线谱 识别 简谱 转换 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学，未经杭州电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211045268.8/，转载请声明来源钻瓜专利网。
- 同类专利
- 弹拨乐器谱曲知识点精细化拆分方法及系统-202310829864.3
- 周梓欣;刘征 - 中国美术学院
- 2023-07-07 - 2023-10-27 - G06V30/304
- 本发明公开了一种弹拨乐器谱曲知识点精细化拆分方法及系统，该方法包含：采集曲谱的曲谱图像；对所述曲谱图像进行图像处理；从处理后的图像中分割出每个音符结构；从所述音符结构中分别分割出指法标识、音符标识和节奏标识；根据分割出的所述指法标识从标准指法库中匹配出对应的指法通道知识点；根据分割出的所述音符标识从标准音符库中匹配出对应的音通道知识点，所述标准音符库包含每个音符对应的；根据分割出的所述节奏标识从标准节奏库中识别出节奏通道知识点。本发明提供的弹拨乐器谱曲知识点精细化拆分方法及系统，通过图像分析技术自动将乐谱的知识点识别出来，有利于学习者对乐谱的理解，提高学习者的学习速度。
- 一种简谱图像处理方法及系统、存储介质及电子设备-202310848322.0
- 石剑锋;王宏亮 - 武汉网幂科技有限公司
- 2023-07-11 - 2023-10-10 - G06V30/304
- 本发明提供一种简谱图像处理方法及系统、存储介质及电子设备，包括：获取待处理的简谱图像的简谱版面信息，简谱版面信息包括音符类型的元素切片、文字类型的元素切片以及每个元素切片的版面坐标信息；对各个元素切片进行处理，得到音符类型的元素切片的音符编码数据和文字类型的元素切片的文字识别信息；获取音符行切片中的每个音符对象的歌词数据；将各个文字类型的元素切片的文字识别信息、各个音符类型的元素切片的音符编码数据以及各个音符行切片的定位信息进行整合，得到简谱图像的电子简谱文件；整个过程无需人工参与即可将简谱图像转换为电子简谱文件，有效缩短转换时间，减少成本的投入。
- 工尺谱扫描机器人及其方法-202310986675.7
- 曾台盛;高大利;朱达欣;庄世芳;黄思育;洪丽芳 - 泉州师范学院
- 2023-08-08 - 2023-09-29 - G06V30/304
- 本发明公开了一种工尺谱扫描机器人及其方法，其利用安装于工尺谱扫描机器人上的摄像头获取待处理工尺谱图像；对所述待处理工尺谱图像进行分割与图像增强以得到优化待识别工尺谱分割图像块；对所述优化待识别工尺谱分割图像块进行图像特征提取以得到待识别工尺谱全局语义特征图；以及基于所述待识别工尺谱全局语义特征图，确定工尺谱符号的标签值。这样，可以利用基于深度学习的图像处理技术来实现对工尺谱的自动化识别，提高工尺谱图像的识别准确性和鲁棒性。
- 一种用于乐谱图像识别的电子设备及识别方法-201610859907.2
- 宋晴;杨录;贾文赫;王智慧;杨李怡;刘小欧;辛学仕;陈海鹏;杨敏;姜佳男 - 北京邮电大学
- 2016-09-28 - 2023-06-13 - G06V30/304
- 本发明公开的一种用于乐谱图像识别的电子设备及识别方法，包括壳体、发声部件、设置在壳体内的主板以及设置在壳体第一端部的图像扫描部件；主板上设置有主控电路及分别与主控电路电连接的声卡电路和电源电路；通过摄像头获取待处理的五线谱图像传递给主控电路；主控电路对待处理的五线谱图像进行识别，识别出每个完整音符；主控电路根据识别出的完整音符，发送对应的声音数字信号给声卡电路，声卡电路将收到的声音数字信号转换成可播放的模拟信号，传递给发声部件进行播放；本发明设备解决现有技术中存在的图像采集模块与识别模块分离，使用不便的问题。方法采用音符分类器与卷积神经网络级联进行音符识别，具有识别速度快，识别精度高的优点。
- 一种基于改进CRNN的轻量化乐谱识别系统及方法-202310098515.9
- 蒋凌云;鞠金恒;肖甫;季一凡;许胜昊;苏灿;徐佳 - 南京邮电大学
- 2023-02-10 - 2023-06-06 - G06V30/304
- 本发明公开了一种基于改进CRNN的轻量化乐谱识别系统及方法，属于乐谱识别技术领域，该方法包括以下步骤：基于CRNN对卷积层、循环层、转录层进行改进；在卷积层引入深度可分离卷积，减少计算量并加速特征图的提取；在循环层使用双向简单循环单元，采用并行计算避免了串行计算的强依赖问题；在转录层调节交叉熵函数参数，针对性地学习不均衡样本数据。本发明公开的基于改进CRNN的轻量化乐谱识别方法，通过实验结果证明，能够实现单次迭代耗时约为基准网络的43%，在失真图像上准确率优于其他改进网络。
- 基于MobileNetV3的五线谱识别与简谱转换的方法及系统-202211045268.8
- 胡楚哲;滕旭阳;郭明宇;周一鸣 - 杭州电子科技大学
- 2022-08-30 - 2023-05-26 - G06V30/304
- 本发明公开了一种基于MobileNetV3的五线谱识别与简谱转换的方法及系统，方法按如下步骤：步骤一：获取五线谱图片；步骤二：选定识别区域，并进行倾斜校正，将图片以五线谱的行为单位划分，形成样本集；步骤三：对预备的五线谱数据集，进行数据增强，得到扩充后的数据集，在MobileNetV3的基础上进行训练迭代，获得五线谱识别模型；步骤四：统计所有步骤二中输入样本集，输入至步骤三所得到的模型中进行检测识别，将识别出的信息以MusicXML文件形式保存；步骤五：对步骤四的识别结果进行预览核对，给出能供修改的候选项，更改识别的错误信息，将错误内容反馈给五线谱识别模型进行再训练；步骤六：根据数据处理结果以及选择的简谱调式，完成文本整合，得到简谱转换结果。
- 图像识别方法、模型训练方法、介质、装置及计算设备-202211514783.6
- 蔡苗苗;李宜烜;金强;李鹏;刘华平 - 杭州网易云音乐科技有限公司
- 2022-11-30 - 2023-05-09 - G06V30/304
- 本公开的实施方式提供了一种图像识别方法、模型训练方法、介质、装置及计算设备。该图像识别方法包括：计算设备通过获取待识别乐谱图像，将待识别乐谱图像输入音轨识别模型进行音轨识别，获取识别得到的多个单音轨乐谱区域。其中，音轨识别模型是根据多个样本乐谱图像训练得到的、用于识别输入的乐谱图像中的多个单音轨乐谱区域的模型，每个样本乐谱图像包括音轨标注信息和干扰标注信息，音轨标注信息用于说明样本乐谱图像中每行乐谱对应的音轨数，干扰标注信息用于标注样本乐谱图像中非乐谱部分的干扰信息区域。通过音轨识别模型进行音轨识别，本公开的方法显著地提高了识别精度。
- 一种手写简谱识别方法及系统-202211042459.9
- 庄建明;简青泉 - 泓宇星私人有限责任公司
- 2022-08-29 - 2022-11-08 - G06V30/304
- 本发明提供一种手写简谱识别方法及系统，该方法包括：构建编码规则并将其作为手写简谱识别模型的输出；构建编码规则与音乐表示格式的转换规则，构建手写简谱识别模型的训练集；构建手写简谱识别模型，并对手写简谱识别模型进行训练；使用训练得到的手写简谱识别模型对手写简谱进行自动识别，并且将识别结果进行相应转换得到MusicXML、MIDI格式的音乐表示文件。本发明使用户可以通过书写的方式进行快速便捷地乐谱创作；识别结果向MusicXML转换使得乐谱的分享与二次创作变得十分方便；识别结果向MIDI转换使得乐谱创作过程中对乐谱的验证变得十分方便，用户可以播放乐谱对应的MIDI文件来对乐谱创作结果进行验证；编码方式使得音乐符号位置的识别得到了支持。
- 乐谱识别方法、装置、电子设备及存储介质-202210910703.2
- 杨松林 - 维沃移动通信有限公司
- 2022-07-29 - 2022-11-01 - G06V30/304
- 本申请公开了一种乐谱识别方法、装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取第一乐谱图像；将第一乐谱图像进行剪裁，得到M个第一图像块，M个第一图像块中的每个第一图像块中均包含至少一个音符；M为正整数；获取每个第一图像块中的每个音符的第一目标候选框；分别以每个音符的第一候选框在第一乐谱图像上对应的位置为中心，在第一乐谱图像中剪裁出每个音符对应的第二图像块；获取每个音符对应的第二图像块中的每个音符的第二目标候选框；根据每个音符的第二候选框，对第一乐谱图像进行识别；其中，第二图像块的分辨率大于第一乐谱图像块的分辨率。
- 一种基于深度学习的音符识别方法-202111495686.2
- 金海波;尚思宇;张煜森 - 辽宁工程技术大学
- 2021-12-09 - 2022-04-19 - G06V30/304
- 本发明公开了一种基于深度学习的音符识别方法，步骤为：对手写体乐谱音符数据集进行划分；使用进行数据增强后的训练集训练手写体乐谱音符检测网络；设置多尺度特征融合网络，按从上至下，从下至上两个方向融合不同尺度下的手写体乐谱音符特征，加强特征纹理，使其能检测出图像中的小尺度目标；设计特征重校准模块，优化不同尺度下音符特征存在冲突的问题，使用两个并行且独立的子网络进行手写体乐谱音符检测；基于梯度调和机制的音符分类损失函数，通过计算每种音符的梯度密度，将样本损失乘其对应的梯度密度倒数，平衡易识别音符与难识别音符，提高稀少类别音符损失权重。本发明优化了手写体乐谱内在的数量不平衡问题，提高了模型的检测准确率。
- 一种基于深度学习的印刷体古筝简谱识别方法及系统-202111459688.6
- 姚俊峰;郑凯轩 - 厦门大学
- 2021-12-02 - 2022-04-12 - G06V30/304
- 本发明提供了乐谱识别技术领域的一种基于深度学习的印刷体古筝简谱识别方法及系统，方法包括如下步骤：步骤S10、获取大量的钢琴五线谱图片以及对应的钢琴MusicXML文件；步骤S20、对各所述钢琴五线谱图片添加指法信息转化为古筝简谱图片，对各所述钢琴MusicXML文件进行数据标注得到古筝MusicXML文件；步骤S30、对各所述古筝简谱图片进行数据扩充，得到图片集；步骤S40、基于端到端的深度卷积神经网络创建一古筝简谱识别模型，利用所述图片集以及古筝MusicXML文件对古筝简谱识别模型进行训练；步骤S50、利用训练后的所述古筝简谱识别模型对印刷体古筝简谱进行自动识别。本发明的优点在于：极大的提升了印刷体古筝简谱识别效率以及精度。
- 一种音乐简谱语义翻译方法及系统-202111473849.7
- 姚俊峰;许梅燕;焦杰 - 厦门大学
- 2021-12-02 - 2022-03-18 - G06V30/304
- 本发明提供了乐谱识别技术领域的一种音乐简谱语义翻译方法及系统，方法包括如下步骤：步骤S10、获取大量的简谱文件，将各所述简谱文件转换为简谱图片并进行预处理；步骤S20、创建一词义表以及一语法表，基于所述词义表以及语法表对预处理后的各简谱图片进行标注，得到简谱图片集；步骤S30、基于卷积循环神经网络创建一语义翻译模型，利用所述简谱图片集对语义翻译模型进行训练；步骤S40、利用训练后的所述语义翻译模型对音乐简谱进行自动翻译。本发明的优点在于：实现对简谱进行自动翻译，并保留音符本身的信息。
- 专利分类
