[发明专利]基于卷积神经网络识别的漫画背景音乐匹配方法

说明书

本发明公开了一种基于卷积神经网络识别的漫画背景音乐匹配方法，包括以下步骤：步骤一，获取播放音乐指令及当前阅读的漫画页面；步骤二，通过预设的CNN卷积神经网络模型对漫画进行图像识别，得出漫画的风格标签和场景标签；步骤三，通过OCR技术提取漫画里面的文本内容信息及主要语言种类；步骤四，对文本内容信息进行NLP文本分析得出主题标签；步骤五，根据当前阅读页面中所有漫画的风格标签、场景标签、语言种类和主题标签，平均加权计算后匹配音乐库中的音乐；步骤六，播放匹配的音乐。本发明通过卷积神经网络模型识别出漫画的风格等信息，选出对应类型的音乐进行播放，增加读者的阅读趣味性，同时提高漫画阅读软件的使用频率和利用价值。

技术领域

本发明属于大数据/AI智能系统技术领域，具体涉及了一种基于卷积神经网络识别的漫画背景音乐匹配方法。

背景技术

随着漫画创作及移动互联网技术的发展，近年来，越来越多的用户喜欢阅读漫画，目前漫画还是处于画面阅读的单视觉方式，缺乏听觉方面的辅助，用户体验差。同时，也有一些漫画读者一边使用第三方的音乐APP播放音乐，一边阅读漫画；然后这种模式下，音乐风格和漫画场景往往不相关，无法让读者在视觉和听觉上产生共鸣。

中国发明专利(201510868065.2)公开了一种漫画图像版面的识别方法和系统，通过利用能量最小化模型和图切分优化方法，自动识别出组成图像分镜边框的多边形，根据识别得到的多边形之间的几何位置关系得到图像分镜之间的阅读顺序，从而完成漫画版面的识别；包括前景背景分割、轮廓检测、多边形拟合、直线段检测、查找分镜和阅读顺序检测过程；识别系统包括前景背景分割模块、轮廓检测模块、直线段检测模块、分镜查找模块和后处理模块。本发明根据识别出的多边形的位置关系判断分镜阅读顺序，可以有效地处理较为复杂的漫画版面，提升处理效率并丰富移动设备用户的阅读体验。

发明内容

本发明的目的在于提供一种基于卷积神经网络识别的漫画背景音乐匹配方法。本发明主要是在读者阅读漫画的时候，播放与当前页面匹配的音乐，可以更好渲染漫画的背景气氛，使得用户在阅读漫画的时候能够实现视听享受，增加阅读趣味性，同时可以提高相关漫画阅读软件的使用频率和利用价值。

为了实现上述目的，本发明采用以下技术方案：

一种基于卷积神经网络识别的漫画背景音乐匹配方法，包括以下步骤：

步骤一，获取用户阅读漫画时触发的播放音乐指令，及获取当前阅读的漫画页面；

步骤二，通过预设的CNN卷积神经网络模型对漫画进行图像识别，得出漫画的风格标签和场景标签；

步骤三，通过OCR技术提取漫画里面的文本内容信息及主要语言种类；

步骤四，对文本内容信息进行NLP文本分析得出主题标签；

步骤五，根据当前阅读页面中所有漫画的风格标签、场景标签、语言种类和主题标签，平均加权计算后匹配音乐库中的音乐；

步骤六，播放匹配的音乐。

作为本发明的进一步说明，所述步骤二中，预设的CNN卷积神经网络模型通过对已标识的漫画训练样本训练得出。

作为本发明的进一步说明，所述步骤二中，漫画的风格标签包括国漫、港漫、日漫、韩漫、美漫。

作为本发明的进一步说明，所述步骤三中，所述主题标签包括武侠、校园、都市、玄幻。

作为本发明的进一步说明，所述步骤三中，所述主要语言种类通过文本内容长度最长的语言种类确定。

作为本发明的进一步说明，所述步骤四中，所述NLP文本分析包括分词、提取关键词、通过预设的朴素贝叶斯分离器公式对关键词进行分类。

作为本发明的进一步说明，所述朴素贝叶斯分离器公式为：