[发明专利]一种用于跨境旅游的标志物机器学习识别系统及方法

权利要求书

1.一种用于跨境旅游的标志物机器学习识别方法，其特征在于，包括：

获取待识别的标志物图片；

基于通过机器学习训练后的模糊辨识器，确定该标志物所属的模糊分类；模糊类别是模糊辨识器对待识别的标志物图片进行识别后得出的一个广泛尺度类别，每个模糊类别可以包含一定数量的具体分类；

根据所述模糊分类，确定对应的通过机器学习训练后的分类识别器，每个模糊类别对应一个所述分类识别器；其中，采用如下方式训练所述分类识别器：获取预设数目的、携带有某一具体分类注释、且按照所述模糊类别归类后的标志物样本组成的正分类样本集，以及由非本具体分类的样本组成的负分类样本集；对所述正分类样本集进行增强，得到增强后正分类样本集；利用所述增强后正分类样本集、所述负分类样本集对分类识别器分别训练；

基于通过机器学习训练后的分类识别器，确定该标志物的具体分类；

根据所述具体分类，确定对应的通过机器学习训练后的语义识别器；

通过所述语义识别器对所述待识别的标志物图片进行识别，确定该标志物图片的语义信息；所述语义识别器利用卷积神经网络CNN对当前标志物图片进行特征提取， 得到特征序列；根据所述特征序列和预设双向循环神经网络CRNN以及转录层，得到所述标志物图片对应的语义信息，预设卷积循环神经网络CRNN使得所述标志物图片的特征序列与其对应的语义信息相关联；所述语义信息是结构化字符序列；根据所述语义信息将结构化字符序列根据词典映射转换为自然语言形式的含义文字，输出该标志物图片的含义文字；

另外，在确定了新的标志物图片的模糊类别和具体类别之后时，将该标志物图片更新到与其模糊类别对应的正分类样本集。

2.根据权利要求1所述的用于跨境旅游的标志物机器学习识别方法，其特征在于，采用如下方式训练所述模糊辨识器：选取一定数量的标志物样本，所述标志物样本具有预设数目个模糊类别，将各标志物样本按照所述模糊类别归类后组成标志物样本集；对所述标志物样本集进行增强，得到增强后标志物样本集；基于所述增强后的标志物样本集对模糊辨识器进行训练。

3.一种用于跨境旅游的标志物机器学习识别系统，包括移动终端和服务器；

所述移动终端拍摄标志物，将待识别的标志物图片上传给服务器；所述服务器基于机器学习训练识别该标志物图片的语义信息，生成表达该语义信息的含义文字，并将含义文字反馈给移动终端；

其中，所述服务器具体包括：模糊辨识器、分类识别器、标志物样本集库、语义识别器以及文字转换器；

所述模糊辨识器通过机器学习训练后的，根据标志物图片，确定该标志物所属的模糊类别；所述模糊类别是模糊辨识器对待识别的标志物图片进行识别后得出的一个广泛尺度类别，每个模糊类别可以包含一定数量的具体分类；

所述分类识别器的数目与模糊类别的数目对应，分类识别器经过机器学习训练，根据标志物图片确定该标志物图片在本模糊类别中所属的具体分类；其中，采用如下方式训练所述分类识别器：获取预设数目的、携带有某一具体分类注释、且按照所述模糊类别归类后的标志物样本组成的正分类样本集，以及由非本具体分类的样本组成的负分类样本集；对所述正分类样本集进行增强，得到增强后正分类样本集；利用所述增强后正分类样本集、所述负分类样本集对分类识别器分别训练；

所述语义识别器的数目与具体分类的数目对应，所述语义识别器对所述待识别的标志物图片进行识别，确定该标志物图片的语义信息；所述语义识别器利用卷积神经网络CNN对当前标志物图片进行特征提取， 得到特征序列；根据所述特征序列和预设双向循环神经网络CRNN以及转录层，得到所述标志物图片对应的语义信息，预设卷积循环神经网络CRNN使得所述标志物图片的特征序列与其对应的语义信息相关联；所述语义信息是结构化字符序列；

所述标志物样本集库用于收集和提供训练所述模糊辨识器、分类识别器、以及语义识别器的标志物样本集；

所述文字转换器用于根据所述语义信息将结构化字符序列根据词典映射转换为自然语言形式的含义文字，输出该标志物图片的含义文字；

另外，标志物样本集库在确定了新的标志物图片的模糊类别和具体类别之后时，将该标志物图片更新到与其模糊类别对应的正分类样本集。

4.根据权利要求3所述的用于跨境旅游的标志物机器学习识别系统，其特征在于，所述模糊辨识器采用如下方式训练：选取一定数量的标志物样本，所述标志物样本具有预设数目个模糊类别，将各标志物样本按照所述模糊类别归类后组成标志物样本集；对所述标志物样本集进行增强，得到增强后标志物样本集；基于所述增强后的标志物样本集对模糊辨识器进行训练。