[发明专利]一种基于机器学习的手写文档检索方法

摘要

本发明为基于机器学习的手写文档检索方法，包括步骤：对索引文字图片进行SIFT的特征提取，对整个图片进行关键点提取，用描述子表示图片的特征；对每一当前页文档图片进行SIFT的特征提取，利用描述子表示关键点；对提取到的描述子做匹配，选出与索引文字图片的描述子最接近的候选框中的文字，将候选框选出的区域作为候选集，然后利用卷积神经网络对候选集和索引文字图片做进一步的特征匹配；在检索完当前页文档图片之后，读入下一页文档图片进行检测，直至检测完整份文档所有页，输出标识了索引文字的文档。本发明不需要对原始文档图片做预处理，直接利用索引文字图片来检索手写文档中对应的文字，免去了分割预处理中引入的误差。

主权项

1.一种基于机器学习的手写文档检索方法，其特征在于，包括以下步骤：输入文档图片和索引文字图片；对索引文字图片进行SIFT的特征提取，对整个图片进行关键点提取，用描述子表示图片的特征；对每一当前页文档图片按以下步骤进行检索匹配：(1)对文档图片进行SIFT的特征提取，使用固定尺寸的扫描窗口，按照窗口扫描过的地方提取SIFT特征点，利用描述子表示扫描窗口中文字的关键点；对提取到的描述子做匹配，选出与索引文字图片的描述子最接近的候选框中的文字，将候选框选出的区域作为候选集；(2)利用卷积神经网络对候选集和索引文字图片做进一步的特征匹配；卷积神经网络包括两路神经网络和全连接层，一路神经网络的输入为候选集的图片，另一路神经网络的输入为索引文字图片，两路神经网络分别包含了两层卷积神经网络层、空间金字塔池化层，两路神经网络的输出合并为一路网络并输入到全连接层中，再从全连接层输出匹配的结果；在检索完当前页文档图片之后，读入下一页文档图片进行检测，直至检测完整份文档所有页，输出标识了索引文字的文档。