[发明专利]一种基于目标检测和轮廓提取的儿童识绘图系统及方法

权利要求书

1.一种基于目标检测和轮廓提取的儿童识绘图系统，其特征在于，所述系统包括用户管理模块；图像管理模块；目标检测模块；问答模块；绘图模块；

所述用户管理模块，用于管理用户，包含用户登录、注册以及用户管理，用户可通过注册页面注册个人账户，账户信息保存在数据库中，注册完成后用户可用自己注册的信息登录软件；

所述图像管理模块，用于管理图像，包含用户上传图像功能及随机给出图像功能，用户可根据需求进行选择，可在手机相册中选择图像上传至服务器也可选择由系统随机给出相关图像进行下一步的操作；

所述目标检测模块，用于检测图像中目标的类别和位置，以及对目标轮廓进行提取，包含服务端利用Faster R-CNN算法使用预训练好的模型对客户端上传的图像进行检测识别，识别出图像中物体种类，物体在图像中的位置，再将识别好的图像进行保存，使用Candy算法进行轮廓提取，将目标检测和轮廓提取结果进行保存等待下一步操作；

所述问答模块，用于和用户进行问答交互，包含比对用户所猜测的物体名称与服务端识别结果是否一致，并通过语音播报的形式反馈给用户；

所述绘图模块，用于用户绘图，系统将为用户提供画板供用户描绘物体，并给出物体的框图和轮廓供用户参考，方便用户临摹，同时可将用户描绘的物体保存下来，由用户组合成一幅画。

2.根据权利要求1所述的一种基于目标检测和轮廓提取的儿童识绘图系统，其特征在于，所述目标检测模块包括数据准备单元、目标检测单元和轮廓提取单元；

所述数据准备单元，用于获取公开数据和制作儿童识绘图系统相关的数据集，公开数据集有：VOC，ILSVRC和MS-COCO，制作数据集的过程如下：下载或拍摄相关图像，标注图像生成相关信息，按照格式要求修改文件名并放置不同文件；

所述目标检测单元，用于对图像中的物体进行检测，使用Faster R-CNN进行目标检测，输入为一幅图像，输出为目标物体的种类及目标物体在图像中的位置；

所述轮廓提取单元，用于提取目标物体的轮廓，首先使用高斯模糊方法去除目标图像中的噪声，接下来对目标图像进行灰度处理，之后计算目标图像梯度，利用算法对图像中非最大信号进行抑制，最后利用高低阈值输出二值图像。

3.根据权利要求1或2所述的一种基于目标检测和轮廓提取的儿童识绘图系统，其特征在于，所述问答模块包括语音处理单元和文本处理单元，用户可以采用语音问答和文字描述的方式与系统交流；

所述语音处理单元，用于播报目标检测的结果，物体类别，与用户进行简单的语音交流；

所述文本处理单元，用于识别用户手写或输入的文字，判断用户识别物体是否正确。

4.根据权利要求1或2所述的一种基于目标检测和轮廓提取的儿童识绘图系统，其特征在于，所述绘图模块包括自由绘图单元、临摹绘图单元和组合绘画单元；

所述自由绘图单元，用于用户自由绘图，用户可以根据选择或随机给出的图片，描绘图片上的物体；

所述临摹绘图单元，用于指导用户根据目标检测和轮廓提取的结果描绘图片上的物体；

所述组合绘画单元，用于帮助用户根据用户以前描绘的简单物体组合成一幅画作，启发用户的自由创作。

5.一种权利要求1所述的基于目标检测和轮廓提取的儿童识绘图系统实现的方法，其特征在于，所述方法包括以下步骤：

S1.注册个人账号填写信息后登录账号进入软件主界面；

S2.在图像上传界面用户可选择从本地手机相册内选择图像或者由系统随机挑选图像，确定图像后上传至服务器；

S3.服务器调用Faster R-CNN算法利用事先训练得到的预训练模型进行目标检测，得到标有物体种类及位置的图像并返回相关信息；

S4.客户端得到相关信息后下载服务端识别后的图像并进行显示，判断用户猜测的物体种类是否正确并通过语音和文字的形式与用户交互；

S5.基于目标检测结果，使用Candy算法对图像中的物体进行轮廓提取并保存结果；

S6.用户可以在绘图界面进行自由绘图，或者根据目标检测的结果和轮廓提取的结果进行临摹绘图，最后可以将自己绘制的小图案组合成一幅画作并保存。