[发明专利]基于C/S架构的牙齿美化AR智能辅助方法

摘要

本发明属于牙科美化技术领域，特别涉及一种基于C/S架构的牙齿美化AR智能辅助方法。具体包括：客户端拍摄或接收患者口腔视频；从患者口腔视频中选择具有代表性的图片；选中图片中待美化牙齿的位置；在图片中对应位置上生成美化后的牙齿；服务器计算患者口腔视频中待美化的牙齿的位置和颜色信息，并发送给客户端；客户端将患者口腔视频中待美化牙齿替换为美化后的牙齿；客户端向患者展示效果图片和效果视频。本发明可以方便地获取患者口腔视频、进行牙齿选取、展示美化效果，还可提供不同的治疗方案供患者选取，有效提高了患者美化的积极性。

主权项

1.一种牙齿美化辅助方法，其特征在于：利用客户端和服务器进行通信，所述客户端获取患者口腔信息并分析、处理，和/或，接收用户指令，生成第一美化参考图像；所述客户端将患者口腔信息传至服务器，所述服务器分析、处理所述口腔信息并生成第二美化参考图像；利用所述客户端分别将第一美化参考图像和第二美化参考图像展示给患者，供其选择；所述的客户端按如下步骤进行牙齿美化辅助：(A)客户端拍摄或接收患者口腔视频；(B)从患者口腔视频中选择具有代表性的图片；(C)从所述图片中选中待美化牙齿的对应位置；(D)在所述对应位置上生成美化后的牙齿，获得第一美化参考图像；所述步骤B中，具有代表性的图片为三张，分别为：正面图、左侧面图和右侧面图，所述三张图片由医生手动选择或按如下步骤自动选择：(B1)将每帧图片的人脸和标准人脸模型进行比对，计算出人脸偏移角度，得到正面、左侧面、右侧面的候选图；(B2)取出候选图中的口腔区域，计算灰度图，将灰度图像每一个像素领域两个灰度差相乘后再逐个像素点累加，计算出得分，公式如下：D(f)＝∑y∑x|f(x,y)‑f(x+1,y)|*|f(x,y)‑f(x,y+1)|；其中，x、y分别代表像素点的横坐标和纵坐标；(B3)从候选图中选出得分最高的正面、左侧面、右侧面图像各一张，即获得所需的具有代表性的图片；所述步骤C中，对应位置的信息包括牙齿编号，具体编号方法为：沿人脸中心线向外侧将右上颌牙齿依次编为11、12、13至1m，将左上颌牙齿依次编为21、22、23至2m，将左下颌牙齿依次编为31、32、33至3m，将右下颌牙齿依次编为41、42、43至4m，其中m＝{1,2,3,4,5,6,7,8}，牙齿1m和2m互为对称，牙齿3m和4m互为对称；所述的服务器按如下步骤进行牙齿美化辅助：(E)客户端将患者口腔视频传输至服务器，服务器计算口腔视频中待美化牙齿的相关信息，并发送给客户端；(F)客户端根据接收的信息将口腔视频中待美化牙齿替换为美化后的牙齿，获得第二美化参考图像；所述步骤E中，所述相关信息包括位置信息，具体按如下步骤计算待美化牙齿的位置信息：(E1)对患者口腔视频进行解码得到关键帧图像和非关键帧图像；(E2)对于关键帧图像，采用级联的卷积神经网络CNN定位关键点坐标计算得到牙齿位置；(E3)对于非关键帧图像，采用Lucas‑Kanade稀疏光流算法根据关键点坐标计算得到牙齿位置；所述的步骤E2包括如下步骤：(E21)对关键帧图像进行人脸检测，采用OpenCV视觉库带有的基于haar特征的人脸检测器进行检测，截取检测到的人脸图像，归一化为128*128大小；(E22)设置Level1的CNN网络宽为128、高为128、图像通道为3，该CNN网络中每个卷积层后有一个激活层，激活层采用Sigmoid函数作为激活函数，最后两层为全连接层；(E23)将步骤E21中归一化的人脸图像作为Level1的CNN网络输入，Level1的输出是全局预测的83个关键点的坐标值，83个关键点包括牙齿50个，嘴唇30个，鼻子1个，眼睛2个，其中牙齿的50个关键点的坐标选自步骤C中编号为11～14、21～24、31～34、41～44这16颗牙齿；(E24)对于所述16颗牙齿，以每颗牙齿为中心截取18*18像素大小的图像作为Level2的CNN网络输入，Level2的CNN网络输出对每颗牙齿周围4个关键点进行重新预测，得到预测后16颗牙齿周围50个关键点的坐标，其中相邻牙齿左右共用一个关键点的坐标，共用的关键点的坐标值取两个牙齿预测的平均值；(E25)根据待美化牙齿的编号确定其周围4个关键点的编号；(E26)根据步骤E25中输出的50个关键点坐标值得到待美化牙齿周围四个关键点坐标；(E27)根据待美化牙齿周围四个关键点坐标得到该牙齿在该关键帧中的位置信息。