牙齿缺损在口腔修复治疗中最常见，是由于个人口腔卫生习惯不健康、遭受外伤或先天原因导致的牙齿形状不完整、甚至缺失牙齿的症状，进而导致咀嚼功能衰退、发音不标准、面容不美观，甚至诱发龋齿、牙周病等疾病。对于严重牙体缺失的症状，常采用修复体治疗方法进行修复。传统临床治疗方法为烤瓷牙修复，整个流程包括取印模、灌注石膏模型、手工雕刻、蜡型制作以及模型包埋铸造等多个环节，该方法主要依靠牙科专家的经验和技术，不但修复精度不易控制、耗时较长(大约1周)，而且给患者带来诸多不便。现今流行的修复方法主要采用计算机辅助设计/计算机辅助制造(computer aided design/ computer aided manufacturing, CAD/CAM)口腔修复系统进行修复治疗，以标准牙数据库中的牙冠作为缺损牙齿的初始模型，采用一系列变形算法对其咬合面、舌侧面、与邻牙的接触面进行合适的变形操作，重建出目标全冠修复体模型(郑淑贤等，2011；张长东等，2012；Jiang等，2016)。这种方法以标准牙模型为样本，缺乏个性化程度，以变形算法为设计支撑，对于形态各异的设计对象，其鲁棒性较差。同时，设计过程中需要大量的手动交互操作，掺杂了操作人员较多的主观设计思想。

随着大数据和人工智能的迅速发展，智能化技术开始应用于口腔修复领域，Prajapati等人(2017)利用卷积神经网络和迁移学习对牙科的常见疾病进行了分类；Miki等人(2017)利用卷积神经网络对CT (computed tomography)图中的牙齿进行了区分，达到了牙齿图像分类归档的目的；Xu等人(2019)采用深度卷积神经网络对3维牙齿模型进行了分割和标签化，其分割效果超过了基于数字化几何的方法，对上、下颌牙模型分割准确度分别为99.06%和98.79%；Tian等人(2019)利用3维卷积神经网络对不同类型的3维牙列模型进行分类和分割，同样达到了理想的效果；Zhang等人(2019)利用稀疏八叉树卷积神经网络实现了牙齿预备体颈缘线的自动提取，其分割效果达到了数字化方法分割的效果，准确率达到97.23%；袁福来等人(2019)利用条件生成式对抗网络(conditional generative adversarial network, CGAN) (Isola等，2017)重建出缺失牙咬合面模型，结果表明生成的咬合面具有个性化的解剖形态，但是其方法只适用于牙齿咬合面的生成，并且生成的图像分辨率最高只能达到256×256像素。

针对前期研究工作中利用CGAN得到的结果分辨率有限，仅限于牙冠咬合面设计，缺乏对牙冠整体形态设计，本文以提高牙冠修复质量为目的，研究对象为全部缺失、待修复的牙齿，首先，采用基于图像熵的正交投影技术生成像素增强的多视图高分辨率牙列图像，包含咬合面、颊侧和舌侧的形态，构建缺失牙和专家设计牙深度信息图数据集，然后，构建高分辨率生成式对抗网络(high resolution generative adversarial network, HRGAN)模型学习牙齿表面形态分布规律，得到待修复牙的2维图像模型，再将其转化为3维点云数据，并通过点云配准等算法重建出完整的缺失牙模型，最后，通过定性定量评估重建牙冠的质量证明了本文方法的有效性。

本文方法具体流程如图 1所示，主要工作包括：

1) 构建适用于深度学习的高分辨率牙齿深度图像数据集。通过正交投影的方法分别生成图像集$\mathit{\boldsymbol{A}}$和图像集$\mathit{\boldsymbol{B}}$，其中图像集$\mathit{\boldsymbol{A}}$为缺失牙两侧邻牙的咬合面及舌颊侧面灰度图像；图像集$\mathit{\boldsymbol{B}}$为专家设计后的缺失牙和邻牙的咬合面及舌颊侧面灰度图像。分别构建出用于网络训练的训练集和用于测试网络训练结果的测试集。

2) 构建高分辨率全冠修复网络模型。本文基于pix2pixHD网络模型(Wang等，2018)，构建出适用于全冠图像生成的网络模型，将缺失牙列图像数据集和专家设计牙列图像数据集作为网络训练的数据，根据训练的结果不断调整网络参数，并通过损失函数和测试结果的反馈优化网络模型，得到较优的网络模型及训练结果。

3) 缺失牙冠3维模型重建。通过灰度—距离映射将网络生成的灰度图转化为点云数据，得到咬合面、舌侧面和颊侧面3组点云数据，根据3组点云数据与原始点云数据的邻牙信息将其进行配准拼接，并通过网格重建实现缺失牙牙冠的造型。

4) 重建牙冠模型质量评估。比较重建出的牙齿图像与专家设计模型的相似性来评价网络生成图像的质量，同时比较重建后3维网格模型和专家设计模型咬合面的距离偏差，评价咬合面重建质量，最后与现有方法进行对比，验证了本文方法的有效性。

3维牙齿模型是口腔计算机辅助设计中常用的3维模型，由于生成式对抗网络(generative adversarial network, GAN) (Goodfellow等，2014)在2维图像上具有强大的处理能力，考虑把3维模型降维转换为2维图像进行网络学习。牙齿咬合面形态具有复杂性和多样性，构建深度图时对咬合面进行采样的信息数量在一定程度上影响后续生成牙冠的质量，因此本文采用射线求交的方法构建牙齿模型高分辨率灰度图像数据集，使得从牙齿源数据中获取更多表面特征信息。概括说，首先利用旋转平移操作将大量3维牙齿模型在世界坐标系中对齐，然后分别求出牙齿3维模型咬合面、舌侧面和颊侧面的深度距离，把求得的距离值转化为深度图像素值，最终构建出分辨率为1 024×512像素的牙齿深度图数据集。

以生成咬合面深度图为例具体描述投影方法，如图 2(a)，首先在目标模型包围盒$z$方向一定距离$\gamma $构建投影平面，大小为512×512像素，然后通过射线求交的方法计算投影平面上任意一点$A$($x, y$)到目标模型表面的最短距离$d$, 定义到投影平面距离为$h$的极限平面，超出此平面的目标模型表面则不会投影，转化为深度图中的像素值为0，在平面内的目标模型表面则根据其到投影平面的垂直距离转化为0~255之间的像素值，转化式为

$ I(x,y) = 255 - \frac{{255{d^n}}}{{{h^n}}} $

(1)

式中，$I $($x, y$)为待求像素点的灰度值；$h $为极限平面的距离，取值为6时得到的灰度图能够较好地保持牙冠的特征；$d $为投影点到目标模型的垂直距离；$n $为图像增强因数。

不同的$n $取值得到的图像明暗程度和图像质量不同，本文通过图像熵比较不同$n$值的图像所携带的信息量丰富程度，图像熵计算式为

$ E = - \sum\limits_{i = 0}^s {{P_{(i)}}} {\rm{lo}}{{\rm{g}}_2}{P_{(i)}} $

(2)

式中，$E $为图像熵；${P_{\left(i \right)}}$为图中像素值$i $出现的概率；$s $为灰度值范围(0~255)。

为了使HRGAN模型能够更好地拟合牙冠的形态分布，在保证图像特征的情况下，研究了不同$n $值对图像熵$E $值的影响，$E $值越大，表示图像中偏离图像直方图高峰灰度区程度越大，图像包含的信息量越大。从图 2(b)可以看出，图像熵$E $随着$n $的增大先增大后减小，在$n$=1.5时达到峰值，因此本文选取$n$=1.5构建出牙齿深度图数据集。

GAN是一种训练生成式模型的方法，由生成模型和判别模型构成，生成模型通过捕捉数据分布生成数据，判别模型用于预测一个样本来自于真实数据而不是生成数据的概率。两个模型单独交替迭代训练，生成模型尽可能生成逼真的样本，判别模型判别其真实性，两个模型进行博弈，不断优化。

随着GAN的发展，高分辨率、高质量图像的生成任务成为研究热点。本文基于pix2pixHD构建出可同时生成牙齿咬合面及舌、颊侧面的网络模型。图 3为网络结构示意图，其中生成器由全局生成网络${G_1}$和局部增强网络${G_2}$组成，${G_1}$由3部分构成：一个卷积前端$G_1^{\left({\rm{F}} \right)}$, 一系列残差结构$G_1^{\left({\rm{R}} \right)}$, 和一个反卷积后端$G_1^{\left({\rm{B}} \right)}$。一幅分辨率为1 024×512像素的初始图像经过这3个部分后生成一幅分辨率为1 024×512像素的接近目标的图像，${G_2}$也由3部分构成：一个卷积前端$G_2^{\left({\rm{F}} \right)}$, 一系列残差结构$G_2^{\left({\rm{R}} \right)}$和一个反卷积后端$G_2^{\left({\rm{R}} \right)}$。为了整合${G_1}$的信息到${G_2}$，使得$G_1^{\left({\rm{B}} \right)}$的最后一层特征图和$G_2^{\left({\rm{F}} \right)}$的输出特征图所对应的元素之和作为$G_2^{\left({\rm{R}} \right)}$的输入。为了区分生成器生成的图像和真实图像，判别器需要有一个非常大的感受视野，利用3个相同结构的判别器${D_1}$、${D_2}$和${D_3}$对3个不同尺寸的图像进行操作。其中，粗糙尺度的判别器具有最大的感受野，用来指导全局信息的生成，精细尺度的判别器指导生成器生成更加精细的细节。

牙齿表面解剖形态复杂，为了提升网络对牙齿复杂特征的学习能力，在生成对抗损失(式(3))基础上，基于判别器合并一个特征匹配损失(式(4))提升GAN的损失，并且加入感知损失(式(5))探讨对网络性能的影响。生成对抗损失计算为

$ \begin{array}{*{20}{l}} {\mathop {{\rm{min}}}\limits_G \mathop {{\rm{max}}}\limits_D {L_{{\rm{GAN}}}}(G,D) = {E_{x,y}}[{\rm{log}}{\kern 1pt} {\kern 1pt} D(x,y)] + }\\ {{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {E_x}[{\rm{log}}(1 - D(x,G(x)))]} \end{array} $

(3)

式中，$x$为输出缺失牙冠数据，$y$为目标专家设计牙冠数据。特征匹配损失为

$ \begin{array}{l} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {L_{{\rm{FM}}}}(G,{D_k}) = \\ {E_{(x,y)}}\mathop \sum \limits_{i = 1}^T [{\left\| {D_k^{(i)}(x,y) - D_k^{(i)}(x,G(x))} \right\|_1}] \end{array} $

(4)

式中，$G$为生成器，$D$为判别器，$E$表示计算期望值，$T $为总层数，${N_i}$为每层的元素数，$G$($x$)表示由初始分布生成的数据，$D$($x, y$)表示判别器判别输入数据来自真实数据分布的概率$D_k^{\left(i \right)}$为判别器${D_k}$在第$i $层的特征提取器。感知损失为

$ \begin{array}{*{20}{c}} {{L_{{\rm{ perception }}}}(F,G) = }\\ {10\sum\limits_{i = 1}^N {\frac{1}{{{M_i}}}} [{{\left\| {{F^{(i)}}(y) - {F^{(i)}}(G(x))} \right\|}_1}]} \end{array} $

(5)

式中，${M_i}$为VGG(visual geometry group)网络第$i$层隐藏层元素数，${F^{\left(i \right)}}$表示第$i$层计算值，‖·‖表示生成数据和目标数据在第$i$层隐藏层的偏差值。

最终的目标函数为

$ \begin{array}{*{20}{c}} {{G^*} = {\rm{arg}}\mathop {{\rm{min}}}\limits_G \mathop {{\rm{max}}}\limits_D {L_{{\rm{ GAN }}}}(G,D) + }\\ {{\lambda _1}{L_{{\rm{FM}}}}(G,D) + {\lambda _2}{L_{{\rm{Per}}}}(F,G)} \end{array} $

(6)

式中，${\lambda _1}$、${\lambda _2}$是后两项损失的权重值。

重建出HRGAN模型图像数据结果的3维牙冠模型，包含牙齿咬合面深度图和舌、颊侧面深度图，首先通过投影逆变换把图像像素值转化为3维点坐标值，得到咬合面、舌以及颊侧面共3组点云数据，由于待修复牙体的邻牙信息不变，通过邻牙对这3组点云数据进行配准, 从而得到完整的牙冠，牙体3维重建示意图如图 4所示。

配准的步骤为：

1) 把原始缺失牙的邻牙转化为点云模型，计算出单个邻牙包围盒中某一面的中心点${P_{t1}}$(咬合面中心)或${P_{t2}}$(舌侧面中心)。

2) 把网络生成的点云进行降噪处理后计算其邻牙的包围盒某一面中心点${P_{g1}}$(咬合面中心)或${P_{g2}}$(舌侧面中心)，然后计算出平移向量${\mathit{\boldsymbol{P}}_{g1}}{\mathit{\boldsymbol{P}}_{t1}}$和${\mathit{\boldsymbol{P}}_{g2}}{\mathit{\boldsymbol{P}}_{t2}}$，通过平移将生成点云与原始点云进行粗配准。

通过点云配准(iteration closest point, ICP)算法对两组点云进行精配准(Besl和McKay，1992)，首先在生成点云$\mathit{\boldsymbol{G}}$中取得点集${\mathit{\boldsymbol{G}}_i}$，在原始点云中取得点集${\mathit{\boldsymbol{T}}_i}$, 使得$\left\| {{\mathit{\boldsymbol{T}}_i} - {\mathit{\boldsymbol{G}}_i}} \right\|$最小，然后计算旋转矩阵$\mathit{\boldsymbol{R}}$和平移矩阵$\mathit{\boldsymbol{M}}$，使得误差函数

$ W(\mathit{\boldsymbol{R}},\mathit{\boldsymbol{M}}) = \frac{1}{n}\sum\limits_{i = 1}^n {{{\left\| {{\mathit{\boldsymbol{T}}_i} - (\mathit{\boldsymbol{R}}{\mathit{\boldsymbol{G}}_i} + \mathit{\boldsymbol{M}})} \right\|}^2}} $

(7)

最小，利用矩阵$\mathit{\boldsymbol{R}}$和$\mathit{\boldsymbol{M}}$对点集${\mathit{\boldsymbol{G}}_i}$进行旋转和平移变换，得到变换后的点集${\mathit{\boldsymbol{G'}}_i}$，计算${\mathit{\boldsymbol{G'}}_i}$与${\mathit{\boldsymbol{G}}_i}$对应点的平均距离$d$, 即

$ d = \frac{1}{n}\sum\limits_{i = 1}^n {{{\left\| {\mathit{\boldsymbol{G}}_i^\prime - {\mathit{\boldsymbol{G}}_i}} \right\|}^2}} $

(8)

式中，$n$是点集的大小。

3) 若$d $小于给定阈值或大于预设迭代次数，则停止迭代计算，否则继续在生成点云中取得点集${\mathit{\boldsymbol{G''}}_i}$，重复以上步骤，直至满足收敛条件结束，完成后把3组点云合并输出。

4) 利用上述ICP配准方法把合并后的点云再与原始点云进行配准，最后利用区域增长方法(Zhang等，2017)把配准后的点云网格化。

实验的硬件设备为具有Intel Xeon Platinum 8168 CPU，GeForce GTX 1080Ti GPU (12 GB显存)的计算机，网络训练环境为Windows10操作系统，PyTorch1.2.0，CUDA8.0，Python3.5。为了验证本文方法，以患龋率较高的36号或46号牙为研究对象，构建样本数据集500个，其中训练集400个，测试集100个。每组样本包含两个数据：缺失牙列图像和专家设计牙列图像。网络初始学习率为0.000 2，批次为1，迭代次数为500。

损失函数是影响神经网络学习结果的重要因素，其用来评价模型真实值和预测值之间的差异程度，网络训练过程中不断最小化损失函数使得模型的预测结果更加准确，本文网络的损失函数包括生成器和判别器的损失(式(3))、基于判别器的特征匹配损失(式(4))、感知损失(式(5))这3部分。为了比较不同损失函数对网络学习结果的影响，设置了3组对比实验(表 1)，第1组：只有生成器和判别器的损失；第2组：在第1组的基础上加入特征匹配损失；第3组：在第2组的基础上加入感知损失。

在网络训练完成后进行测试，3组实验结果如图 5所示。

通过两种图像质量评价方法，峰值信噪比(peak signal to noise ratio, PSNR)和结构相似性(structural similarity, SSIM) (Wang等，2004)定量评价3组实验得到的结果图像的质量，计算为

$ {M_{SE}} = \frac{1}{{mn}}\sum\limits_{i = 0}^{m - 1} {\mathop \sum \limits_{j = 0}^{n - 1} } {[X(i,j) - Y(i,j)]^2} $

(9)

$ P = 10{\rm{lg}}\left( {\frac{{{M^2}}}{{{M_{SE}}}}} \right) $

(10)

式中，${M_{SE}}$是均方误差；$m $、$n$分别是图像的宽度和高度；$X$($i, j$)和$Y$($i, j$)分别是目标图像(专家数据)和生成图像的像素值；$M$是图像像素最大值，取值为255，PSNR为峰值信噪比。

$ SSIM (\mathit{\boldsymbol{X}},\mathit{\boldsymbol{Y}}) = \frac{{(2{\mu _\mathit{\boldsymbol{X}}}{\mu _\mathit{\boldsymbol{Y}}} + {c_1})(2{\sigma _{\mathit{\boldsymbol{XY}}}} + {c_2})}}{{(\mu _\mathit{\boldsymbol{X}}^2 + \mu _\mathit{\boldsymbol{Y}}^2 + {c_1})(\sigma _\mathit{\boldsymbol{X}}^2 + \sigma _\mathit{\boldsymbol{Y}}^2 + {c_2})}} $

(11)

式中，SSIM为结构相似性，${\mu _X}$、${\mu _Y}$分别是图像$\mathit{\boldsymbol{X}}$和$\mathit{\boldsymbol{Y}}$的均值；${\sigma _{XY}}$是图像$\mathit{\boldsymbol{X}}$和$\mathit{\boldsymbol{Y}}$的协方差; $\sigma _X^2$和$\sigma _Y^2$分别是图像$\mathit{\boldsymbol{X}}$和$\mathit{\boldsymbol{Y}}$的方差。${c_1}$和${c_2}$是常数。

通过比较每一组实验结果图像与专家组图像之间的差异，计算出PSNR值和SSIM值, 如表 2所示。

从图 5和表 2可以得出，当只设置生成器和判别器的损失时，缺失牙的形貌没有得到完全恢复，只生成出整体轮廓，缺少窝沟等细节；加入特征匹配损失后，生成结果得到了改善，浮现出了窝沟形态，不过比较粗糙；加入感知损失后缺失牙的生成效果良好，咬合面、舌、颊侧面整体轮廓和窝沟都得以恢复，与专家设计较为接近，并且PSNR值和SSIM值都有所提升。

在第3组实验结果的基础上，利用2.3节的方法重建出3个样例的牙冠曲面。咬合面的质量决定牙冠修复的质量，因此重建出3维网格模型后，对其咬合面进行偏差分析，计算网络生成的牙冠咬合面与专家设计的咬合面之间的偏差值，图 6展示了3组样例的重建结果及其偏差色谱图，表 3为3组样例中网络生成结果与专家设计模型之间的偏差值，从结果中可以看出，利用HRGAN修复的牙冠模型与专家设计模型之间整体距离偏差不大，只存在局部偏差较小区域，没有偏差值特别突出的地方，满足功能性修复要求(Yu等，2018)。

为了验证本文方法的有效性，与CAD全冠修复方法和袁福来等人(2019)的方法进行了对比，结果如图 7所示，图中Δ表示标准偏差，RMS为均方根值。图 7(b)口腔CAD设计系统设计的牙冠的设计方法是对标准牙数据库中的同名牙进行调颌变形得到的牙冠模型，其咬合面解剖形态与专家设计牙冠相差较大，通过对比其与专家设计牙冠的偏差值发现局部偏差值较大，通过计算标准偏差Δ为0.386，均方根值为0.541；为了对比本文方法和袁福来等人(2019)方法的牙冠结果的差异，两者在相同数据集上进行了对比测试，从图 7中可以看出，相比图 7(c)的方法，本文方法得到的牙冠与专家设计牙冠的标准偏差Δ下降了约7%，均方根值RMS下降了约10%，并且咬合面形态与专家设计最为接近。

针对牙体缺损修复中个性化程度低、修复质量差等问题，提出了一种基于HRGAN模型的全冠修复体设计方法。通过构建高分辨率牙列数据集，采用基于特征匹配损失和感知损失的深度生成网络合成具有高分辨率牙冠多视图图像，并将图像反向映射为点云后进行配准，得到缺失牙牙冠。最后，与口腔CAD方法和低分辨率生成网络进行对比发现，本文方法重建后的牙冠与专家数据偏差最小，具备个性化咬合面形态。同时，验证了本文方法的有效性，有利于提高口腔全冠修复治疗的效果。

本文方法仍存在一些不足：1)只针对患病率最高的第一磨牙进行研究，未来工作将进一步研究不同牙位、多颗患牙的多元数据网络设计方法，丰富网络训练数据集，提升网络的泛化能力；2)基于邻牙对多视图牙齿点云模型进行配准过程中可能出现噪音点，对本文方法配准精度有所影响，未来将研究通过牙齿关键特征进行点云配准的方法完成牙齿形态设计。今后将针对以上问题展开进一步研究，达到更加高效、稳定的牙齿设计目标。