乳腺癌是女性三大恶性肿瘤之一，2018年美国癌症学会对全球185个国家36种癌症的发病和死亡人数进行评估(Bray等，2018)，其中乳腺癌占860万女性癌症新发病例的24.2 %，占420万女性癌症死亡病例的15 %，在女性癌症中发病率和病死率均高居第1位。据统计(Yang等，2018)，2014年中国女性乳腺癌发病率为28.77每10万人，病死率为6.35每10万人，分别位居我国女性癌症发病率第1位，死亡率第2位。

超声检查能够检测到X射线未能筛查出的早期乳腺癌，是乳腺癌早期筛查的有效手段之一。目前医师采用超声乳腺影像报告及数据系统(breast imaging and reporting data system，BI-RADS)分级法将乳腺结节分为0~6级来评价乳腺病变的良恶性程度。但BI-RADS评估方法主要依据乳腺结节的形态学特征和部分声学信息，易受成像干扰和医师判别能力影响，从而导致患者处于较高的假阳性、过度诊断以及不必要的穿刺活检中。

计算机辅助诊断(computer aided detection，CAD)是指将计算机的分析计算能力与影像学、医学图像处理等技术相结合来提高工作效率，并为医生提供诊断参考以减少漏诊和误诊情况。如Zhou等人(2013)从2维乳腺超声弹性图中提取感兴趣区域(region of interest，ROI)后，利用基于剪切波(Shearlet transform)的纹理特征描述符对乳腺结节进行分类。Flores等人(2015)使用互信息和统计学方式测试不同的形态学和纹理特征组合对乳腺结节分类性能的影响。丁建睿等人(2013)采用自组织映射(self-organizing map)方法矢量量化局部特征, 并结合多示例学习以分类乳腺结节。上述传统的机器学习方法虽取得一定进展，但因需要如手工设计特征等较多的人工交互，灵活性及准确度不高，影响其应用的广泛性。

深度学习应用于医学超声图像良恶性分类等任务中取得了不错效果(Liu等，2019)。如Huynh等人(2016)将卷积神经网络(convol-utional neural networks，CNN)从乳腺超声图像ROI中提取的特征与手工设计特征分别使用支持向量机(support vector machine，SVM)进行分类。结果显示，在区分乳腺良性和恶性病变上CNN提取的特征分类效果优于手工设计特征。迟剑宁等人(2018)将深度学习与手工纹理特征结合，利用代价敏感随机森林实现了甲状腺超声图像的良恶性分类。孔小函等人(2018)提出基于CNN和多信息融合的3维乳腺超声分类方法。上述基于深度学习的方法虽在一定程度上提升了分类结果，但仍需要人工提取病灶区的过程。

相对于自然图像分类，乳腺超声图像表现更为复杂，如：结节大小、形状、位置和数目差异较大。目前的传统CAD和深度学习方法均只对乳腺结节良恶性类别直接加以区分，并没有从医学角度考虑良恶性样本内部的差异。针对上述问题，本文提出结合形状约束及困难样本挖掘的乳腺超声图像结节分类算法，算法流程如图 1所示，包括如下4个模块：

1) 图像预处理。采用适用于超声图像的边缘增强各向异性扩散去噪模型(edge enhanced anisotropic diffusion，EEAD)抑制噪声(Fu等，2005)，通过医师标注后的图像获取掩膜图像。

2) 结节形态学特征提取。对掩膜图像中的结节提取包括凹凸性、纵横比、致密性、圆差异性和椭圆差异性的形态学特征。

3) CNN迁移学习。微调Mask-RCNN模型中的骨干网络来提取图像深度特征。

4) 约束损失函数。通过模块2)中提取的形态学特征进行相似度匹配挖掘形状相似类别不同的困难样本，计算带形状约束项的损失函数。

本文创新工作主要包括以下两方面：

1) 提出一种基于医学先验知识的损失函数，将CNN提取的特征进行正则化分布，挖掘数据集中的易混淆乳腺超声图像，提高模型对困难样本的学习能力。

2) 基于Mask R-CNN(He等，2020)实现乳腺超声图像的端对端(end-to-end)全自动分类，避免了人工提取病灶区过程，提高模型自动化程度。

在进行深度学习训练时，通常使用损失函数作为目标函数，又称为代价函数(cost function)。损失函数代表预测值与理想值之间的差值，可用来在训练过程中衡量当前模型分类能力的好坏。Softmax函数是常见的分类损失函数之一，基于其改进的损失函数不断被提出。如Soft-Softmax(Hinton等，2015)针对迁移学习任务将软标签和硬标签同时作用于新模型的学习。L2-Softmax(Ranjan等，2017)将学习的特征归一化，增加了L2约束来增强特征的区分度。部分学者发现增大不同类别之间的余弦距离和角度边缘能够有效提升特征的区分性能：Large-Margin Softmax(Liu等，2016)和A-Softmax(angular softmax)(Liu等，2017)为损失函数添加乘性角度裕度，用来提高特征可分性。而CosFace(Wang等，2018b)和AM-Softmax(additive margin softmax)(Wang等，2018a)则选择增加余弦余量。AAM-Loss(additive angular margin loss)进一步将增加的余弦余量移动到角度空间中(Deng等，2019)，即加性角度裕度，以便更好地优化和提高性能。

由于以上通用领域的损失函数并不能很好地适用于乳腺超声图像结节诊断这一特定医学领域，因此对乳腺超声图像结节医学特征具体分析后，本文在AAM-Loss的基础上增加困难样本形状约束损失(shape constraint loss，SC-Loss)，同样将图像特征映射到角度空间，用以挖掘数据集中靠近决策边界困难样本，并扩大其与相异类的特征距离。图 2是基于不同的损失函数进行监督学习后样本特征的分布情况，其中，${\mathit{\boldsymbol{W}}}_{1}$和${\mathit{\boldsymbol{W}}}_{2}$分别为良性和恶性样本权重，margin表示裕度，从图 2(a)(c)可以看出，在没有困难样本形状约束损失的情况下，分类时靠近决策边界的圆圈部分存在易混淆样本，尤其是单一Softmax-Loss的模型类间距离较近。添加困难样本形状约束损失后，如图 2(b)(d)所示，圆圈内靠近决策边界的困难样本被分离，类间距离扩大，而类内更加紧凑。

乳腺超声图像是利用超声波遇到人体内组织时反射的超声信号进行成像。受医学超声图像自身成像机制的限制，乳腺超声图像的噪声干扰严重，主要表现为加性的热噪声和乘性的斑点噪声。热噪声是由成像设备发热造成的，可通过冷却成像设备等物理方式避免。而斑点噪声是由反射的超声波产生相长干涉和相消干涉而形成的亮暗相间的颗粒状斑点，无法通过调整物理设备消除，因此需要通过预处理实现乳腺超声图像去噪。

常用的去噪算法包括3维块匹配算法(block matching 3D，BM3D)、同态Wiener滤波和中值滤波等。其中BM3D算法将邻近图像块进行相似性匹配整合为一个3维矩阵，在3维空间进行滤波处理，再将结果反变换融合到2维，形成去噪后的图像，去噪效果较好但时间复杂度高；而同态Wiener滤波属于线性滤波，主要用来去除加性噪声，对于去除超声图像中的乘性斑点噪声效果不佳；中值滤波属于非线性滤波，但在去除噪声同时会造成图像模糊以至图像边缘特征丢失。各向异性扩散法(anisotropic diffusion，AD)结合扩散方程和图像特征(Yu和Acton，2002)，能够在平滑图像的同时保留甚至增强图像的边缘信息。乳腺超声图像的噪声分布及强弱情况在人体不同组织部位中不尽相同，所以去噪模型应该在同质(细节特征相似)区域内实行各向同性扩散去噪，在异质(边缘和局部细节)区域内实行各向异性扩散去噪，以避免降低超声图像质量。因此本文采用基于边缘增强的EEAD(Fu等，2005)模型对图像去噪，该模型由图像梯度决定扩散速度，将滤波扩散方向分解为法线方向与切线方向两部分，扩散方程为

$ \left\{ {\begin{array}{*{20}{l}} {\frac{{\partial \mathit{\boldsymbol{I}}}}{{\partial t}} = {\rm{div}} (c(\left\| {\nabla \mathit{\boldsymbol{I}}} \right\|)\nabla \mathit{\boldsymbol{I}}) = {f_1}{\mathit{\boldsymbol{I}}_{nn}} + {f_2}{\mathit{\boldsymbol{I}}_t}}\\ {{f_1} = 1/(1 + a|{\mathit{\boldsymbol{v}}_n}{|^2} + b|{\mathit{\boldsymbol{v}}_{nn}}{|^2})}\\ {{f_2} = 1/\sqrt {1 + a|{\mathit{\boldsymbol{v}}_n}{|^2} + b|{\mathit{\boldsymbol{v}}_{nn}}{|^2}} }\\ {v = {G_t} \cdot \mathit{\boldsymbol{I}}} \end{array}} \right. $

(1)

式中，${\mathit{\boldsymbol{I}}}$表示原始图像，$t$为时间迭代参数，$c(\|\nabla {\mathit{\boldsymbol{I}}}\|)$为边缘停止函数又称流动扩散系数，$\nabla$ 为梯度算子，下标$t$和$n$代表图像在单位切线和法向量方向上的一阶偏导，下标$tt$和$nn$代表图像在单位切线和法向量方向上的二阶偏导，$ f_{1}$为法线方向上的扩散系数，$f_{2}$为切线方向上的扩散系数，$a$为控制各项异性扩散去噪时对于边缘和局部细节的保持系数，$b$为控制各项异性扩散去噪时对于超声回声亮条的保持系数，$G_{t}$为高斯平滑函数，${\mathit{\boldsymbol{v}}}$为平滑后的图像。

本文为保持乳腺超声图像中有用的医学信息，在式(1)中结合超声回声亮条的微分性质，选取$f_{1}$ < $f_{2}$，$f_{1}$, $f_{2}$ → 0 (|${\mathit{\boldsymbol{v}}}_{n}$|→ +∞)。

本文采用去噪算法的常用全参考评价指标对EEAD算法进行客观量化评估：均方误差(mean squared error，MSE)，表示待评价图像与参考图像的均方误差，其值越小表示失真越少；峰值信噪比(peak signal to noise ratio，PSNR)，由MSE定义，其值越大表示失真度越小；结构相似性(structural similarity，SSIM)，用以衡量两幅图像相似程度，可较好地反映人眼主观评价，其值越大图像质量越优；边缘保持系数(edge preservation index，EPI)，表示图像去噪后水平或垂直方向边缘的保持能力，其值越接近1，边缘保持能力越强；时间复杂度表示处理图像的时间性能。

由图 3和表 1可知，使用EEAD算法去噪的乳腺超声图像在失真度和质量方面最优，BM3D算法和小波阈值法次之；而在图像边缘保持能力上EEAD算法和小波阈值法基本持平。实验结果表明，EEAD算法在有效去除超声图像斑点噪声的同时，能够较好地保持超声图像中的细节特征及边缘特征。

目前分类模型大多采用计算预测类别与真实类别的Softmax交叉熵作为损失函数

$ {L_1} = - \frac{1}{N}\sum\limits_{i = 1}^n {{\rm{log}}} \left( {\frac{{{\rm{exp}}(\mathit{\boldsymbol{W}}_{{y_i}}^{\rm{T}}{\mathit{\boldsymbol{x}}_i} + {b_{{y_i}}})}}{{\sum\limits_{j = 1}^c {{\rm{exp}}} (\mathit{\boldsymbol{W}}_j^{\rm{T}}{\mathit{\boldsymbol{x}}_i} + {b_j})}}} \right) $

(2)

式中，$N$为样本总数量，$i$∈{1, …, $n$}代表第$i$个样本，$ j$∈{1, …, $c$}代表第$j$个类别，$y_{i}$代表第$i$个样本的真实类别，${\mathit{\boldsymbol{W}}}^{\rm T}_{y_i}x_{i}+b_{y_i}$为全连接层的输出，其中${\mathit{\boldsymbol{W}}}$为权重，${\mathit{\boldsymbol{x}}}$为输入特征，$b$为偏置项。

传统Softmax-Loss易于优化，大规模训练数据条件下模型鉴别能力强，但仍存在两方面问题：

1) 如图 2(a)，在面对分类问题时没有尽可能地扩大类间距离和缩小类内距离。

2) 小样本训练条件下，模型易过拟合、泛性能力弱。而乳腺肿瘤病情复杂多变，良恶性超声表现重叠，本身区分度不强，且因医疗图像的特殊性及隐私性，目前学术界没有大型公开乳腺超声数据集，自行整理的乳腺超声图像数据集通常较小。

因此为让CNN在乳腺超声图像小样本上学习到更具泛性的特征以提高模型对乳腺结节良恶性的判别能力，需要扩大类间距离和缩小类内距离。为此，本文的损失函数中引入AAM-Loss作为主体，其是对传统Softmax-Loss进行修改得到的，首先把式(2)的偏置$b_{j}$设置为0，权重和输入的内积表示为

$ \mathit{\boldsymbol{W}}_j^{\rm{T}}{\mathit{\boldsymbol{x}}_i} = \left\| {{\mathit{\boldsymbol{W}}_j}} \right\|{\kern 1pt} {\kern 1pt} {\kern 1pt} \left\| {{\mathit{\boldsymbol{x}}_i}} \right\|{\rm{cos}}{\theta _j} $

(3)

用L2正则化处理${\mathit{\boldsymbol{W}}}_{j}$得到$\| {\mathit{\boldsymbol{W}}}_{j} \|=1$，L2正则化是将${\mathit{\boldsymbol{W}}}_{j}$向量中的每个值都分别除以${\mathit{\boldsymbol{W}}}_{j}$的模，从而得到新的${\mathit{\boldsymbol{W}}}_{j}$，新的${\mathit{\boldsymbol{W}}}_{j}$的模为1，即可从式(2)得到

$ {L_2} = - \frac{1}{N}\sum\limits_{i = 1}^n {{\rm{log}}} \frac{{{{\rm{e}}^{\left\| {{x_i}} \right\|{\rm{cos}}{\theta _{{y_i}}}}}}}{{{{\rm{e}}^{\left\| {{x_i}} \right\|{\rm{cos}}{\theta _{{y_i}}}}} + \sum\limits_{j = 1,j \ne {y_i}}^c {{{\rm{e}}^{\left\| {{x_i}} \right\|{\rm{cos}}{\theta _j}}}} }} $

(4)

同理, 对输入${\mathit{\boldsymbol{x}}}_{i}$也用L2正则化处理，同时乘以尺度放缩参数$s$；另一方面将cos$θ_{y_i}$用cos$(θ_{y_i}$+$m$)代替，角度裕度参数$m$用于控制分类的约束程度，最终得到如式(5)所示的$L_{\rm AAM}$，即AAM-Loss，式(5)中后3个子式如上文所述，是对权重和输入特征的L2正则化处理后求余弦角度值

$ \left\{ {\begin{array}{*{20}{l}} {{L_{{\rm{AAM}}}} = - \frac{1}{N}\sum\limits_{i = 1}^n {{\rm{log}}} \frac{{{{\rm{e}}^{s({\rm{cos}}({\theta _{{y_i}}} + m))}}}}{{{{\rm{e}}^{s({\rm{cos}}({\theta _{{y_i}}} + m))}} + \sum\limits_{j = 1,j \ne {y_i}}^c {{{\rm{e}}^{s{\rm{cos}}{\theta _j}}}} }}}\\ {{\mathit{\boldsymbol{W}}_j} = \frac{{{\mathit{\boldsymbol{W}}_j}}}{{\left\| {{\mathit{\boldsymbol{W}}_j}} \right\|}},{\mathit{\boldsymbol{x}}_i} = \frac{{{\mathit{\boldsymbol{x}}_i}}}{{\left\| {{\mathit{\boldsymbol{x}}_i}} \right\|}},{\rm{cos}}{\theta _j} = \mathit{\boldsymbol{W}}_j^{\rm{T}}{\mathit{\boldsymbol{x}}_i}} \end{array}} \right. $

(5)

式中，$s$为尺度放缩参数，$m$为角度裕度参数。

如图 4所示，以二分类为例，初始Softmax-Loss的目的是${\mathit{\boldsymbol{W}}}^{\rm T}_{1}{\mathit{\boldsymbol{x}}}>{\mathit{\boldsymbol{W}}}^{\rm T}_{2}{\mathit{\boldsymbol{x}}}$，使得${\mathit{\boldsymbol{x}}}$(来自类别1)分到正确类, 即$ {\mathit{\boldsymbol{W}}}_{1} x $cos$θ_{1}> {\mathit{\boldsymbol{W}}}_{2} x $cos$θ_{2}$。式(5)通过增加一个正整数的角度裕度$m$，会更严格地约束上述不等式，将分隔线变换为分隔区，从而达到降低类内距离和增加类间距离的目的。

$ \begin{array}{*{20}{c}} {\left\| {{\mathit{\boldsymbol{W}}_1}} \right\|\left\| x \right\|{\rm{cos}}{\theta _1} \ge \left\| {{\mathit{\boldsymbol{W}}_1}} \right\|\left\| x \right\|{\rm{cos}}({\theta _1} + m) > }\\ {\left\| {{\mathit{\boldsymbol{W}}_2}} \right\|\left\| x \right\|{\rm{cos}}{\theta _2}} \end{array} $

(6)

当满足$ \|{\mathit{\boldsymbol{W}}}_{1}\| \|x\| $cos$(θ_{1}+m)> \|{\mathit{\boldsymbol{W}}}_{2}\| \|x\| $cos$θ_{2}$时，则一定满足$ \|{\mathit{\boldsymbol{W}}}_{1}\| \| x\| $cos$θ_{1}> \|{\mathit{\boldsymbol{W}}}_{2}\| \|x\| $cos$θ_{2}$。这种约束会对${\mathit{\boldsymbol{W}}}_{1}$，${\mathit{\boldsymbol{W}}}_{2}$的学习过程提出更高的要求，从而使类别1和类别2产生更宽的分类决策边界。

乳腺超声图像中的良性结节一般如图 5(a)所示，具有边界清晰、形态呈圆形或椭圆形浅分叶状、纵横比 < 1等征象。乳腺恶性结节如图 5 (c)所示，具有边缘模糊、形态不规则、纵横比≥1等征象。但也有如图 5 (b)(d)所示的个别图像形态特征呈相反状态，图 5(b)困难样本—良性图像具有形态不规则、纵横比≥1等恶性征象，图 5(d)困难样本—恶性图像具有形态呈椭圆形、纵横比 < 1等良性征象，该部分数据称为困难样本(difficult sample)。

传统乳腺超声图像分类算法并没有对这部分易混淆的困难样本加以区分，导致分类准确率较低。为进一步挖掘并区分乳腺超声图像的困难样本，本文在主体损失函数上增加困难样本形状约束损失项$L_{\rm d}$，即

$ \left\{ \begin{array}{*{35}{l}} {{L}_{\text{d}}}= sigmoid (-{{f}_{\text{d}}})=\frac{1}{1+{{\text{e}}^{-\frac{1}{2}}}\sum\limits_{\begin{smallmatrix} {{y}_{i}}\ne {{y}_{j}} \\ d\left( {{s}_{i,j}} \right)<\mu \end{smallmatrix}}{c}(\text{cos}{{\theta }_{i}}-\text{cos}{{\theta }_{j}})} \\ {{f}_{\text{d}}}=\frac{1}{2}\sum\limits_{\begin{smallmatrix} {{y}_{i}}\ne {{y}_{j}} \\ d\left( {{s}_{i,j}} \right)<\mu \end{smallmatrix}}{c}(\text{cos}{{\theta }_{i}}-\text{cos}{{\theta }_{j}}) \\ d({{s}_{i,j}})={{\left\| {{\mathrm{s}}_{i}}-{{\mathrm{s}}_{j}} \right\|}_{2}} \\ \end{array} \right. $

(7)

式中，$ f_{\rm d}$为类别不同、形状相似的成对样本特征之间的余弦距离，$c$为尺度放缩参数，${\mathit{\boldsymbol{s}}}$为样本形状描述符向量，$d$ ($s_{i, j}$)为样本之间的形状相似度，$μ $为形状相似度的指定阈值。当两个类别不同的样本形状特征归一化后的距离小于$μ $时，求两者之间特征的余弦距离，最后再对所有成对样本的总距离求和。阈值$μ $越小代表参与计算的两者之间形状越相似，其中困难样本的形状越趋近于错误类。

$f_{\rm d}$的值越大，表示不同类困难样本的特征区分度越大，故将其取负值，用sigmoid函数映射到(0, 0.5)区间表示为形状约束损失值。从而$L_{\rm d}$值降低可以增强模型对困难样本的判别能力，可作为一个辅助监督项与式(5)组合成完整的分类损失函数$L_{\rm cls}$

$ {L_{{\rm{cls}}}} = {L_{{\rm{AAM}}}} + \lambda {L_{\rm{d}}} $

(8)

式中，$λ$为指定的权重因子，以平衡$L_{\rm AAM}$和$L_{\rm d}$两种损失所占比例。

针对上文结节形状征象重叠的医学现象，本文在医生建议下组合乳腺结节形状描述符(combination of breast tumor shape descriptors，CBTSD)作为乳腺结节形态学特征，如图 6，其分别为凹凸性、纵横比、致密性、圆差异性和椭圆差异性。

1) 凹凸性(concavity)。结节轮廓凸包周长与原轮廓周长的比率(所有凸起的覆盖轮廓称为凸包)，即结节形态规则性。

2) 纵横比(aspect ratio)。结节区域垂直高度与水平宽度的比例，即结节的纵横比。

3) 致密性(compactness)。结节区域面积与等面积的圆形周长的比例，即结节的致密性。

4) 圆差异性(circle variance)。结节与模板圆比较的比例均方误差，即结节的圆差异性。

5) 椭圆差异性(elliptic variance)。结节与模板椭圆比较的比例均方误差，即结节的椭圆差异性。

组合这5种形状描述符较好地表述了结节形态学信息，可用于比较乳腺结节的形状相似度。当存在两幅形状相似但标签类别不同的图像时，将网络对这两幅图像提取到的特征进行正则化分布，从而获得更具辨别性的特征，提高模型的分类能力。该方法计算简单，具有较强的平移不变性和尺度不变性，适用于结节位置、大小差异较大的乳腺超声图像。

本文提出的乳腺超声图像结节分类的end-to-end模型主要基于Mask R-CNN深度学习框架。如图 1所示，该框架由特征提取网络、区域生成网络(region proposal network，RPN)、ROIAlign和功能性网络组成，是一个小巧、灵活的通用对象多任务框架，具有目标定位、分割及分类功能。

其中，特征提取组合网络是用于整个乳腺超声图像的特征提取和组合的卷积主干架构，可基于不同应用场景选择相应网络结构。以本文采用的ResNet50-FPN(feature pyramid network)为例进行说明，ResNet引入了跳跃连接，使上一个残差块的信息可以不受阻碍地流入到下一个残差块，提高信息流通性，并且也避免了网络过深所引起的消失梯度问题和退化问题。FPN将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息。

区域生成网络是将上述得到的特征图利用滑动框机制生成候选框。具体做法如下：

1) 将窗口中心作为锚点(anchor)。

2) 由锚点产生$K$个大小不同、尺度不同的候选框，后接两个全连接层得到$2K$个分数和$4K$个坐标，即边框分类层(box-classification layer)输出的前后景置信分数和边框回归层(box-regression layer)输出的当前候选框坐标结果。

3) 根据阈值将候选框分为正负样本，并用边框回归得出的偏移量对每个候选框的中心和宽、高进行修正。

ROIAlign针对直接量化ROI边界或块而引起的候选框与提取特征区域错位问题，采用双线性插值法和最大池化实现提取的特征与输入候选框精准对齐。功能性网络为一个包括定位、分割和分类的三分支结构。其中，定位任务是对候选框的二阶段修正，修正方法与步骤3)一致，其损失函数为$L_{\rm box}$；分割任务通过全卷积网络(fully convolutional networks，FCN)获取结节形状掩码，其损失函数为$L_{\rm mask}$；分类任务则采用本文设计的带形状约束项的损失函数$L_{\rm cls}$进行学习。

乳腺超声图像结节分类的端对端方式运行高效，避免人工提取病灶区这一劳动密集型工作，提高了模型的自动化能力。

实验数据集为四川省某医院超声科提供的乳腺超声影像数据(breast ultrasound image set，BUIS)，收集时间为2015年10月至2018年8月，包含1 805幅经过临床诊断的影像，其中良性病变1 124幅，恶性病变681幅，使用超声诊断仪Esaote MyLab Twice和Toshiba Xario进行采集，探头频率为18 MHz。其中，乳腺超声图像均由高年资超声医师进行乳腺结节的类型和位置标注，所有病例良恶性结果均以病理诊断为“金标准”。因乳腺超声图像的特殊性，旋转、像素值变换等方法并不适用于该数据集，所以本文在使用上述去噪算法后，仅采用镜像、比例不变的缩放等方法进行数据扩增。该数据集的具体细节见表 2。

实验评价采用医学评价常用指标，包括准确度(accuracy，ACC)、敏感度(sensitivity)、特异度(specificity)以及AUC(area under curve)进行评估，其中敏感度又称真阳性率(true positive rate，TPR), 即患者被分类为恶性的概率，特异性又称真阴性率(true negative Rate，TNR)，即实际上未患病的人被分类为良性的概率，AUC则是ROC(receiver operator characteristic curve)曲线下与坐标轴围成的面积，具体定义为

$ {{A_{{\rm{CC}}}} = \frac{{TP + TN}}{{TP + FP + FN + TN}}} $

(9)

$ {{T_{{\rm{PR}}}} = \frac{{TP}}{{TP + FN}}} $

(10)

$ {{T_{{\rm{NR}}}} = \frac{{TN}}{{TN + FP}}} $

(11)

式中，$ TP$、$TN、FP、FN$分别为预测的真阳性、真阴性、假阳性、假阴性数目。

本文提出的形状约束损失中有两个超参数$λ$和$μ$，其中参数$λ$控制形状约束损失的重要性，参数$μ$则决定困难样本的困难程度。为了验证$λ$与$μ$的不同组合对最后分类的影响，进行如下实验，结果如图 7所示。

该组实验均采用式(8)中的损失函数和表 2中的数据集。第1个实验中，固定$μ $= 0.02，并将$λ$从0到0.4进行变化, 训练出不同的模型。实验结果如图 7(a)所示，可以看出在测试集上增加困难样本约束损失可以极大地提高乳腺结节的分类准确度，尤其当$λ $= 0.1时效果明显。第2个实验中，则固定$λ $= 0.1，$μ$从0到0.04变化。测试集上的准确度如图 7(b)所示。结果表明，$μ $∈ [0.005，0.02]的准确度持续上升，在$μ $= 0.02达到最高并保持稳定。

本文实验首先对原始乳腺超声图像去噪，并根据掩膜图像提取结节形状描述符，然后将去噪后的图像、相应的掩膜图像及结节形状描述符输入网络进行训练。

为验证本文损失函数设计的有效性，对4种不同的损失函数进行比较：Softmax-Loss、Softmax-Loss+ SC-Loss、AAM-Loss、AAM-Loss+SC-Loss(本文)。具体实验结果如表 3所示，本文提出的损失函数对乳腺超声图像数据集的分类准确度为92.58 %，敏感性为90.44 %，特异性为93.72 %，AUC为0.946，均优于对比算法，且各评价指标均比使用传统Softmax-Loss方法提高了5 % ~12 %。

为验证本文算法对困难样本的识别能力，实验效果通过图 8进行了可视化，其中掩膜准确度采用IoU作为分割质量评价指标

$ I = \frac{{P \cap G}}{{P \cup G}} $

(12)

式中，$P$为预测的结果区域，$G$为真实病灶区域。

实际分类效果如图 8(a)(c)所示，本文算法在测试集中正确识别符合良恶性形状征象的乳腺结节，并且图 8(c)(d)与良恶性形状征象呈相反状态的困难样本数据也能被模型正确分类，图 8(c)的困难样本—良性图像具有形态不规则、边缘模糊等恶性征象，图 8(d)的困难样本—恶性图像具有形态呈椭圆形、纵横比 < 1等良性征象。

目前，由于缺少乳腺超声图像的大型公开数据集或分类性能基线(baseline)，因此本文将主流算法在各自测试数据集上的分类结果在表 4中列出，并对迟剑宁等人(2018)的实验复现后采用本文数据集进行比较。尽管欠缺直接对比性，但该表可提供当前算法性能的总体比较，表中数据客观地反映出本文算法准确度高于半自动化(需要人工提取病灶区)对比算法，敏感度与特异性也与之具有可比性，应用研究价值更强。

本文针对乳腺超声图像的自身特点，实现了一个端到端的乳腺超声图像结节分类算法，通过改进Mask R-CNN以避免人工提取病灶区的过程，该算法包括图像预处理、结节形态学特征提取、CNN迁移学习和约束损失函数4个模块。主要工作内容如下：

1) 选取适用于乳腺超声图像的去噪算法抑制噪声。

2) 挖掘乳腺超声图像数据集存在与类别形状特征相异的困难样本。

3) 针对2)中易混淆的数据，提出带有困难样本形状约束项的损失函数，该损失函数会对靠近决策边界的困难样本进行惩罚，增强网络的特征学习能力扩大类间距离。实验结果表明该损失函数充分利用超声图像的特征，能有效提高乳腺结节良恶性分类效果。

目前本文主要研究形状特征约束，但乳腺超声图像情况复杂多变，如何自动挖掘其他类型困难样本并减少样本不均衡的干扰将成为下一步研究工作。