论文引用格式：Chen J， Guang M T， Lu R L， Luo Q， Wei L F and Shen D G. 2024. Research progress on fetal brain magnetic resonance image segmentation. Journal of Image and Graphics， 29（03）：0561-0585（引用格式:陈健， 广梦婷， 陆冉林， 罗琴， 魏丽芳， 沈定刚. 2024. 胎儿脑磁共振图像分割研究进展. 中国图象图形学报， 29（03）：0561-0585）［0　引 言全世界每年有超过800万婴儿出生时患有先天缺陷，每5名婴儿死亡中就有1例因出生缺陷导致，同时，出生缺陷也会导致幸存下来的人终生残疾（HNN Team，2021）。这不但增加了家庭与社会的经济和精神负担，也降低了人口素质（梁志清，2012）。导致出生缺陷的多种胎儿发育异常与畸形中，中枢神经系统畸形（central nervous system malformation，CNSM）的发生率位居前列（周玉，2016）。随着二胎及三胎政策的放开，高龄孕产妇持续快速增加，CNSM的发生率也逐年增高（华方明 等，2017）。因此，对胎儿中枢神经系统，尤其是胎儿脑生长发育情况进行有效监测，尽早对胎儿脑异常实现准确检测，是指导临床管理决策、遗传咨询及确保优生优育、降低出生缺陷率的关键措施。与此同时，在《国家中长期科学和技术发展规划纲要（2006—2020）》中，我国对脑科学研究做了重要战略规划，并在《“十三五”国家科技创新规划》中将“脑科学与类脑研究”列为“科技创新2030—重大项目”，在国家“十四五规划”重大项目清单中也包含脑科学研究专项（蒲慕明 等，2016；张学博 等，2020）。医学影像是产前筛查、诊断、治疗引导和评估的重要工具，能有效避免胎儿脑的发育异常。在医学影像中，超声（ultrasound，US）是胎儿脑结构量化计算的首选成像方法，具有实时、无辐射及费用低等优点。Torres等人（2022）针对US成像，对胎儿头部和大脑评估过程中所采用的不同图像处理方法进行分析和分类。但US图像容易受羊水过少、孕周过大、胎儿体位、胎儿肋骨钙化、多胎和母体体型（如母体肥胖、合并子宫肌瘤等）等因素的影响，不能计算胎儿脑皮质细小结构、脑结构纤维束连接和功能连接（任婧雅和董素贞，2020）。而胎儿磁共振成像（magnetic resonance imaging，MRI）没有这些局限性。与US相比，MRI具有视野大、软组织分辨率高等特点，能够发现US中不易发现的结构。因此，MRI作为US的补充工具，在产前诊断中愈加重要（Khawam等，2021）。然而，常规的MRI诊断依赖于阅片医生的水平和经验，存在主观性强、重复性低和定量分析不足等问题（施俊 等，2020）。胎儿脑的自动测量可以实现对胎儿脑发育的定量评估（Makropoulos等，2018a），从而有助于提升医生的阅片效率及诊断的准确性。实现自动、定量和精确地分析胎儿脑磁共振（magnetic resonance， MR）图像依赖于可靠的图像分割。如图1所示，胎儿脑MR图像分割主要包括脑实质提取（brain parenchyma extraction）、组织分割（tissue segmentation）及病灶分割（lesion segmentation）（Olshaker等，2018）。其中，脑实质提取又分为大、小脑提取，脑组织分割则将脑实质中的脑脊液（cerebrospinal fluid，CSF）、灰质（gray matter，GM）、白质（white matter，WM）等分割出来，而病灶则包括出血、脑室增大等。最后，结合组织/病灶分割情况，医生或专业人员判断胎儿脑的正常与否和缺陷所在。10.11834/jig.230321送排稿.F001图1胎儿脑MR图像分割方法流程图Fig.1Flow chart of fetal brain segmentation method虽然成人及婴幼儿脑图像分割方法已经得到了广泛关注与快速发展，但相关技术与方法往往又不适合直接应用于胎儿脑图像中。主要包括以下几个原因：1）图像信息复杂，结构差异较大。成人及婴幼儿图像在大、小脑提取过程中仅需要考虑脑壳及头皮的影响，而胎儿图像在提取脑实质过程中，还需要去除图像中孕妇母体及其他身体组织的影响。如图2所示，以MR图像为例，图2（a）显示的是胎儿MR图像，孕妇母体中部分组织由于具有相似结构或灰度范围，对胎儿脑实质提取的准确性产生较大的影响。图2（c）是新生儿颅脑（Li等，2019），其在提取过程中仅会受到脑壳及头皮的干扰。10.11834/jig.230321送排稿.F002图2胎儿/新生儿颅脑MR图像对比（Chen等，2021a）Fig.2Comparison of fetal and neonatal brain MR images（Chen et al.，2021a）（（a） fetal brain；（b）enlarged image of （a）；（c）neonatal brain）2）图像质量差。MR图像在成像过程中，由于胎儿脑体积小，同时还伴有神经元细胞的移位变化及白质的髓鞘化表现，神经元细胞从生发基质向灰白质移行的过程中，灰白质信号表现相似，导致图像对比度较低（Gu等，2019）；此外，由于扫描时间短，没有进行类似婴儿一样的镇静过程，图像的对比噪声比（contrast-to-noise ratio，CNR）相对更低，胎儿MR图像在采集过程中也极易因为胎儿活动出现运动伪影、组织边界模糊等问题，如图3所示。因此，胎儿MR图像往往质量较差，在很大程度上影响了脑实质提取及组织分割的准确性。10.11834/jig.230321送排稿.F003图3胎儿MR图像前后帧颅脑错位及图像降质（Chen等，2021a）Fig.3Craniocerebral misalignment and image degradation in consecutive frames of fetal MR images（Chen et al.，2021a）3）胎儿脑发育快速，结构变化大。胎儿脑是一个快速成长中的脑，其大小与形状的变化情况比整个生命周期中的其他时刻都要明显。图4为美国哈佛大学计算放射学实验室胎儿脑图谱（computational radiology laboratory fetal brain atlas，CRL）显示的21～36孕周胎儿脑发育过程（Gholipour等，2017）。从图中可以看出，胎儿脑大小、形状及发育中的灰白质的灰度在短时间内发生快速变化。结构问题及上文提到的胎儿MR图像中极易存在的噪声、伪影等降质因素进一步影响了胎儿脑实质提取、组织/病灶分割的准确性。此外，小孕周时胎儿脑内脑脊液含量较多，也对胎儿脑的提取造成困难。10.11834/jig.230321送排稿.F004图4不同孕周的胎儿脑图谱（Gholipour等，2017）Fig.4Fetal brain atlases with different gestational weeks （Gholipour et al.，2017）经过数十年的发展，医学图像分割方法已经得到了广泛的应用，尤其是随着深度学习方法在医学领域的应用，许多基于深度学习的医学图像分割方法得到了广泛关注与快速发展（Litjens等，2017；Shen等，2017；施俊 等，2020）。在婴幼儿脑图像研究方面，Devi等人（2015）对新生儿大脑MR图像分割方法进行综述，并将其分为脑实质分割及脑组织分割两个方面。Li等人（2019）对婴儿大脑MR图像分割进行总结与分析。张航等人（2020）从基本思想、网络架构、性能及优缺点4个方面对基于深度学习的等强度婴儿脑MR图像分割方法进行了系统性总结。Makropoulos等人（2018a）对胎儿及新生儿脑MR图像分割进行了综述，其中针对胎儿脑图像的分割主要分为脑实质提取及脑组织分割两个方面，由于此前几乎没有基于深度学习方法的应用，该综述在针对胎儿脑图像分割的方法细分中并未提及深度学习相关方法。Pishghadam等人（2016）则仅针对胎儿MR图像中的脑实质提取方法进行了综述。本文针对胎儿脑MR图像分割方法进行综述，包括胎儿脑实质提取、组织分割及病灶分割。首先，对胎儿脑MR图像的主要公开图谱/数据集进行详细说明；接着，对脑实质提取、组织分割和病灶分割方法进行分析；最后，讨论了当前研究的局限性，并提出未来的研究方向。1　胎儿脑图谱及数据集不同于成人及婴幼儿脑图像，胎儿脑MR图像数据相对较少。现有的胎儿脑MR图像共包括4个脑图谱及3个数据集，分别是：胎儿脑时空图谱（spatiotemporal atlas of the fetal brain，SAFB）（Habas等，2010a）、高清时空图谱（high-definition spatio-temporal atlas，HDSTA）（Serag等，2012b）、CRL胎儿脑图谱（Gholipour等，2017）、脊柱裂图谱（spina bifida aperta atlas，SBA）（Fidon等，2022）、发展人类连接组计划（the developing human connectome project，dHCP）（Makropoulos等，2018b）、胎儿组织标注数据集（fetal tissue annotation datasets，FeTA）（Payette等，2023）以及胎儿脑磁共振采集数字模型（fetal brain magnetic resonance acquisition numerical phantom，FaBiAN）（Lajous等，2022）。图5展示其中3个脑图谱及1个数据集的胎儿脑MR图像轴状面、矢状面和冠状面3个视图的差异情况。表1列出了7个公开可用的胎儿脑图谱/数据集的详细信息，其中，GAs指gestational ages，TR指repetition time，TE指echo time。10.11834/jig.230321送排稿.F005图5不同图谱/数据集的胎儿脑MR图像Fig.5Fetal brain MR images from different atlas/datasets10.11834/jig.230321送排稿.T001表1公开的胎儿脑MR图谱/数据集Table 1Publicly available fetal brain MR atlas and datasets名称年份对象模态分割标签图像采集参数链接图谱SAFB（Habas等，2010a）2010GAs:20.57～27.86周40例正常胎儿脑T2w5类：灰质、白质、生发基质、脑室和非脑结构1.5 T;TR = 4 500 ms;TE = 91 mshttp://depts.washington.edu/bicg/research/fba.phpHDSTA（Serag等，2012b）2012GAs: 21.7～38.7周80例正常胎儿脑T2w4类：大脑半球、脑室、皮层和脑脊液1.5 T;TR = 15 000 ms;TE = 160 mshttps://braindevelopment.org/brainatlases/fetal-brain-atlases/fetal-brain-atlasserag/CRL（Gholipour等，2017）2017GAs:19～39周81例正常胎儿脑用于构建图谱，另有7例用于测试T2w灰质、白质、皮层下灰质结构、脑脊液、侧脑室、脑干和小脑等1.5 T/3 T;TR = 1 400～2 000 ms; TE =100/120 mshttp://crl.med.harvard.edu/research/fetal_brain_atlas/SBA（Fidon等，2022）2021GAs:21～35周90例患病胎儿脑T2w8类：白质、脑室系统、小脑、外脑脊液、皮层灰质、深层灰质、脑干和胼胝体1.5 T;TR = 1 000 ms;TE = 133 mshttps://www.synapse.org/#!Synapse:syn25910198数据集dHCP（Makropoulos等，2018b）2018GAs:20～45周800多例新生儿脑、300多例胎儿脑，均为正常T1w/T2w9类：白质、海马体、皮层灰质、深层灰质、脑脊液、脑室、小脑、脑干、背景3 T;T2w: TR = 12 s;TE = 156 ms;T1w:TR = 4.8 s;TE = 8.7 mshttp://www.developingconnectome.org/FeTA（Payette等，2023）2023GAs:20～33周120例胎儿脑（含患病胎儿）T2w7类：白质、脑室、小脑、外脑脊液、灰质、深层灰质和脑干1.5 T/3 T;TR = 2 000～3 500 ms;TE = 120 ms（最小）https://www.synapse.org/#!Synapse:syn25649159/wiki/610007FaBiAN（Lajous等，2022）2022HASTE: GAs:21～33周13例正常胎儿脑SSFSE: GAs:21～35周13例正常胎儿脑和2例轻度脑室增大胎儿脑T2w-HASTE: 1.5 T；TR = 1 200 ms;TE = 90 ms;SSFSE: 1.5 T/3 T；TR = 3 000～3 200 ms; TE =116.032～124.08 mshttps://zenodo.org/record/6477946#.Y7rhZP5By3C注：“-”表示相应文献未提供对应信息。1.1　胎儿脑图谱SAFB使用西门子1.5 T（Tesla）扫描设备对40例胎龄为20.57～27.86孕周且脑发育正常的胎儿进行MR成像。对于每个受试者，在轴状面、矢状面和冠状面获取有关胎儿脑的多个T2加权（T2-weighted，T2w）单次激发快速自旋回波（single shot fast spin echo，SSFSE）图像堆栈。采集得到的图像首先使用切片交叉运动校正（slice intersection motion correction，SIMC）技术对图像堆栈进行配准（Kim等，2010），以消除胎儿运动（胎动）的影响，并重建分辨率为0.5 mm的各向同性胎儿脑3D图像。重建后的MR图像手工分割为灰质、白质、生发基质（germinal matrix，GMAT）、脑室（ventricles，Vent）和非脑结构（non-brain structures）区域，并利用人工标注进行组织概率图的分组配准，随后模拟了胎龄对胎儿脑的灰质、白质、生发基质和脑室的影响。同时，以类似的方式创建了MR灰度、形状和全局尺度变化的时空模型，从而构建出完整的胎儿脑解剖结构的4D图谱。该图谱能正确捕捉胎儿脑解剖结构中与发育相关的变化，因此，可用于改进基于图谱的胎儿脑MR图像组织自动分割方法（Habas等，2010a）。HDSTA对80例胎龄为21.7～38.7孕周且脑外观正常的受试者使用飞利浦1.5 T Achieva 设备，获得T2w SSFSE扫描图像。对于每个受试者，在轴状面、矢状面和冠状面获取多个图像堆栈，并使用Jiang等人（2007）所述的切片到体积配准（slice-to-volume registration，SVR）方法，得到分辨率为1.18 mm的各向同性3D图像。针对得到的图像，首先用脑提取工具（Smith，2002）去除非脑组织，并使用Tustison等人（2010）的N4（improved nonparametric nonuniform intensity normalization）算法进行偏置场校正；接着，在预处理的基础上使用自适应核（Serag等，2012a）及成对图像配准将图像划分到不同的时间间隔组；随后，使用来自所选年龄邻域的加权来构建任何给定年龄的平均大脑模板。该图谱由医学专家手动分割为4个组织类型，包括：大脑半球（brain hemispheres）、脑室、皮层（cortex）和脑脊液（Serag等，2012b）。CRL胎儿脑图谱由美国波士顿儿童医院的计算放射学实验室创建，对81例胎龄为19～39孕周的健康胎儿使用西门子3 T Skyra/Trio MRI扫描设备，或者使用飞利浦1.5 T Achieva 扫描设备，重复采用T2w SSFSE扫描得到胎儿MRI数据。另有一组数据作为测试集，基于7例胎龄介于23～38孕周的健康胎儿扫描得到。针对该组图像的预处理，首先将MRI数据通过层间运动校正和超分辨率重建（Gholipour等，2010）迭代得到3D图像；然后，通过监督水平集分割（Yushkevich等，2006）和人工修正得到胎儿脑掩膜，并经过N4算法和灰度归一化后得到重建图像。在上述图像预处理的基础上，将空间对称微分同胚形变配准（Avants等，2008）与年龄中的核回归相结合对图像进行配准，构建胎儿脑发育的无偏4D图谱。图谱带有脑组织和结构标记，包括皮层灰质（cortical gray matter，CGM）、白质、皮层下灰质结构（subcortical gray matter structures）、脑脊液、侧脑室（lateral ventricles）、脑干（brainstem，BS）和小脑（cerebellum，Cer）等。该图谱可作为解剖学、配准和分割的参考，以帮助大脑连通性分析及早期大脑生长的分组和纵向分析（Gholipour等，2017）。开放性脊柱裂（spina bifida aperta，SBA）在怀孕第1个月内胎儿脊柱未能闭合时发生，是一种出生缺陷。SBA会影响胎儿脑的发育，导致终生残疾，如认知障碍、行动困难和寿命缩短。因此，开发可视化SBA对于改善先天性SBA患儿的诊断和治疗至关重要。比利时鲁汶大学医院和英国伦敦大学医院提供数据并创建了SBA图谱，该图谱由90例胎龄为21～35孕周的SBA胎儿在1.5 T扫描设备上采集至少3个正交T2w半傅里叶单次激发快速自旋回波（half-Fourier acquisition single-shot turbo spin-echo，HASTE）序列得到。在图像处理部分，首先使用Ranzini等人（2021）基于深度学习的方法自动提取2D胎儿MR图像中的胎儿脑；然后，使用Ebner等人（2020）的超分辨率重建算法获得胎儿脑各向同性和无运动的3D图像；接着，对3D图像提出7个解剖标志的标注协议，以提高图像配准步骤的准确性和鲁棒性；最后，基于解剖协议提出一种加权广义普氏分析（generalized procrustes analysis，GPA）（Gower，1975）方法实现对图谱的无偏初始化，并根据图像灰度和解剖结构采用非线性配准优化图谱。该图谱采用半自动分割方法将胎儿脑图谱分为8种组织类型，是第1个针对SBA的时空胎儿脑MR图谱，为将来SBA胎儿脑3D MR图像自动分割方法的研究提供支持（Fidon等，2022）。1.2　胎儿脑数据集dHCP由英国伦敦国王学院、伦敦帝国理工学院和牛津大学共同创建。对20～45周受试者使用飞利浦3 T扫描设备采集数据（Hughes等，2017）。为了减少运动的影响，使用快速自旋回波（fast spin echo，FSE）序列获得T2w图像，该序列在两个2D切片堆栈（轴状面和矢状面）中获取，同时，使用具有相同分辨率的反转恢复（inversion recovery，IR）FSE序列获取T1加权（T1-weighted，T1w）图像。结合Cordero-Grande等人（2018）和Kuklisova-Murgasova等人（2012）提出的运动校正和超分辨率重建技术，得到分辨率为0.5 mm的各向同性3D图像。得到3D图像后，首先对T1w和T2w图像使用基于期望最大化的发育大脑区域标注（developing brain region annotation with expectation-maximization，Draw-EM）算法（Makropoulos等，2014）将大脑图像分割成9种组织类型；接着，进行皮层白质及软膜掩膜提取（Schuh等，2017），膨胀并投影到球体（Alvarez等，2002；Fischl等，1999）；最后，定义皮层特征描述符，包括皮层几何形状和髓鞘形成的描述符（Glasser等，2013）。该项目成功扫描了800多个新生儿大脑和300多个胎儿脑，旨在构建一个20～45周的人脑连接的动态图谱并尝试创建早期生命的4D连接组（Makropoulos等，2018b）。瑞士苏黎世大学儿童医院和苏黎世大学联合领导创建的FeTA是第1个公开发布的胎儿脑数据集。该数据集对120例20～33孕周的受试者使用通用1.5 T或3 T全身扫描设备（型号为Signa Discovery MR450/MR750）获得正常与患病胎儿的T2w SSFSE低分辨率扫描图像，以胎儿脑为标准，在轴状面、矢状面和冠状面中选择一个维度的高质量图像，再使用超分辨率方法进行胎儿脑MR图像高分辨率重建。其中，60例数据的大脑掩膜通过MeVisLab模块（Deman等，2020）或人工标注的方法获得，再使用mialSR（MIAL super-resolution）方法重建（Tourbier等，2023）；其余60例使用Simple IRTK（simple image registration toolkit）方法重建（Kuklisova-Murgasova等，2012），最终得到分辨率为0.5 mm的各向同性胎儿脑MR图像。随后，对每个重建图像进行直方图匹配（Kikinis等，2014），并将图像填充成大小为256 × 256 × 256的三维图像。最后，使用Fedorov等人（2012）和Kikinis等人（2014）方法中的工具将每个重建图像分割为7类不同的脑组织。该数据集旨在作为自动多分类语义或实例分割算法的训练数据集，并在2022年医学图像计算和计算机辅助干预国际会议（medical image computing and computer assisted intervention，MICCAI）作为分割挑战赛数据集（Payette等，2023），从而评估不同的自动胎儿脑分割算法的性能（Payette等，2023）。FaBiAN是一种胎儿脑磁共振采集数字模型，模拟了临床T2w 胎儿脑的FSE序列。该数据集通过对13例21～33孕周的受试者使用西门子1.5 T扫描设备进行采集，获取正常胎儿HASTE图像；通过对15例21～35孕周的受试者使用1.5 T或3 T临床GE全身扫描仪（型号为Signa Discovery MR450/MR750）进行采集，获取13例正常胎儿脑和2例轻度脑室增大胎儿脑SSFSE图像。在得到的数据上进行以下操作：首先，将脑组织分为白质、灰质和脑脊液等高分辨率图像中的解剖结构并将其转换为相应的MR对比度信息，以获得1.5 T或3 T时胎儿脑的参考T1w和T2w图像；再使用扩展相位图（extended phase graph，EPG）算法（Hennig等，2004）模拟每个大脑体素中的T2w随时间的衰减；随后，对运动胎儿模拟图像的傅里叶域进行采样；最后，通过2D傅里叶反变换恢复胎儿脑的HASTE和SSFSE图像。该数据集支持用于胎儿脑组织分割的数据密集型深度学习方法，丰富了临床数据集（Lajous等，2022）。本节介绍了7个公开可用的胎儿脑MR图谱/数据集。早期胎儿脑图谱中数据量较少，不利于基于监督学习的方法研究。随着FeTA，dHCP等数据集的公开，胎儿脑领域可用数据集已经有所增加，因此，许多学者也将深度学习应用于胎儿脑图像的分割当中，并取得了一定的成果。然而，不同数据集之间由于采集设备、参数和预处理方法的不同，数据差异较大，尤其与医院实际采集得到的数据有较大差异，也在一定程度上降低了不同数据集的可用性及跨数据集的使用。2　图像分割医学图像分割对于组织/病灶的定量分析、制定治疗计划和监测疾病进展具有重要意义。胎儿脑作为一个快速成长中的脑，其大小与形状的变化情况比整个生命周期中的其他时期都要明显。因此，自动、定量和精确地分析胎儿脑MR图像具有重要的临床意义，而上述分析又依赖于图像自动分割技术。胎儿脑MR图像分割主要包括胎儿脑实质（简称胎儿脑）提取、组织分割及病灶分割（Olshaker等，2018），其中胎儿脑提取主要包括大、小脑提取，而组织/病灶分割则进一步将大脑中的脑脊液、灰质、白质、脑室及病灶等提取出来，从而结合组织/病灶分割情况，判断胎儿脑的正常与否以及缺陷所在。以下分别针对胎儿脑提取、组织分割及病灶分割进行说明与分析。2.1　脑实质提取2.1.1　方法概述胎儿脑提取是胎儿脑图像分析的先决条件，有利于准确观测胎儿脑形态结构，监测和表征胎儿脑发育，便于临床早期诊断和干预治疗（Rampun等，2020）。尽管可通过人工分割实现大脑提取，但由于耗时长且需要一定的医学知识，通过人工分割实现大规模的胎儿脑提取并不现实。虽然目前已有针对成人和婴儿MR图像大脑提取的公开软件且精度较高（Shi等，2011；Smith，2002），但正如引言中所述，胎儿MR图像中存在母体组织的干扰，图像对比度低，以及胎儿脑大小及结构与成人/婴儿MR图像有较大差异的问题，如图2所示。因此，这些工具并不适用于胎儿MR图像的大脑提取（Tourbier等，2015）。此外，由于孕妇母体扫描过程通常需要较长时间，在图像采集过程中，孕妇的呼吸或者不可预测的胎动都可能导致运动伪影（Lou等，2019），引起图像质量下降。因此，胎儿脑的提取是极具挑战性的。学者们针对胎儿脑提取进行了一系列的研究工作，总体可归类为以下4种技术：阈值分割技术、区域生长技术、图谱融合技术和分类技术。1）阈值分割技术（Al-Attas和El-Zaart，2007）是通过设置不同的阈值，把具有不同灰度级的图像像素点分为目标区域和背景区域等若干类，也常用于医学图像分割。Anquez等人（2009）提出了一种依赖于眼睛定位及模板匹配的胎儿脑提取方法，方法引入了二值分割法并充分利用对比度信息、形态学及生物特征等先验知识，由于胎儿眼睛有时不能完全可见，且该方法是基于胎儿MR图像没有明显胎动的假设，因此方法并不可靠。Somasundaram等人（2016）使用重心为中心画圆以去除周围母体组织得到感兴趣区域（region of interest，ROI），然后通过阈值法、形态学操作和连通域分析对胎儿脑进行提取，该技术的局限性是当母体组织和胎儿颅骨的灰度相似时方法的准确性不足。由于胎儿脑不同组织对比度低，部分切片中的皮层和脑脊液灰度分布相似，如图6所示，不能仅用传统分割算法对所有切片的胎儿脑进行分割，Gayathri等人（2020）提出一种融合各向异性扩散、形态学滤波和改进最大熵阈值的自动胎儿脑提取方法。10.11834/jig.230321送排稿.F006图6胎儿脑脊液和皮层灰度相似（Gayathri等，2020）Fig.6Intensity similarity of fetal cerebrospinal fluid and cortex（Gayathri et al.，2020）2）区域生长技术（Adams和Bischof，1994）是指从某个像素出发，按照一定的准则，逐步加入邻近像素，当满足一定条件时，区域生长终止。Pishghadam等人（2019）同样利用眼睛来定位胎儿脑，采用变分水平集方法提取胎儿脑，提取流程如图7。该方法同样对运动伪影非常敏感。Durgadevi和Vijayalakshmi（2021）利用种子区域生长分割技术，首先对图像进行了表征，然后对局部图像进行了自动分割，并对分割结果进行了讨论。10.11834/jig.230321送排稿.F007图7提出的胎儿脑提取流程图（Durgadevi和Vijayalakshmi，2021）Fig7Proposed flow chart of fetal brain extraction （Durgadevi and Vijayalakshmi，2021）3）图谱融合技术是根据对齐图谱的标签来分割图像。Taleb等人（2013）提出一种基于年龄相关模板/图谱匹配的方法来解决具有胎动及分辨率低的MR图像胎儿脑自动提取问题，方法首先在正交获取的图像（轴状面、矢状面和冠状面）中定义一个ROI，然后将ROI配准到一个特定年龄的胎儿脑模板中。Wright等人（2014）采用Eskildsen等人（2012）提出的基于分块的大脑分割方法，从胎儿MR图像中提取大脑，该方法是通过Coupé等人（2011）提出的基于分块的技术对成人MR图像大脑提取的多分辨率扩展。Tourbier等人（2015）采用基于归一化相关系数的全局加权投票法（global weighted voting，GWV）来实现多图谱融合（multiple atlas fusion，MAF）策略，从而证明在胎儿脑分割中基于MAF策略的方法性能明显优于其他方法。图谱融合技术对具有运动伪影的胎儿图像的错误配准较敏感。为了缓解这一问题，Wright等人（2014）在脑提取之前采用SVR技术。4）基于分类技术的方法首先在图谱/数据集上训练分类器，以学习基于图像特征的标签分配，然后，分类器为测试图像中的像素/体素贴上标签。本文将应用于胎儿脑提取领域的分类技术分为基于传统机器学习的分类技术与基于深度学习的分类技术。（1）基于传统机器学习的分类技术。Ison等人（2012）提出了一种从原始胎儿MR图像中提取和定位大脑的框架，该框架首先通过二相随机森林分类器抑制母体组织的影响，找出大脑内组织质心的可能位置，接着使用高阶马尔可夫随机场预测大脑中心和ROI，结果表明全自动胎儿脑提取是可行的。为解决由于胎动而错位的2D图像堆栈的胎儿脑提取问题，Keraudren等人（2014）在定位阶段使用词袋模型（bag-of-words， BOW）（Csurka等，2004）及最大稳定极值区域（maximally stable extremal regions，MSER）技术查找胎儿头部的所有候选对象，并结合胎龄等先验知识根据大小对所有候选对象进行筛选，提取候选对象的尺度不变特征变换（scale-invariant feature transform，SIFT）特征，然后使用支持向量机进行分类，在粗分割的基础上基于随机森林与条件随机场（conditional random field，CRF）实现大脑提取。（2）基于深度学习的分类技术。随着深度学习的发展，基于深度学习的分类技术大量用于胎儿脑提取领域。而基于深度学习的分类技术大多使用基于编码器—解码器结构的U-Net网络。本文将基于深度学习的分类技术分为基于U-Net（Ronneberger等，2015）及其改进网络的方法与基于其他卷积神经网络（convolutional neural network， CNN）的方法。为了提高提取精度，减少假阳性，许多方法使用多阶段提取框架，如先定位到大脑周围区域，再进行提取等，如图8所示。因此，本文又将胎儿脑提取细分为单阶段和多阶段策略。10.11834/jig.230321送排稿.F008图8胎儿脑定位—提取框架Fig.8A framework for fetal brain localization and extraction①单阶段U-Net。由于层间错位和胎动引起的伪影会导致3D图像中产生不相关的结构边界，Salehi等人（2018）基于2D U-Net和自动上下文开发了一种深度全卷积神经网络（fully convolutional network，FCN），用于提取胎儿脑，该网络具有较高的实时性。Gu等人（2021）提出基于注意力的综合卷积神经网络（comprehensive attention-based convolutional neural networks，CA-Net），该网络由联合空间注意力模块、通道注意力模块及尺度注意力模块组成，在胎儿脑提取中比原始U-Net具有更高的鲁棒性。Rampun等人（2021）提出了一种融合U-Net和全面嵌套边缘检测（holistically nested edge detection，HED）结构（Xie和Tu，2015）的SIMOU-Net（single input multi-output U-Net），该网络将下采样阶段的局部信息、上采样阶段的上下文信息及多尺度、多层次的上下文信息结合在一起，在正常图像和运动伪影图像上都获得较高的胎儿脑提取准确性。Li等人（2021a）提出基于U-Net的胎儿脑自动提取方法，并结合超分辨率重建得到胎儿脑3D图像。de Asis-Cruz等人（2022）提出了实时性较高的端到端生成对抗网络（generative adversarial network，GAN）用于胎儿脑分割，该网络由两个CNN组成：基于3D U-Net的生成器和基于全卷积解码器网络的鉴别器。②多阶段U-Net。为了从带有运动伪影的堆栈中提取胎儿脑，同时，针对U-Net经过几层下采样后，特征图的维数逐渐降低并变得比标签小，从而导致反向传播无效、收敛速度减慢及模型识别能力降低的问题，Lou等人（2019）对U-Net做出了改进，提出一种基于深度监督的多阶段2D U-Net实现胎儿脑提取。Dudovitch等人（2020）提出端到端自动分割胎儿结构的方法，且只使用少量标签数据训练，方法主要包括3个阶段：采用3D U-Net进行两步自动结构分割、分割误差估计及分割误差修正。Chen等人（2021a）提出一种针对3D图像的胎儿脑多阶段提取框架，该框架首先结合连接组件标记算法和质心法的全局定位网络实现胎儿脑的定位并得到粗概率图，接着采用局部细化网络对定位后的胎儿脑进行精细分割得到细概率图，最后将前两步得出的概率图输入到融合网络中得到最终的提取结果，虽然该方法在测试结果中取得了较高的精度，但对具有伪影的图像仍不具有鲁棒性。Zhang等人（2021）提出两阶段置信感知级联框架，首先分割大脑区域并对3D图像中的每个切片产生分割置信度，然后，利用具有高置信度分数的图像来指导低置信度图像的大脑分割，特别是在大脑中的模糊边界区域。此外，该方法还提出了一种切片一致性损失函数来增强相邻切片分割结果之间的关系。Liao等人（2020）对于严重的运动伪影问题，使用U-Net改进网络并联合图像质量评价的胎儿脑提取多阶段深度学习模型，模型在胎儿脑检测和特征提取后，同时进行质量评价和胎儿脑提取。③单阶段其他卷积神经网络。Rajchl等人（2017）利用CNN建模扩展了GrabCut（Rother等，2004）的思想提出了DeepCut，该方法对一种定义在密集连接的条件随机场上的迭代能量最小化问题进行建模，并使用它来更新一个CNN模型的参数。Wang等人（2020）提出了一种不确定性引导的交互式细化（uncertainty-guided interactive refinement，UGIR）框架来分割胎动导致的胎儿降质图像，方法首先提出一种基于分组卷积的CNN，在一次前向传递中获得具有不确定性估计的多个自动分割预测，然后引导用户只在不确定性最高的切片子集中提供交互，接着提出了一种交互水平集方法，得到初始分割的细化结果。Faghihpirayesh等人（2022）为提高实时性和准确性，提出小型CNN，将高分辨率的空间细节信息和低分辨率提取的上下文特征结合起来，并使用了多个具有跳跃连接的分支来保持高精度，同时设计了卷积和池化操作的并行组合作为下采样模块的输入，进一步减少了预测时间。为了解决由于胎动和母体呼吸导致的图像模糊和重影问题，Sun等人（2023）提出了一种用于胎儿脑提取的多尺度多层次注意力卷积神经网络（multi-scale multi-hierarchy attention convolutional neural network， MSMHA-CNN）。MSMHA-CNN采用不同局部感受野的多重卷积运算来提取胎儿脑的多尺度特征，以有效利用子宫内3D MR图像的上下文信息；同时，引入了基于通道的空间注意力结构，自适应地融合由不同卷积核大小的卷积运算得到的多尺度特征图；此外，方法采用特征金字塔结构来学习多层特征。多阶段其他卷积神经网络。Ebner等人（2020）基于P-Net的初始分割（Wang等，2018）对多个由于胎动引起错位的2D胎儿脑图像进行粗分割定位，提出一个多尺度损失函数训练P-Net实现胎儿脑的精细分割。Li等人（2020）在训练数据有限的情况下，使用一个浅层的FCN有效地进行胎儿脑定位和ROI提取，并提出一个深层多尺度FCN来提取胎儿脑，该网络将残差学习块和多尺度分割相融合来处理胎儿脑组织在妊娠周期内的巨大变化。Wu等人（2021）首先使用CNN在每个输入低分辨率图像中自动定位胎儿脑，以获得胎儿脑的初始分割，接着使用第2个CNN实现局部分割，提取胎儿脑。上述胎儿脑提取相关文献方法概述见表2。10.11834/jig.230321送排稿.T002表2胎儿脑提取方法总结Table 2Summary of fetal brain extraction methods方法维度方法归类方法简述源代码Anquez等人（2009）2D/3D阈值分割技术眼睛定位、模板匹配、二值分割法-Pishghadam等人（2019）2D区域生长技术眼睛定位、变分水平集-Taleb等人（2013）3D图谱融合技术基于特定年龄模板配准、三维一致性-Wright等人（2014）2D图谱融合技术多分辨率扩展-Tourbier等人（2015）3D图谱融合技术基于归一化相关系数的全局加权投票法-Somasundaram等人（2016）2D阈值分割技术重心定位、阈值法、形态学操作和连接域分析-Gayathri等人（2020）2D阈值分割技术各向异性扩散、形态学滤波和最大熵阈值法-Durgadevi和Vijayalakshmi（2021）2D区域生长技术种子区域生长分割技术-Ison等人（2012）2D分类技术、基于传统机器学习二相随机森林分类器、高阶马尔可夫随机场-Keraudren等人（2014）2D分类技术、基于传统机器学习最大稳定极值区域、尺度不变特征变换、随机森林、条件随机场-Salehi等人（2018）2D分类技术、基于深度学习2D U-Net、自动上下文、单阶段https://bitbucket.org/bchradiology/u-netRajchl等人（2017）3D分类技术、基于深度学习GrabCut、密集连接、条件随机场、单阶段-Lou等人（2019）2D分类技术、基于深度学习深度监督、2D U-Net、多阶段-Li等人（2020）2D分类技术、基于深度学习FCN、残差学习块、多阶段-Ebner等人（2020）2D分类技术、基于深度学习多尺度损失函数、P-Net、多阶段https://github.com/gift-surg/fetal_brain_segChen等人（2021a）3D分类技术、基于深度学习U-Net、连接组件标记、质心法、融合网络、多阶段https://github.com/JamesC0321/fetal_brain_extractionRampun等人（2021）2D分类技术、基于深度学习全面嵌套边缘检测、2D U-Net、单阶段-Li等人（2021a）2D分类技术、基于深度学习U-Net、超分辨率重建、单阶段-Zhang等人（2021）2D分类技术、基于深度学习U-Net、置信感知、切片一致性损失函数、多阶段-Gu等人（2021）2D分类技术、基于深度学习多重注意力、U-Net、单阶段https://github.com/HiLab-git/CA-NetDudovitch等人（2020）3D分类技术、基于深度学习误差估计、误差修正、3D U-Net、多阶段-Liao等人（2020）2D分类技术、基于深度学习U-Net、质量评价与提取结合、多阶段-Wang等人（2020）2D分类技术、基于深度学习CNN、交互水平集方法、单阶段https://github.com/HiLab-git/UGIRFaghihpirayesh等人（2022）2D分类技术、基于深度学习跳跃连接、卷积池化并行、单阶段https://github.com/bchimagine/fetal-brain-segmentationde Asis-Cruz等人（2022）3D分类技术、基于深度学习生成对抗网络、3D U-Net、单阶段-Wu等人（2021）2D分类技术、基于深度学习CNN、多阶段-Sun等人（2023）3D分类技术、基于深度学习CNN、多尺度多层次注意力、单阶段https://github.com/sunmoon91/MSMHA注：“-”表示相应文献未提供源代码。2.1.2　性能分析表3描述了本节胎儿脑提取主要方法的性能。所有方法均采用自有数据集进行测试。表中采用Dice系数（Dice coefficient）及豪斯多夫距离（Hausdorff distance，HD）作为胎儿脑提取的指标来评估方法性能。Dice的范围为0～1，Dice越接近1，分割效果越好；HD值越小，分割效果越好。10.11834/jig.230321送排稿.T003表3胎儿脑提取方法的性能评估Table 3Performance assessment of fetal brain extraction methods方法胎龄/周评价指标评价结果Anquez等人（2009）30～35HDHD = 3.4 mmPishghadam等人（2019）-DiceDice = 0.995 6Taleb等人（2013）---Wright等人（2014）21.7～38.9DiceDice = 0.983Tourbier等人（2015）25～36DiceDice 0.90Somasundaram等人（2016）20～36DiceDice = 0.88Gayathri等人（2020）20～36Dice，HDDice = 0.926 8；HD = 3.3 mmDurgadevi和Vijayalakshmi（2021）-DiceDice (axial) = 0.914 7；Dice (sagittal) = 0.92Ison等人（2012）18～30.2--Keraudren等人（2014）22～39DiceDice = 0.93Salehi等人（2018）22～38DiceDice = 0.965 2Rajchl等人（2017）20～30DiceDice = 0.941Lou等人（2019）-Dice，HDDice = 0.916 8；HD = 9.78 mmLi等人（2020）20～30DiceDice = 0.958Ebner等人（2020）-DiceDice = 0.938 4Chen等人（2021a）23～34Dice，HDDice = 0.958 4；HD = 7.23 mmRampun等人（2021）20～34Dice，HDDice = 0.942；HD = 7.5 mmLi等人（2021a）23～36DiceDice = 0.97Zhang等人（2021）23～34Dice，HDDice = 0.957 7；HD = 3.99 mmGu等人（2021）22～29DiceDice = 0.958 8Dudovitch等人（2020）-DiceDice = 0.96Liao等人（2020）21～36DiceDice = 0.979 9Wang等人（2020）-DiceDice = 0.948 3±0.032 2Faghihpirayes等人（2022）22～38DiceDice (normal) = 0.979 9；Dice (artifacts) = 0.840 4de Asis-Cruz等人（2022）25～39.43DiceDice = 0.973±0.013Sun等人（2023）23～34Dice，HDDice = 0.947 8±0.030 1；HD = 7.752±9.190 5Wu等人（2021）22～35--注：“-”表示相应文献未提供对应信息。2.1.3　方法总结上述方法比较时都使用自有数据集，无法进行统一的性能比较。因此，创建特定的公共数据集进行不同方法的比较成为亟待解决的问题。现有方法针对质量较好的MR图像均能取得不错的效果。但仅部分方法（Ebner等，2020；Gayathri等，2020；Ison等，2012；Keraudren等，2014；Liao等，2020；Lou等，2019；Rampun等，2021；Salehi等，2018；Sun等，2023；Taleb等，2013；Tourbier等，2015；Wang等，2020；Wright等，2014；Zhang等，2021）考虑到运动伪影、边界模糊等图像降质因素。因此，降质图像的胎儿脑提取需要进一步关注。上述基于深度学习的方法都依赖于图像的标注，而医学图像的标注过程非常困难并且需要耗费大量时间精力，尤其对于具有降质问题的图像而言，所以训练数据不足的问题仍比较严重（Li等，2020）。同时，基于深度学习的方法中，大多数多阶段策略由于引入了粗定位与精细分割这两个阶段，有助于提高胎儿脑提取的准确性。2.2　组织分割2.2.1　方法概述胎儿脑实质从母体中提取出来后可进一步进行组织分割。脑组织分割通常是指将脑实质中的灰质、白质等分割出来。如第1节所述，不同的数据集在进行胎儿脑组织分割时，脑组织分类数也有所不同，如图9所示。目前，胎儿脑组织分割主要采用图谱融合技术和分类技术，其中，分类技术又分为基于传统机器学习的方法与基于深度学习的方法。本节对胎儿脑组织分割技术进行说明。10.11834/jig.230321送排稿.F009图9胎儿脑组织分割数据集示例Fig.9Dataset example of fetal brain tissue segmentation1）图谱融合技术。Habas等人（2008）提出使用图谱的期望最大化（expectation maximization，EM）模型并进行偏差估计，将胎儿脑分割为灰质、白质、生发基质和脑脊液。基于之前的工作，Habas等人（2009）将解剖约束作为先验知识加入到传统的基于图谱的EM模型中。随后，Habas等人（2010b）结合图谱并引入了简化的隐马尔可夫随机场（Markov random field，MRF）模型以消除被其他组织体素包围的孤立体素。Dittrich等人（2011）提出了基于单个标注示例的胎儿脑结构时空分组协同分割方法，该方法基于一种时空隐图谱，使用包含图像似然项、时空项、长度项和面积项的概率水平集公式实现建模分割。Serag等人（2012b）提出了一种基于图谱的脑组织分割方法，其中胎儿脑扫描图像被分割为皮层、脑室和大脑半球。Wright等人（2014）提出的基于图谱的组织分割方法采用Ledig等人（2012）为新生儿图像开发的期望最大化马尔可夫随机场（expectation maximization markov random field，EM-MRF）方法分割胎儿脑组织。Gholipour等人（2017）通过概率标签融合（Akhondi-Asl和Warfield，2013）的多图谱分割方法构建发育中胎儿脑的4D图谱。2）分类技术。（1）基于传统机器学习的分类技术。Bach Cuadra等人（2009）提出一种基于EM-MRF组织分割方法，针对胎儿脑组织中明显的灰度变化提出了一种由7个高斯分布组成的模型和一个三阶段的MRF模型。Benkarim等人（2020）提出结合联合标签融合得到的初始概率图和基于支持向量机的区域学习方法，从重建的高分辨率图像中分割出主要组织。（2）基于深度学习的分类技术。许多基于深度学习的分类技术大多以U-Net作为基础网络进行改进及应用。因此，本文将基于深度学习的方法细分为基于U-Net及其改进网络的方法、基于其他神经网络方法和基于Transformer的方法。①U-Net及其改进网络。Rampun等人（2020）在U-Net基础上通过加深卷积层、引入更加鲁棒的激活函数与优化函数实现对网络的改进，该方法在不丢失空间信息的情况下可以在不同的分辨率下捕获更精细的纹理信息，虽然取得了较好的分割结果，但位于大脑边缘区域的分割结果仍有待进一步提升。Khalili等人（2019）引入灰度不均匀的数据增强方式，使训练数据适用于具有灰度不均匀问题的降质图像，并引入U-Net实现脑组织分割，从而证明了引入灰度不均匀的增强能够弥补降质训练数据的不足。Payette等人（2020）提出在超分辨重建后的图像上使用多分类U-Net的方法来分割胎儿脑组织。Zhao等人（2022）采用3D U-Net及参数化整流线性单元激活函数优化网络性能以实现胎儿脑组织分割。与基于图谱的方法相比，3D U-Net具有更高的分割精度，但针对不同扫描设备得到的图像的分割性能还有待进一步评估。Gangopadhyay等人（2022）提出了多任务单编码器U-Net，不仅将胎儿脑分割为7种组织，同时能够预测胎儿脑的类型及胎龄。de Dumast等人（2022）为解决现有带标注的胎儿脑数据集有限的问题，使用FaBiAN来模拟各种真实的胎儿脑MR图像及其类别标签，再使用2D U-Net进行组织分割。Peng等人（2023）提出了基于nnU-Net（no-new U-Net）的胎儿脑组织分割方法，在编码器中采用残差结构增强信息在浅层的传播，并引入深监督机制加速网络的有效训练，方法在FeTA挑战赛中排名第3。②其他卷积神经网络。Dittrich等人（2014）提出了一种基于时空隐图谱的半监督分割方法，由于该方法是根据3组正交切片（冠状面、矢状面、轴向面）重建的3D图像构建图谱，因此重建算法引入的降质因素也包含在分割结果中。Dou等人（2021）在FCN架构中加入深度注意力模块，引入了深监督及残差连接，缓解了因胎儿脑结构的变化和严重的部分容积效应而难以提取多尺度上下文信息的问题，虽然该方法取得了较好的结果，但仍丢失了胎儿脑皮层细微边界的细节。Fidon等人（2021a）将部分监督学习应用于胎儿脑的3D MR图像分割，提出了标签集损失函数，较好地处理部分分割图像。Karimi等人（2023）提出一种新的标签平滑流程和损失函数来训练一个基于深度学习且具有噪声平滑功能的分割模型，该方法适当考虑了组织边界的不确定性，取得了较好的分割结果。Li等人（2021b）提出由分割子网（segmentation subnet，SS）、图谱生成子网（atlas generation subnet，AGS）和微分同胚配准子网（diffeomorphic registration subnet，DRS）组成的条件图谱生成和大脑分割网络（conditional atlas generation and brain segmentation network，CAS-Net），网络可同时生成条件地图集和分割脑组织。针对运动或部分容积效应引起的灰度不均匀，CAS-Net生成的条件地图集可提供分割连通性的解剖先验，从而提高了运动伪影图像分割的准确性。Mazher等人（2022）提出了一种端到端的胎儿脑多组织分割模型IRMMNET（inception residual multi-scale multi-view network），模型包含初始残差编码器块和密集空间注意力（dense spatial attention，DSA）模块，便于从多视图MR图像中提取多尺度胎儿脑组织相关信息，增强了特征重用，大大减少了分割模型的参数数量。③基于Transformer的方法。如上所述，基于CNN的分割模型在医学图像分析中占据主导地位，并取得了显著的成果（Chen等，2018）。CNN利用卷积核来执行卷积运算，提取局部特征，然而，基于CNN的模型仍很难从胎儿脑MR图像中精确分割胎儿脑组织，主要问题之一是卷积运算的局部性导致模型难以提取长距离语义信息（Chen等，2021b）。Transformer（Vaswani等，2017）凭借自注意力机制弥补CNN分割模型的不足，在自然语言处理领域取得了巨大成功，并已应用于胎儿脑MR图像分割。Lee等人（2022）提出了一种轻量级3D UX-Net，采用基于CNN的分层Transformer实现鲁棒的组织分割。Wen等人（2023）提出了一种新型非平衡加权U-Net，该方法将基于移位窗口和外部注意力（shifted window and external attentions，ExSwin）的Transformer模块与U-Net结合，通过有效捕获不同样本之间的长距离依赖关系和相关性来解决由于训练数据分布不平衡产生的结果偏差。Huang等人（2023）提出基于CNN的胎儿脑组织分割方法，将上下文转换块（contextual Transformer block，CoT-Block）应用于CNN中，以指导动态注意力矩阵的学习并增强图像特征提取，并在解码器的最后一层引入了混合空洞卷积模块，有效地提取胎儿脑MR图像中的全局上下文信息。胎儿脑组织分割相关文献方法概述见表4。10.11834/jig.230321送排稿.T004表4胎儿脑组织分割方法总结Table 4Summary of fetal brain tissue segmentation methods文献维度方法归类方法简述源代码Habas等人（2008）3D图谱融合技术期望最大化、偏差估计-Habas等人（2009）3D图谱融合技术解剖约束、期望最大化-Habas等人（2010b）3D图谱融合技术简化的隐马尔可夫随机场-Dittrich等人（2011）3D图谱融合技术时空隐图谱、图像似然项、时空项、长度项和面积项的概率水平集公式-Wright等人（2014）3D图谱融合技术期望最大化马尔可夫随机场-Bach Cuadra等人（2009）3D分类技术、基于传统机器学习高斯分布、马尔可夫随机场-Serag等人（2012b）4D图谱融合技术4D多通道图谱-Gholipour等人（2017）4D图谱融合技术概率标签融合-Benkarim等人（2020）3D图谱融合技术、基于传统机器学习多图谱融合、支持向量机-Rampun等人（2020）2D分类技术、基于深度学习U-Net、加深卷积层-Khalili等人（2019）2D分类技术、基于深度学习数据增强、U-Net-Payette等人（2020）2D分类技术、基于深度学习多分类U-Net-Zhao等人（2022）3D分类技术、基于深度学习3D U-Net、参数化整流线性单元激活函数-Dittrich等人（2014）3D分类技术、基于深度学习半监督学习-Dou等人（2021）3D分类技术、基于深度学习FCN、深度注意力https://github.com/bchimagine,https://github.com/wulalago/FetalCPSegFidon等人（2021a）3D分类技术、基于深度学习监督学习、标签集损失函数https://github.com/LucasFidon/label-set-loss-functionsKarimi等人（2023）3D分类技术、基于深度学习标签平滑函数、损失函数https://github.com/bchimagineLi等人（2021b）2D分类技术、基于深度学习分割子网、图谱生成子网、微分同胚配准子网-Peng等人（2023）3D分类技术、基于深度学习nnU-Net、残差结构https://github.com/MIC-DKFZ/nnUNetGangopadhyay等人（2022）2D分类技术、基于深度学习U-Net、多任务单编码器https://github.com/tg2001/MTSE-U-Netde Dumast等人（2022）2D分类技术、基于深度学习2D U-Net、FaBiAN模拟数据-Mazher等人（2022）2D分类技术、基于深度学习残差编码器、密集空间注意力https://github.com/Moona-azher/Fetal-Segmentation-Gestational-Age-Prediction-Deep-LearningHuang等人（2023）2D分类技术、基于深度学习CNN、上下文转换块、混合空洞卷积模块-Lee等人（2022）3D分类技术、基于深度学习Transformer、3D UX Nethttps://github.com/MASILab/3DUX-NetWen等人（2023）2D分类技术、基于深度学习Transformer、非平衡加权U-Net-注：“-”表示相应文献未提供源代码。2.2.2　性能分析表5描述了以上胎儿脑图像组织分割方法的性能。同样，将Dice相似系数和HD作为图像组织分割的指标来评估方法性能。其中，ThalL指left thalamus；ThalR指right thalamus；CC指corpus callosum；VentL指left lateral ventricle；VentR指right lateral ventricle；CPL指left cortical plate； CPR指right cortical plate；WML指left white matter；WMR指right white matter；BGT指basal ganglia and thalami；vCSF指ventricular cerebrospinal fluid；eCSF指extracerebral cerebrospinal fluid；DGM指deep gray matter；DR指rigid dataset； DNR指non-rigid dataset。10.11834/jig.230321送排稿.T005表5胎儿脑组织分割性能评估Table 5Performance assessment of fetal brain tissue segmentation methods文献数据集胎龄/周评价指标评价结果Habas等人（2008）自有数据集20.5～22.5--Habas等人（2009）自有数据集20.5～22.5DiceDice(GM) = 0.82±0.02，Dice(GMAT) = 0.73±0.01Dice(WM) = 0.87±0.01Habas等人（2010b）自有数据集20.57～22.86DiceDice(GM) = 0.82±0.02，Dice(GMAT) = 0.77±0.05Dice(WM) = 0.90±0.02，Dice(Vent) = 0.90±0.02Dittrich等人（2011）自有数据集20～30DiceMean Dice/Median Dice = 0.61/0.60Wright等人（2014）自有数据集21.7～38.9--Bach Cuadra等人（2009）自有数据集29～32DiceMean Dice = 0.625Serag等人（2012b）自有数据集21.7～38.7DiceDice(Hemispheres) = 0.90±0.06，Dice(Vent) = 0.92±0.04Dice(Cortex) = 0.84±0.06Gholipour等人（2017）自有数据集19～39DiceDice(ThalL) = 0.918，Dice(ThalR) = 0.933，Dice(CC) = 0.766Dice(VentL) = 0.932，Dice(VentR) = 0.933，Dice(Brainstem) = 0.974，Dice(CPL) = 0.927，Dice(CPR) = 0.924，Dice(WML) = 0.876，Dice(WMR) = 0.880，Dice(CSF) = 0.901Benkarim等人（2020）自有数据集26～29.3--Rampun等人（2020）自有数据集18～37DiceDice = 0.928±0.063Khalili等人（2019）自有数据集22.9～34.6DiceDice(Cer) = 0.794，Dice(BGT) = 0.931，Dice(vCSF) = 0.874Dice(WM) = 0.919，Dice(BS) = 0.946，Dice(CGM) = 0.835Dice(eCSF) = 0.944Payette等人（2020）自有数据集22.6～33.4Dice，HDDice = 0.78，HD = 14.7 mmZhao等人（2022）自有数据集22.9～39.4DiceDice(CSF) = 0.922，Dice(CGM) = 0.828，Dice(WM) = 0.908Dice(DGM) = 0.884，Dice(Cer) = 0.935，Dice(BS) = 0.902Dittrich等人（2014）自有数据集20～30DiceMean Dice/Median Dice(DR) = 0.56/0.58Dice/Median Dice (DNR) = 0.70/0.71Dou等人（2021）自有数据集16～39Dice，HDDice = 0.87±0.06，HD = 0.96±0.38 mmFidon等人（2021a）FeTA和自有数据集20～35Dice，HDDice(WM) = 0.915±0.067，Dice(Vent) = 0.907±0.089Dice(Cer) = 0.896±0.101，Dice(ECSF) = 0.753±0.249Dice(CGM) = 0.566±0.143，Dice(DGM) = 0.714±0.086Dice(BS) = 0.65±0.217，Dice(CC) = 0.62±0.109HD(WM) = 1.5±1.1 mm，HD(Vent) = 1.4±2.0 mmHD(Cer) = 1.7±1.8 mm，HD(ECSF) = 5.4±8.3 mmHD(CGM) = 3.9±1.3 mm，HD(DGM) = 7.3±2.3 mmHD(BS) = 7.9±4.0 mm，HD(CC) = 2.9±1.5 mmKarimi等人（2023）自有数据集19.6～38.9Dice，HDDice(younger) = 0.893±0.066，HD(younger) = 0.94±0.13 mmDice(older) = 0.916±0.059，HD(older) = 0.94±0.13 mmLi等人（2021b）dHCP20.6～38.2DiceDice = 85.2±5.2Peng等人（2023）FeTA20～33DiceDice = 0.774±0.182Gangopadhyay等人（2022）FeTA20～33DiceDice(CSF) = 0.71±0.32，Dice(GM) = 0.71±0.25Dice(WM) = 0.84±0.23，Dice(Vent) = 0.83±0.28Dice(Cer) = 0.86±0.30，Dice(BGM) = 0.83±0.31Dice(BS) = 0.80 ± 0.35de Dumast等人（2022）FeTA20～33--Mazher等人（2022）FeTA20～33DiceDice = 0.791Huang等人（2023）FeTA20～33DiceDice = 0.837 9 ± 0.033 6Lee等人（2022）FeTA20～33DiceDice = 0.874Wen等人（2023）FeTA20～33DiceDice = 0.901注：“-”表示相应文献未提供对应信息。2.2.3　方法总结组织分割可帮助日常临床实践研究，如诊断、随访和脑科学研究。目前组织分割面临的挑战之一是缺乏适当的数据集来对比不同的方法，故上述方法大多是基于自有数据集进行对比，公开的数据集有助于分割方法的深入研究，随着FeTA、dHCP等数据集的出现，近年来在公开数据集上进行性能验证的方法越来越多（Wen等，2023；de Dumast等，2022；Fidon等，2021a；Gangopadhyay等，2022；Huang等，2023；Lee等，2022；Li等，2021b；Mazher等，2022；Peng等，2023）。因此，研究人员应致力于公共数据集的构建及统一的评价标准的选择，以实现对不同方法的评价。其次，由于胎儿脑发育快，脑结构及形状变化大，其CNR要比成人的大脑低得多，采集过程中MR图像也会受到运动伪影等的影响，这使得胎儿脑组织分割更具挑战性，上述总结的组织分割方法中，仅少数文献考虑到此类因素（Dou等，2021；Karimi等，2023；Khalili等，2019；Li等，2020；Payette等，2020）。为解决降质图像问题，学者们或通过超分辨率重建（Khalili等，2019；Payette等，2020）等预处理方法，或引入降质因素对应的数据增强方法（Khalili等，2019），或针对分割网络进行改进（Dou等，2021）以及引入解剖先验进行约束（Li等，2020）等方法来提高降质图像的组织分割性能。此外，针对缺乏带有标注的数据集，学者们则模拟临床数据及对应标注（de Dumast等，2022）或使用半监督方法（Dittrich等，2014）来实现胎儿脑组织分割。因此，未来针对少量标注或无标注数据的组织分割研究也是学者们需深入研究的方向之一。最后，传统的卷积运算存在局部性，这导致模型难以提取长距离语义信息。Transformer的自注意力机制允许模型在处理每个像素点时考虑整个图像范围内的信息，因此能够更好地捕获像素的长距离依赖关系，有助于准确分割空间关系复杂的胎儿脑MR图像中的不同组织。但目前基于Transformer的胎儿脑组织分割领域的研究还较少（Lee等，2022；Wen等，2023；Huang等，2023），未来可充分利用Transformer的优点，解决胎儿脑组织分割模型性能不足的问题。2.3　病灶分割2.3.1　方法概述对于非正常胎儿，如脑室增大或伴有开放性脊柱裂胎儿，可在胎儿脑提取的基础上进行病灶分割，以便医生更好地诊断病情。虽然基于深度学习的病灶分割方法在成人及婴儿脑MR图像中进行了大量的研究工作，尤其是针对成人脑MR图像。但由于胎儿脑MR图像质量较差、病灶组织存在特征不明显等问题，应用于胎儿脑MR图像的病灶分割方法还较少。本节对胎儿脑病灶分割技术进行介绍，分为图谱融合技术和分类技术。1）图谱融合技术。Gholipour等人（2012）使用多图谱多形状分割技术来分割胎儿脑室，该方法利用个体内脑MR图像配准进行标签传递，并利用同步真实性能水平估计（the simultaneous truth and performance level estimation，STAPLE）保证多图谱标签融合的鲁棒性，该方法对具有明显解剖结构差异的空间上相邻结构具有较大的作用。2）分类技术。Ebner等人（2020）提出的方法在有不同程度的脑室增大和伴有开放性脊柱裂的胎儿MRI数据上进行了验证。Fidon等人（2021b）提出在nnU-Net中加入分布式鲁棒优化（distributionally robust optimization，DRO）以提高网络性能的稳定性。Ranzini等人（2021）提出了一种新的工具MONAIfbs，利用新开发的人工智能医学开放网络（medical open network for artificial intelligence，MONAI）及nnU-Net进行超分辨率重建后的脊柱裂胎儿脑分割。病灶分割相关文献总结如表6所示。10.11834/jig.230321送排稿.T006表6胎儿脑病灶分割方法总结Table 6Summary of fetal brain lesion segmentation methods方法维度方法归类方法简述源代码Gholipour等人（2012）2D图谱融合技术标签传递、同步真实性能水平估计方法-Ebner等人（2020）2D/3D分类技术、基于深度学习P-Net和多尺度损失函数https://bitbucket.org/bchradiology/u-net/srcFidon等人（2021b）3D分类技术、基于深度学习分布式鲁棒优化https://github.com/LucasFidon/HardnessWeightedSampler.Ranzini等人（2021）2D/3D分类技术、基于深度学习医学开放网络、nnU-Nethttps://github.com/gift-surg/MONAIfbs注：“-”表示相应文献未提供源代码。2.3.2　性能分析表7描述了以上胎儿脑图像病灶分割方法的性能。4种方法中，除Ebner等人（2020）采用CRL、FeTA及自有数据集外，其他方法均采用自有数据集。方法中主要将Dice相似系数和HD作为图像病灶分割的指标来评估方法性能。10.11834/jig.230321送排稿.T007表7胎儿脑病灶分割方法性能评估Table 7Performance assessment of fetal brain lesion segmentation methods方法胎龄/周评价指标评价结果Gholipour等人（2012）19～39DiceDice = 0.88±0.067Ebner等人（2020）23.47±0.92～29.51±4.46Dice，HDDice(Group1) = 0.938 7±0.027 9Dice(Group2) = 0.929 4±0.041 4HD(Group1) = 6.94±4.29 mmHD(Group2) = 7.84±3.26 mmFidon等人（2021b）19～40DiceDice(Controls WM) = 0.938±0.03Dice(Controls Vent) = 0.879±0.067Dice(Controls Cer) = 0.944±0.031Dice(Spina Bifida WM) = 0.903±0.075Dice(Spina Bifida Vent) = 0.909±0.103Dice(Spina Bifida Cer) = 0.797±0.276Dice(Other Abn WM) = 0.903±0.095Dice(Other Abn Vent) = 0.875±0.071Dice(Other Abn Cer) = 0.906±0.105Ranzini等人（2021）-Dice-注：“-”表示相应文献未提供对应信息。2.3.3　方法总结胎儿脑的病灶分割对诊断病情有极大帮助，然而，目前检测胎儿脑异常或病变的相关研究成果较少。其次，胎儿器官的低信号、间歇性胎动和母体运动导致获取的MR图像存在伪影等问题也是病灶分割面临的挑战之一，在将来的研究中，科研人员应注重研究图像的预处理以解决这一问题。同时，缺乏适当的数据集也是该领域面临的挑战之一，需要创建特定的数据集以更好地对比不同的方法。3　结 语针对胎儿脑图像分割的相关研究已经有20余年的历史，包括胎儿脑实质提取、组织分割和病灶分割。随着深度学习方法在医学领域的应用，基于深度学习的胎儿脑图像分割得到了广泛的关注。目前，针对胎儿脑MR图像分割领域仍有许多问题有待进一步研究。1）公开数据集少且样本量小是胎儿脑图像研究的一个主要问题。正如第1节所述，目前已有的数据集及图谱仅7个，其中，公开数据集仅3个，不足以支撑针对胎儿脑图像的相关研究工作。在仅有的3个数据集中，针对胎儿脑病灶的图像仅有FeTA和FaBiAN数据集中的部分数据。此外，医学影像的数据标注也是严重制约深度学习广泛、深入应用的一个问题，在胎儿脑图像分割领域同样需要广泛开展数据自动标记方面的研究工作。2）现有数据集的数据不足以支撑临床应用。出于对未知风险的担忧，临床上胎儿MR检查使用较多的是1.5 T MRI设备，婴幼儿则可采用3.0 T MRI设备（Barzilay等，2017）。因此，目前已有4个胎儿脑图谱及3个数据集中的图像大多是采集至1.5 T设备的厚层图像，这些数据均经过了大量预处理操作，从而得到各向同性的高分辨率MR图像。然而在临床应用中，大多数图像仍然是采集至1.5 T设备的厚层图像，除存在采集参数不同外，图像质量与分辨率也与这些公开数据集的数据有极大的不同，因此，来自于这些公开数据集的数据及标注往往无法直接应用于临床采集得到的图像。从上述许多文献中可以看出，目前的算法研究仍然是在各课题组与医生/技师完成的标注基础上得到的非公开数据集后进行相关算法验证工作，使得算法之间的可比性不足。也正是如此，FeTA成为第1个加入MICCAI挑战赛的胎儿脑图像分割数据集。由于公共数据集FeTA的出现，2022年以来的大部分文献采用FeTA数据集进行性能对比。3）现有基于深度学习的方法虽然已经在胎儿脑图像分割中进行了一定程度的应用，但大多数方法仅仅是将已有的应用于其他领域的深度学习方法应用于胎儿图像中，并没有针对胎儿图像的特征，如解剖结构等进行深入研究，以提出切实可行的创新方案，实现方法性能的进一步提升。此外，在已有的文献中，基于弱监督学习/迁移学习/自监督学习等胎儿脑图像分割方法较少。4）临床采集的MR图像面临的运动伪影、边界模糊等图像降质问题无法避免，这使得胎儿脑分割具有挑战性。而现有的胎儿脑提取、组织/病灶分割方法只有少量文献考虑到该问题，未来针对图像降质问题，可将分割方法与数据增强、超分辨率重建、图像复原等技术结合，形成一套端到端的全栈方案来解决实际问题。5）深度学习方法目前的性能远远不能满足胎儿脑图像分割的实际应用对结果准确性的要求。与婴儿/成人大脑提取对比，胎儿脑提取在临床应用中的准确性仅仅达到95%左右；由于结构差异、胎龄变化、灰白质在此阶段较低的组织对比度，造成目前基于深度学习的组织/病灶分割算法性能相对更低。而较低的胎儿脑提取、组织/病灶分割准确性则会导致无法准确地表征大脑的发育情况。6）临床受成像设备、参数等因素影响，胎儿脑MR图像存在较大的差异，导致目前的分割方法针对自有数据集时效果较好，而泛化性较差。因此，提升分割方法的泛化性是目前亟需解决的问题。针对该问题，未来可在数据训练前进行数据增强，以模拟不同成像设备及参数的变化。同时，可利用多模态数据进行训练（例如T1w、T2w等），通过提供更多的信息以缓解数据差异的影响。此外，还可以引入迁移学习方法提升模型针对跨数据集数据的分割性能。上述问题与挑战为从事胎儿脑图像分割领域的研究人员提供了巨大的机会，随着图像采集设备性能的不断提升，如3.0 T设备逐步应用于产前MRI检查中，更多高质量图像也将应用于临床研究中，加之深度学习方法的普及与算法性能的提升，必将有助于该领域研究工作的快速推进。