基于深度学习的MRI骨龄评估研究进展

2023-06-09 0

摘 要:骨龄作为年龄认定的重要依据之一,是法医学的重点研究内容。现有主流骨龄评估方法多基于骨关节X线片,虽已达到较高的准确性,但此类方法主要基于人工阅片,耗时、依赖经验,且非诊疗目的的放射性检查当下备受争议。磁共振成像(magnetic resonance imaging,MRI)是无辐射的三维断层图像,具有优越的骺板软骨成像能力,可清晰显示骨骺生长发育情况,将骨骼MRI用于骨龄评估已成为解决辐射风险的可行策略。同时,随着深度学习的不断进步与发展,使其在图像分析和大数据处理方面的优势逐渐显现。因此,将深度学习与骨骼MRI有机融合进行骨龄评估已成为近年来法医骨龄评估领域新的研究前沿和热点。基于此,通过综述近年来国内外基于深度学习的 MRI 骨龄评估研究,系统总结了基于深度学习及骨骼 MRI的骨龄评估新技术、新方法,以期为骨龄评估研究提供新的思路与参考。

关键词: 法医人类学;骨龄评估;深度学习;磁共振成像

概述:骨龄评估是法医学鉴定实践及临床医学的一项重要任务,在司法审判、刑事侦查、运动员选拔及资格审查、临床发育评估等多个领域应用广泛且意义重大。当真实年龄存疑或年龄证明文件缺失时,客观、准确的骨龄评估可为个体年龄的认定提供重要依据。传统的骨龄评估方法主要有计数法、图谱法、评分法和计算机辅助骨龄评分系统(如 BoneXpert[1])等,已实现较高的骨龄评估准确性并成功应用于实践。但这些方法大多基于 X 线片评估,由于未成年人对 X 射线有较高的敏感性,因此 X 线片检查在青少年群体中的辐射损害存在的潜在风险更大[2],使用接受度较差。此外,我国现行的法医骨龄评估标准需要对全身七部位进行 X 线片检查,辐射量会显著增加。骨龄评估的放射学检查已持续引起伦理学争议,因此,除了法律需求外,部分国家或组织在体育竞技、国际移民等领域禁止对未成年人进行放射性检查评估骨龄。

磁共振成像(magnetic resonance imaging,MRI)因其无电离辐射且图像分辨率高、组织对比度好的优势,有着用于骨龄评估的潜力。一方面,相较于X线片,MRI 作为骨龄评估依据主要有以下三个方面的优势:(1)MRI 是利用核磁共振现象,通过采集磁共振信号重建人体信息、生成图像,整个过程无电离辐射;(2)选择合适的 MRI 扫描脉冲序列,可提高骨与软骨相关组织结构的对比度差异[3];(3)MRI 是三维断层扫描成像,能为骨龄评估提供更为丰富全面的信息。既往研究利用 MRI 对手腕部[4-6]、膝关节[7-10]、肩关节[11-12]、踝关节[13]等部位进行骨发育人工分期并推断骨龄,结果均表明 MRI 适用于骨龄评估。另一方面,由专家依据标准评分的骨龄评估方法耗时耗力、依赖操作者的评估经验且评估结果易受主观因素的影响。在人工智能不断发展的时代,以卷积神经网络(convolutional neural network,CNN)为主的各类深度学习技术快速更新,深度学习技术在医学图像分析领域的优越性能越发凸显,展现了巨大的优势,已有大量研究将其应用到基于 X 线片的骨龄评估领域。

随着 MRI 技术和深度学习技术的发展,通过两者相结合来实现无辐射自动化骨龄评估已成为一种新的研究趋势。因此,本文介绍了深度学习应用于骨龄评估的现状,全面综述了国内外基于深度学习的 MRI 骨龄评估研究,以期了解 MRI 深度学习研究动态,为后期骨龄评估研究提供新的思路和参考。

1 深度学习在骨龄评估中的应用现状

机器学习作为人工智能的重要领域,先后出现了贝叶斯算法、决策树、反向传播算法、支持向量机(support vector machine,SVM)和随机森林(randomforest,RF)等浅层学习方法,以及 CNN、深度置信网络(deep belief network,DBN)和自动编码器(auto encoder,AE)等深度学习方法。由于机器学习在计算机辅助诊断和决策上体现出巨大的优势,其应用分布于人工智能的各个领域,尤其在医学图像分析领域的应用更为广泛[14]。浅层学习作为最早出现的机器学习技术,训练难度低,提高了分析准确性,亦广泛应用于年龄推断研究[14-18]。然而,浅层学习技术存在一定的局限性,其依靠人工经验提取特征,所获得的特征仅为表象特征[19],人为选取特征的优劣会严重影响图像分析结果。此外,在面对复杂问题时,浅层学习技术的学习能力不足、泛化能力较差[20],而样本量过大又会大幅延长人工图像的识别时间。HINTON 等[21]于 2006 年首次提出了深度学习的概念,并指出可通过“逐层初始化”的训练方式以及增加隐藏层数目等方法,在突破浅层学习局限性的同时大幅降低深度学习网络的训练难度。深度学习作为机器学习的一个分支,模拟了人脑神经网络分析学习的能力,通过多个隐藏层分步提取和自动学习从低级到高级水平的特征,以表达更深层的抽象特征[19]。相较于浅层学习,深度学习有以下几点优势[19, 22]:(1)深度学习能够通过对原始信号的特征逐层提取、变换来获得更为本质的特征映射关系,相较于浅层学习的特征获取方式,深度学习对特征的自动学习更能贴合原始数据的本质;(2)通过“逐层初始化”和多隐藏层的方法能够降低训练难度和处理更为复杂的问题;(3)深度学习技术有着强大的自动学习能力和高效的大数据处理能力,即使在小样本中,也可能会学习到数据的本质特征。

近年来,基于 ImageNet 大赛中的自然图像,不断 涌 现 出 AlexNet、VGG -16、GoogLeNet 和 ResNet等大量的优秀网络模型。 

深度学习在图像分析方面极具优势,已广泛应用于医学图像分析领域,并在医学图像分割[23]、检测[24]、诊断[25]、配准[26]等领域取得显著成果,同时在骨龄评估领域也开展了大量研究。深度学习于 2016 年开始应用于骨 龄 评估 领域,SPAMPINATO 等[27]首次利用 CNN 建立基于手腕部 X 线片的自动化骨龄评估模型,其中迁移学习的网络最佳平均绝对误差(mean absolute error,MAE)为0.82 岁,从零训练的网络为 0.79 岁。该研究为骨龄研究开辟了新的方向,同时也为基于深度学习的骨龄评估研究提出了一些极具参考价值的建议:(1)卷积层数量并不与模型性能直接关联;(2)可以通过几何变换等方式进行数据扩充,解决数据集有限的问题;(3)从零训练的网络优于迁移学习的网络。LEE 等[28]于 2017 年提出的图像预处理网络同样为骨龄研究提供了新思路,推动了基于深度学习的自动化骨龄评估研究发展。自此,深度学习和医学图像的联合应用成为骨龄评估领域的热点研究方向,基于深度学习的自动化骨龄评估体系的研究逐渐深入。以 2018 年的北美放射学(radiological society of North America,RSNA)儿科骨龄挑战赛[29]为例,就有多达 260 支挑战队注册,而几乎所有方法都使用了一个或多个 CNN,表现最佳的五支挑战队的MAE 分别为 4.2、4.4、4.4、4.5、4.5 个月,其中有三支挑战队均使用了深度学习,且与一年前相比,方法的性能得到显著提高。2019 年,PAN 等[30]分析了RSNA 挑战赛网络,经过反复测试后,将 4 个网络进行集成学习,在 RSNA 数据集中准确性提升至 3.79个月。2020 年,KOITKA 等[31]开展了手腕部不同部位骨骺的集成学习,基于 Greulich-Pyle 图谱骨骺分析思想,利用 Faster R-CNN 检测手腕部骨骺区域;随后分别建立远节指间关节、近节指间关节、掌指关节、腕骨、尺骨、桡骨的 6 个骨龄推断分支网络(ResNets),集成学习 6 个网络结果输出最终骨龄,在 RSNA 公开数据集中的 MAE 为 4.56 个月。综上,与浅层机器学习技术相比,深度学习技术在骨龄评估领域有着更大的优势和潜力,多网络或多部位的集成学习有助于进一步提高骨龄评估准确性。

基于深度学习的 X 线片骨龄评估的研究已在多个国家或组织内开展,由于手腕部公开数据集的出现,不同研究方法可相互比较,也促进了方法的不断进步,目前的手腕部 X 线片自动化骨龄推断的准确性已经非常高,达到甚至超越了高年资专业医师的水平。同时,除了手腕部 X 线片[32],骨盆 X 线片[33]、胸片和牙片等也开展了部分深度学习研究,并取得了较高的骨龄评估准确性。但现有研究多基于单关节展开研究,特别是手腕部 X 线片,其骨龄评估范围可能无法涵盖实际需求范围。但若是综合多关节影像扩大可评估年龄范围,辐射量会大幅增加,不符合医学伦理要求,这也是 X 线片骨龄评估面临的另一问题。因此,联合深度学习和 MRI 的骨龄评估研究成为近年来的研究热点。


2 基于深度学习的 MRI 骨龄评估研究进展
2.1手腕部


STERN 等[34-35]在 2016 年、2019 年先后两次研究中,利用手腕部 MRI 数据集比较了 CNN 和 RF两种评估体系的性能优劣 。结果表明:CNN[34]和RF [34]的 最 佳 MAE 分 别 为 (0.36 ±0.30) 岁 、 (0.52 ±0.60)岁;CNN[35]和 RF[35]的最佳 MAE 分别为(0.37±0.51)岁、(0.48±0.56)岁,这说明了深度学习在骨龄评估上优于浅层学习。MRI 影像可能会存在运动伪影、图像分辨率差、信噪比差等有碍评估的问题,通过归一化、提取年龄相关结构等预处理操作或有简化网络任务的可能。2016 年,STERN 等[34]对原始图像进行滤波处理,证实了通过抑制图像强度的变化和增强年龄相关结构信息,可以简化 CNN 的学习任务,获得更高的精度。2019 年,STERN 等[35]比较了手部原始完整影像、裁剪的年龄相关结构图像、经由滤波器增强年龄相关结构的完整图像分别作为CNN 输入的表现。 结果显示,裁剪的年龄相关结构图像在 13~18 岁表现最好,MAE 为(0.37±0.51)岁,优于人工评估结果。 这也说明年龄相关结构的提取能够有效提升评估准确性。 但从结果来看,3 种输入策略针对 18 岁及以上年龄的判断准确度均大幅降低,亦证实了单一关节的弊端—可评估的年龄范围仍较狭窄。


2.2膝关节
除手腕部外,膝关节 MRI 的骨骺发育情况也被证实与年龄呈强相关性[7-8],可作为骨龄评估的指标。 2019年,PR魻VE 等[36]开发了一种基于 CNN 和三维 MRI 的全自动膝关节分割技术,并比较了基于二维卷积和基于三维卷积的体系性能,该研究指出二维 CNN 训练速度更快,需要的计算内存更少,并且不需要体积图像来执行工作;但三维分析也具有潜力,后续可以通过扩大数据集、图像增强和增强计算能力来深入探究。 2019 年,DALLORA 等[37]比较了 GoogLeNet、ResNet -50 等 7种 CNN 在膝关节MRI 骨龄评估上的性能,同时探究网络输入通道的最佳数量。 结果显示,性能最好的 2 种网络是GoogLeNet 和 ResNet-50。 其中:男性和女性的最佳MAE 值分别为 0.793、0.998 岁;当使用一个或三个通道的 MRI 图像时结果相近,但超过三个通道时,性能明显下降,这表明在后续单关节研究中,网络的输入最好不超过三条通道,以免网络过拟合。
相较于以上研究中采用三维 MRI 图像的单一二维位面,MAUER 等[38]采用了膝关节三维 MRI 的冠状面和矢状面两类数据集(冠状面 n=185,矢状面n=404)进行骨龄评估。在分类模型中,还比较了个体相关数据(骨化阶段和人体测量数据)添加与否的优劣。结果显示:(1)冠状面 MRI 最佳 MAE 为(0.67±0.49)岁,而矢状面为(0.79±0.57)岁。矢状面数据集更大,但结果较之冠状面更差,方差更大,MAUER 等认为该现象是因为随着数据量增大,引入的发育异常的数据更多,影响年龄推断结果。因此,后续研究在收集样本的过程中,应当重视样本的筛选标准。(2)添加个体相关数据后分类准确度、灵敏度、特异性和受试者工作特征曲线下面积(areaunder the curve,AUC)值均下降,并不会提升骨龄评估性能,甚至会轻微损害结果。与类似研究相比,该研究通过 CNN 预训练提高了年龄回归的性能,首次将不同位面的 MRI 进行比较,并探究了个体相关数据添加与否对体系性能的影响,为后续研究 MRI位面的选择和网络的训练提供了思路。

2.3多关节联合


单关节的局限性使得骨龄评估的年龄范围不能完全涵盖法律规定的年龄需求范围,基于深度学习,联合多关节构建多因素 MRI 自动骨龄评估体系为突破这一局限带来契机。2017 年,STERN 等[39]选择手腕骨、锁骨胸骨端和第三磨牙的 MRI 数据,建立了多因素骨龄评估的新方法,MAE 达到(1.14±0.96)岁,证明了基于手腕骨、锁骨胸骨端和第三磨牙的多因素骨龄评估可实现自动化活体骨龄评估,评估范围扩大到了 25 岁,但该方法误差较人工评估更大,且18岁阈值的最佳分类准确率为 91.3%,用于判断是否成年时必须谨慎。2019 年,STERN 等[40]又进一步从融合策略角度研究多因素骨龄评估方法,依据输入图像在整个网络中的融合部位设计了早期、中期、晚期三类融合策略。从回归结果看:中期融合策略MAE为(1.02±0.76)岁,晚期融合策略为(1.01±0.74)岁,两者 MAE 无明显差异;早期融合策略的 MAE 最大,为(1.18±0.95)岁,提示将多个输入图像输入同一深度卷积神经网络的早期融合方法可能不适用于骨龄评估。这项研究还探索了不同的指标组合方式的骨龄评估价值,结果显示,三部位组 合 明 显 优 于 单 部 位 [ 三 部 位 组 合 MAE 值 为(1.01±0.74)岁,单部位最佳为(1.22±0.95)岁],再次证实了单一部位骨龄评估范围的局限性,验证了国际法医年龄推断研究小组(Arbeitsgemeinschaft fürForensische Altersdiagnostik ( 德 语 ),AGFAD) 对 预测 13~25 岁年龄时进行多因素分析的建议,对后期自动化多因素骨龄评估体系的建立具有重要参考价值。


3基于深度学习的 MRI 骨龄评估的评价与应用前景
3.1 评 价


在缺乏先进计算机技术和医学影像诊断技术的时代,学者发现了骨骼发育与年龄的关联性,并开发了计数法、Greulich-Pyle 图谱法、TW 法等多种骨龄评估方法。我国学者根据不同领域特点,制定了基于 X 线片的骨发育成熟度评价标准[41-42],然而人工评阅难免会出现评测者主观上的认知差异和不可避免的测量误差。现今医学影像技术和深度学习的不断革新与迭代,为法医骨龄评估领域的研究和发展提供了多样化的路径。

深度学习不仅有着大数据处理的优势,还有自动学习图像特征的能力,这种能力模拟了人的神经处理信息方式,是一种主动、高效、能够迁移运用到全新输入的能力[14]。将深度学习运用到骨龄评估上,能大幅缩短评估所需时间,且无需人工提取图像相关年龄特征,输入整个图像即可自动学习、提取任务相关特征,实现各类任务。将深度学习和MRI 联合运用,可有效解决现阶段骨龄评估的困境。首先,MRI 的无辐射性突破了 X 线片辐射损害的伦理困境;其次,多层面扫描的 MRI 能为深度学习网络提供丰富的年龄相关信息;最后,深度学习在图像分析和自主学习方面有显著优势。因此,将深度学习和 MRI 相结合,以期建立无辐射、自动化、准确、客观、高效的骨龄评估体系。既往的自动化 MRI 骨龄评估研究较少,MRI 的参数选择差异也较大。首先,MRI 场强主要采用 1.5T或 3.0 T,由于场强越高的 MRI 信噪比越高、采集时间越短、图像质量更佳,因此后续研究建议选择 3.0 T。

其次,既往研究的 MRI 序列主要为梯度回波序列(gradient recalled echo,GRE)和快速自旋回波序列(fast spin echo,FSE),部分研究也使用三维梯度回波 容积 插 值 屏 息 扫 描 序 列 (volumetric interpolatedbreath-hold examination,VIBE)等。既往骨龄评估研究使用的加权像均为 T1 加权像,MRI 骨龄评估的深度学习多为 GoogleNet、ResNet 等网络,而 AlexNet、VGG 等网络使用较少,使用的图像分割模型多基于U-Net 网络进行改进。通过添加 Dropout 层防止过拟合、使用 SE(squeeze-and-excitation)模块降维或插入 Inception 模块增加网络宽度等方法来提升网络性能,构建适应研究目的的模型。相较于既往研究中 MRI 的三维网络模型,X 线片的二维网络模型不需要体积图像来执行工作,训练速度更快、需要的计算内存更少[36],但三维网络模型能充分利用MRI 三维图像的丰富信息,提取不同断层之间的相关性,借此提升评估准确性,具有巨大的潜力。

目前,基于深度学习的 MRI 骨龄评估方法的准确性明 显低于基于深度 学习 的 X 线 片 骨龄 评估方法,基于 X 线片的研究中 MAE 大多在 7 个月以内[29-30,43-44],而基于深度学习的 MRI 骨龄评估方法 MAE 大多均超过 1 岁。MRI 图像质量也会影响深度学习评估方法的准确性。MRI 图像质量受多种因素影响,如偏置场的存在可能会导致同一组织灰度值的不均匀,不同 MRI 序列下组织的影像信号特点不同等。因此,需要选择合适的序列、添加偏置场校正等预处理步骤或其他方式来保证图像质量。而MRI 三维图像相较于 X 线片的二维图像信息更加复杂,尚需投入大量样本以研究契合三维 MRI 的CNN体系。

综上,基于深度学习的 MRI 骨龄评估体系的准确性和泛用能力有待提高,尚不能应用于实践。MRI 和深度学习联合用于骨龄评估的研究尚处于探索阶段,既往研究所建立的评估体系虽不足以投入实践,但仍初步证实了基于深度学习和 MRI进行骨龄评估的可行性,也为今后相关研究的开展提供了重要参考。例如:(1)应选择高场强、采集时间短、易于观察骺板的 MRI 序列,同时可利用 MRI三维断层扫描的特点,使用多个层次的图像综合评估;(2)多部位联合进行骨龄评估时,应当选择合适的关节组合和信息融合策略;(3)通过降噪、归一化处理、裁剪年龄相关结构等多种图像处理方式增强图像,简化网络任务、提高准确性;(4)采用多种方式优化网络,有助于提高准确性,如利用Dropout层防止过拟合、利用 SE 模块提高网络对相关特征的敏感性、使用 Inception 模块在增加网络深度和宽度的同时减少参数。


3.2应用前景
基于深度学习的 MRI 骨龄评估研究是近年来法医骨龄评估领域的热点方向,未来在大数据的支撑下不断优化网络,将有望形成自动化 MRI 骨龄评估软件,并应用于实践。后续研究可扩大样本采集的范围,研究地域之间骨骺发育情况的差异对 MRI 骨龄评估的影响,也可从 MRI 图像本身入手,通过扩大数据集、图像增强和增强计算能力来探究三维 MRI 的应用潜力[36],或探究多种序列联合用于自动化骨龄评估的性能。另外,已有相关研究大多针对手腕部、膝关节等开展,未来可对现有人工评估标准规定的其他关节开展 MRI 深度学习研究;还可基于深度学习筛选适应不同年龄段的关节组合来建立多因素自动化骨龄评估体系,探究多元化的骨龄评估体系,对标我国智慧法治建设,推动精准法医学建设。


扫一扫,联系我们

Copyright © 2024 广东华杰法医临床司法鉴定所 版权所有 备案号:粤ICP备2023031665号-1