SCI论文 | 基于高光谱多尺度空间-光谱融合特征的神经胶质瘤病理切片恶性分级自动分类方法研究
陈嘉琪1，2，金阳1，王金玉，1，2，赵子彤1，2，王明佳1，孙词1，南松1，舒龙1，*
- 中国科学院长春光学精密机械与物理研究所，吉林长春130033;chenjiaqi19@mails.ucas.ac.cn (J.C.)
- 中国科学院大学，北京130033
摘要:本研究描述了一种新的胶质瘤病理切片分级方法。我们自己的集成高光谱成像系统被用于表征神经胶质瘤微阵列载玻片上的270条癌组织样本。然后根据世界卫生组织制定的指南对这些样本进行分类，该指南定义了弥漫性胶质瘤的亚型和等级。我们利用不同恶性程度脑胶质瘤的显微高光谱图像，探索了一种名为SMLMER-ResNet的高光谱特征提取模型。该模型结合通道注意机制和多尺度图像特征，自动学习胶质瘤的病理组织，获得分层特征表示，有效去除冗余信息的干扰。完成多模态、多尺度的空间光谱特征提取，提高胶质瘤亚型的自动分类能力。所提出的分类方法具有较高的平均分类准确率(>97.3%)和Kappa系数(0.954)，表明该方法可以有效地提高高光谱胶质瘤的自动分类。该方法很容易适用于广泛的临床设置，为减轻临床病理学家的工作量提供宝贵的帮助。此外，该研究有助于制定更加个性化和细化的治疗方案，以及后续的随访和治疗调整，通过为医生提供对胶质瘤潜在病理组织的见解。
关键词:高光谱;神经胶质瘤;年级;特征提取;神经网络
1.介绍
弥漫性胶质瘤被认为起源于神经胶质干细胞，是最常见的原发性脑肿瘤。根据其组织学特征，胶质瘤分为星形胶质细胞、少突胶质细胞或室管膜肿瘤，其恶性程度被世界卫生组织(WHO)定为I至IV级。脑肿瘤遗传分析的最新进展表明，它们在形态、位置、遗传特征和对治疗的反应方面存在很大差异。组织病理学是胶质瘤分级的金标准，但弥漫性胶质瘤的组织学分类和分级给病理学家带来了许多挑战，依赖传统的组织学对胶质瘤进行分级也存在一些缺点。首先，这些肿瘤在观察者之间和观察者内部差异很大[2]。由于诊断标准不准确，这种可变性导致肿瘤分级的一致性和可重复性差。此外，弥漫性胶质瘤往往表现出明显的表型异质性，在细胞表型和间变性程度上存在空间差异，导致有丝分裂图像分布不均匀。这一趋势导致观察者对弥漫性胶质瘤(包括少突胶质细胞瘤(ODG))的诊断有很高的变异性。由于这些因素，不可能准确地识别肿瘤的生物学特异性。
近年来，许多研究将脑胶质瘤的病理标本提交给计算机算法进行机器辅助诊断，如深度卷积神经网络。该技术。Zhou等人建立了一种简便、无创的胶质瘤术前分级方法;他们的方法依靠MRI蛋白质组学技术结合增强的T1WI，大大提高了诊断的准确性。Zhang等利用机器学习探索MRI影像学特征在鉴别间变性少突胶质细胞瘤(AO)与非典型低级别少突胶质细胞瘤中的潜力，并建立了基于T1C和FLAIR影像特征的预测模型[8];Gao等人提出了一种无创的术前预测胶质瘤分级和各种病理生物标志物表达水平的方法，取得了较好的预测准确性和稳定性。要实现有效的分类识别，往往需要大量的训练数据集，检测效率相对较低。新的WHO中枢神经系统肿瘤分类标准(2016)标志着单纯基于组织学标准和结合弥漫性胶质瘤形态学和分子特征的分子生物标志物的传统诊断方法的终结。因此，迫切需要一种客观、稳定、可重复的方法来准确分级弥漫性胶质瘤，忠实地反映肿瘤的本质属性，从而有效地指导临床手术和预后治疗。
微高光谱图像携带生物组织的重要信息，可用于分析生物组织的生化特性。先前的研究通过将高光谱、测量视网膜氧饱和度、估计人体胆固醇水平以及进行癌症检测成为可能。与传统医学图像相比，高光谱图像具有许多优点。王学虎提出了一种基于人体计算机断层扫描(CT)放射学特征预测高光谱特征的自动检测方法，用于无创检测早期肝脏肿瘤。通过图像增强和XGBoost模型构建，学习了CT特征与相应高光谱成像(HSI)数据之间的映射关系，取得了较好的分类识别效果。Wang[21]提出了一种RGB和高光谱双模图像的特征融合网络(DuFF-Net)，其中使用基于se的关注模块和Pearson相关性挖掘特征。结果表明，DuFF-Net提高了两种形态相似的胃癌前组织的筛查准确率，准确率高达96.15%。Jian等引入了光谱空间转移卷积神经网络(SST-CNN)来解决医疗高光谱数据样本数量有限的问题。该方法对胃癌和甲状腺癌的分类准确率分别为95.46%和95.89%。
基于以上结果，我们设计了基于脑胶质瘤显微高光谱图像的多模态、多尺度高光谱图像特征提取模型(SMLMER-ResNet)。在我们的模型中，在传统残差连接模块之前引入通道注意机制(SE模块)，探索脑胶质瘤病理切片高光谱图像三维数据立方体中光谱通道之间的相互作用。选择这种设计是为了实现频谱通道之间的特征融合，从而提高网络的特征提取能力，同时有效地减少冗余信息。在此基础上，引入并行多尺度图像特征方法，从三维数据立方体中进一步提取高光谱图像的特征。我们还通过引入不同图像大小的多分支模块来改进残差连接中的卷积层。该设计特点既实现了深度数据特征挖掘，又实现了轻量级模型。我们的模型提供了准确有效的识别弥漫性胶质瘤的病理切片，符合WHO于2016年推出的分类标准。
2.材料与方法
2.1数据集结构
所有切片数字化，并用奥利巴斯40倍物镜放大。它们由具有专业认证的病理学家手工注释。我们使用数字组织学图像上标记的癌症和正常区域作为数据选择和分类的基础事实。对于每张幻灯片，我们在癌症区域内选择了至少三个roi，由专门从事相关研究的病理学家标记。在图1中，我们与长春市某三级医院的工作人员合作完成了脑胶质瘤的福尔马林固定、HE染色、免疫组化染色和样本标记。我们有109例不同性别和年龄的脑胶质瘤(1级14例，2级64例，3级46例，4级72例)，以及22例正常脑组织。处理过程如图2所示。
图1所示胶质瘤病理芯片阵列图
图2脑胶质瘤处理流程
2.2. 微高光谱数据采集
我们使用中国杭州高光谱成像技术有限公司集成的微高光谱成像系统从脑胶质瘤切片中获得HSIs。高光谱成像模块由中国科学院长春光学精密机械与物理研究所课题组自主研发，如图3所示。采集系统由成像系统、照明系统和计算机组成。在光谱成像系统中，使用的物镜为奥林巴斯PLN系列消色差物镜，放大倍率为40倍，探测器为美国佛罗里达州博卡拉顿市imperx公司生产的CMOS二维面阵相机。该系统的光谱范围为400 ~ 1000nm，光谱通道数为270个，光谱分辨率>2.5 nm。推扫成像后，系统可以捕获标本的三维数据立方体。照明系统由功率为150w的光纤卤钨灯冷光源组成，连续光谱光源的光谱范围为400 - 2200nm。图4提供了使用上述系统收集的不同级别胶质瘤病理切片的高光谱数据图像示意图。图片显示的是一例43岁女性星形细胞瘤1级病理样本，一例43岁男性星形细胞瘤2级病理样本，一例40岁女性星形细胞瘤3级病理样本，以及一例46岁女性胶质母细胞瘤4级病理样本。
图3.一种显微高光谱采集系统原理图
图4 不同级别脑胶质瘤病理切片的高光谱数据图像
2.3. 光谱数据预处理
我们使用脑胶质瘤组织阵列芯片的高光谱图像来创建本研究中使用的数据库。为了降低系统噪声、像素响应的辐射强度差异以及光源不稳定性的影响，在尽可能保留光谱信息的同时，对系统透过率进行了校正基于Lambert-Beer定律，具体见式(1)，其中T为光谱校正后的透射率数据，既代表原始样本数据，也代表相同实验条件下的空白玻片数据。IO表示由空白幻灯片传输的辐射强度。IW表示胶质瘤载玻片传递的辐射强度，IS表示暗噪声强度。最后，我们实现了归一化和SG滤波。该过程保证了算法结果的数据一致性和可重复性。预处理后的光谱透过率曲线如图5所示。
图5从脑胶质瘤病理切片获得的示例光谱反射曲线
2.4. 实验装置
我们的硬件由NVIDIA公司制造的GPU (NVIDIA Geforce RTX208Ti)组成，Santa Clara, CA, USA。我们使用Windows 11作为操作系统，python 3.7作为编程语言，pytorch作为深度学习框架。我们采用如下参数:参数化ReLU激活函数，批大小为32,epoch为100，测试集、验证集和训练集的比例为4:1:5。该研究利用亚当作为优化器。此外，由于医学样本制作过程的复杂性以及需要专业医生对图像进行注释，可供培训的样本有限。因此，为了降低网络的复杂度，防止过拟合，增强模型的泛化能力，对模型进行了正则化处理。为了提高分类精度和避免过拟合，我们使用了一种特定于层的正则化和规范化分类机制。该机制包括一个全连接层、一个sigmoid激活函数和一个L2正则化函数。精确的数学表达式如式(2)所示。
其中ω2和ω1分别表示两个完全连通层的核;λ为融合特征权值的L2正则化参数;σ为s型激活函数;其中ys和y分别表示分类器的输入和输出。交叉熵函数的数学表达式如式(3)所示。
其中w为权值，b为当前层的偏置，yi为第i个训练样本的输出，T为训练样本的个数。这为以后建立高精度的胶质瘤恶性分级模型提供了必要的保证。
我们使用总体准确率(OA)、平均准确率(AA)和Kappa系数来评估分类性能。OA表示正确分类的样本总数与所有测试样本的比值。AA表示所有类别的平均分类精度。Kappa系数用于评价所有类别之间的分类一致性。为消除随机因素的影响，本研究中所有实验结果均为10次实验的平均值。
2.5. 数据降维
与高光谱数据相关的冗余可能导致恶性分级的分类效率下降。在本研究中，我们使用模拟退火算法和主成分分析来选择合适的波长。在这个过程中，通过定义一个合适的能量函数来模拟退火算法，这个能量函数是一个目标函数。根据能量变化的概率，可以接受或拒绝新的波长子集，并逐步优化最合适的波长子集，达到波长降维的目的。逐次投影算法(SPA)利用向量的投影分析，将波长投影到其他波长上，比较投影向量的大小，将投影向量最大的波长作为待选波长，然后根据校正模型选择最终的特征波长。SPA选择包含最少冗余信息和最少协方差的变量组合。我们使用了几种不同的机器学习方法来控制变量，包括支持向量机(SVM)、决策树分类器(RT)、随机森林(RFR)，并选择了最适合本研究的数据降维方法。相关结果如表1所示。对于不同的分类模型，模拟退火算法明显优于SPA算法。
表1 不同降维方法的结果比较
2.6. 识别模型
基于上一节的结果，我们进行了部分决策树(DT)、SVM分类、RFR、一维卷积神经网络(CNN)和MSE-ResNet[28]。我们利用改进后的算法建立了不同恶性程度胶质瘤病理切片分级的分类模型，我们称之为SMLMER-ResNet。我们采用支持向量分类(SVC)建立不同恶性程度胶质瘤病理切片分类模型。SVC是一种典型的非线性分类方法，它将低维数据映射到高维空间，通过寻找最优超平面来实现样本的分类。在SVC,系数C和核函数G的适当选择保证了较强的泛化能力。我们使用遗传算法来优化惩罚系数C和核函数参数g。决策树(decision tree)是一种以树结构(包括二叉树和多项式树)形式表示的预测分析模型。每个非叶节点表示对一个特征属性的测试，每个分支表示该特征属性在某个值域上的输出，每个叶节点存储一个类别。随机森林算法由多棵决策树组成，决策树之间没有相关性。模型的最终输出由所有决策树决定，具有较强的抗干扰能力和抗过拟合能力。Jian[30]利用显微高光谱图像的光谱信息，通过1D-CNN对胃癌组织进行分类。网络模型包括1个输入层、2个卷积层、2个池化层、1个全连接层和1个输出层。Chongxuan等[31]依靠胃液的高光谱图像对幽门螺杆菌感染进行分类，利用ResNet模型从二维数据中学习，分类准确率达到91.48%。我们对ResNet进行了改进，在预处理过程之后引入了SE模块，如SAA，利用SE模块对每个通道分配相应的权值来学习通道之间的关系，实现通道之间特征的有效融合。采用的实现过程如图6所示，可以有效减少冗余信息，提高网络的特征提取能力。
图6在不同的频谱通道中实现注意机制所采用的程序
基于本研究结果，我们整合SENet和ResNet残差网络模型的基本框架，提出了胶质瘤病理组织恶性程度识别模型。该模型结合了光谱-空间多尺度特征，命名为SMLMER-ResNet(多模态多尺度分层光谱-空间融合特征的神经网络建模)。图7为所设计模型的总体框架，整体网络架构包括光谱特征提取、空间特征提取、高阶空间-光谱融合特征和分类器模块四个主要模块。①表示光谱特征提取模块，引入残差网络和光谱关注机制。②表示空间特征提取模块，该模块包含残差网络和空间注意机制。图8描述了多尺度光谱特征提取框架。在本研究中，我们将大小为7 × 7 × 200的图像块输入到光谱特征提取模块中。首先，初始化过程由包含64个大小为3 × 3的滤波器的卷积层、BN层和ReLU激活函数组成。在初始化模块之后，将原始3D数据立方体的大小更改为7 × 7 × 64。随后，将降尺度变换后的数据立方体输入到多尺度光谱特征提取模块中，捕获多尺度光谱特征，消除冗余信息干扰。通过将6个组合SE模块与残差学习网络相结合，实现多尺度光谱特征提取，得到6个大小为7 × 7 × 64的局部光谱特征。最后，通过光谱特征融合得到全局光谱特征。多尺度光谱特征融合模块采用涉及级联运算和瓶颈层的组合处理策略，瓶颈层由64个大小为1 × 1的二维卷积核组成。在光谱特征提取分支上，得到了维数为7 × 7 × 64的多尺度光谱特征矩阵。
图7所设计模型的总体框架
图8 多尺度光谱特征提取框架
图9为多尺度分层空间特征提取模块。本研究在该模块中加入了空间注意机制。空间级注意机制旨在识别值得关注的空间像素区域，并为空间上下文信息区域重新分配权重。Xk∈RS×S×C表示空间级注意机制的输入数据，其中S×S和C1分别表示空间维度和光谱频带数。首先，为了降低计算复杂度和谱带的数量，我们使用一个大小为1 × 1 ×C ×O的三维卷积层对输入数据Xk∈RS×S×C进行自顶向下的变换，得到f(Xk)∈RS×S×O, g(Xk)∈RS×S×O, h(Xk)∈RS×S×O。f(Xk)的数学表达式为:
其中ωf和bf分别表示三维卷积层的权重和偏置。g(Xk)和h(Xk)的数学表达式与f(Xk)相似。接下来，将特征映射f(Xk)∈RS×S×O重构为f(Xk)∈RSS×0。通过计算f(Xk)与g(Xk)T的乘积，得到不同高光谱像元之间的相互依赖关系，其数学表达式为:
随后，使用softmax函数对R进行归一化，可以写成:
进一步，通过计算归一化后的R与h(Xk)的乘积，生成注意力特征图Att。最后，使用大小为1 × 1 ×C ×O和1 × 1 × n × n的两个三维卷积层，将Att∈RS×S×O变换为Att '∈RS×S×C。此外，为了实现浅层特征的重用和促进信息的流动，在空间层面的注意机制中引入了跳过连接。
此外，该研究结合了一个分层空间特征融合模块，认识到在不同阶段捕获的空间特征具有不同的重要性。浅层特征的接受域较小，只能提取局部特征，但具有较高的分辨率和丰富的细节信息。相比之下，深度特征具有较低的分辨率，但包含更多抽象的高级语义信息。浅层特征与深层特征相辅相成。受此启发，我们设计了层次化的空间特征融合模块，对不同阶段的空间特征进行聚合，从而获得多层次的空间特征。
分层空间特征融合模块由三部分组成:低层残差模块、中层残差模块和高层残差模块。它既能捕捉到详细的浅层空间特征，又能捕捉到抽象的深层空间特征。每个残差模块由两个3D卷积层、一个BN层和一个PReLU激活函数组成。卷积层有16个大小为3 × 3 × 1的滤波器。利用BN层和PReLU激活函数增强网络的非线性识别能力。此外，为了加速模型收敛和避免过拟合，每个模块中都引入了跳过连接。Ii和Oi分别表示残差模块的输入和输出数据。i∈[0,1,2]，i为残差模块的索引。分层空间特征融合模块的基本原理可写为:
其中，xi表示i残差模块的中间输出;ω和b分别表示卷积层的权值和偏置，其上标表示残差模块的指标，下标表示当前卷积层的指标。δ表示PReLU激活函数。最终输出通过额外的操作来补偿网络计算过程中的信息损失。
在本模块中，首先使用SAA对原始的胶质瘤病理微高光谱数据进行缩小，并输入27 × 27 × 30的图像块。与光谱特征提取过程类似，初始化过程包括一个3D卷积层、一个BN层和一个激活函数，其中包含16个大小为5 × 5 × 30和16个大小为3 × 3 × 1的滤波器，激活函数为ReLU。初始化模块完成后，将原始输入数据转换为四维向量，计算出23 × 23 × 1 × 16维的大小。利用空间注意机制将变换后的数据输入到空间特征提取模块中，实现多层次的空间特征提取。多尺度空间特征提取模块包括空间注意机制和多阶段空间特征融合模块。多尺度空间特征提取完成后，将空间特征尺寸改为23 × 23 × 16 × 16，然后进行空间特征融合。将空间特征与另一分支的光谱特征进行拼接，转化为7 × 7 × 8的多层次空间特征。
图9多尺度分层空间特征提取模块
图10为空间光谱融合特征提取模块。该模块有效捕捉了空间-光谱特征之间的紧密联系，将多尺度光谱特征、多层次空间特征和高阶融合特征进行融合，进一步细化提取。经过处理后，获得更全面、综合的多尺度特征，用于分析和识别胶质瘤病理切片的恶性程度。具体而言，通过级联运算将多尺度光谱特征和多层次空间特征聚合，得到的光谱-空间联合特征作为该模块的输入。然后，经过1 × 1的二维卷积层，将光谱-空间联合特征均匀划分为4个子集作为不同分支的输入数据，记为s1, s2, s3, s4。每个子集包含四分之一的原始输入数据通道。接下来，s2被传递到第二个分支的卷积层，生成第一个高级语义特征子集，其中卷积层有18个大小为3 × 3的过滤器。随后，将第3个分支的卷积层的输入数据相加，得到第3个分支的卷积层的输入数据，并对输入数据进行卷积处理，生成第2个高级语义特征子集第3个分支的输入数据。类似地，我们将s3和s4相加，并将结果传递给第四个分支上的卷积层来生成第三个高级语义特征子集;该模块的基本原理可以写成如下:
其中ki表示卷积运算。最后，我们使用级联操作来聚合s1, s2, s3, s4，并将它们传递给1 × 1的卷积层。最后，为了防止深度特征提取后模型的过拟合，我们对分类器进行了分层正则化和归一化，使融合特征的权重自适应调整。假设神经胶质瘤病理切片数据集包含5个类别，该模型输出一个5维的一维向量。
图10 多尺度光谱特征提取框架
3.结果
3.1. 模型参数分析
3.1.1. 图像块大小分析
使用更大的图像块可以方便网络捕获更复杂的特征。但是，如果图像块太大，可能会引入不相关的信息，从而影响小目标的空间特征提取，从而阻碍网络学习对分类有用的特征的能力。相反，如果图像块大小过小，则可能无法提取足够的空间信息，从而导致模型的整体分类精度下降。因此，本研究将光谱特征提取模块的输入图像块大小分别设置为5 × 5、7 × 7、9 × 9、11 × 11和13 × 13。空间特征提取模块的输入图像块大小分别设置为21 × 21、23 × 23、25 × 25、27 × 27、29 × 29。模型输入图像块的空间维度对胶质瘤病理样本数据集分类结果的影响如图11和图12所示。这些图表明，当光谱特征提取模块输入大小为7 × 7的图像块，而空间特征提取模块输入大小为27 × 27的图像块时，本研究提出的SMLMER-ResNet模型在胶质瘤病理样本数据集上表现出优越的性能指标。空间特征提取模块的输入图像块大小为27 × 27，光谱特征提取模块的输入图像块大小为7 × 7。本研究提出的SMLMER-ResNet模型在神经胶质瘤病理样本数据集上表现出优越的性能指标。因此，确定SMLMER-ResNet网络模型的最佳输入图像块大小分别为7 × 7(光谱特征提取模块的输入图像块大小)和27 × 27(空间特征提取模块的输入图像块大小)。这是考虑到分类精度和网络计算量。
图11 光谱特征提取模块的输入图像块大小
图12 空间特征提取模块的输入图像块大小
3.1.2. 模型学习率分析
选择合适的学习率可以帮助网络模型提供更好的训练结果。当学习率很小时，收敛速度慢，容易发生过拟合;当学习率较高时，梯度可能会在最小值附近来回振荡，甚至可能无法收敛。我们测试了脑胶质瘤病理切片显微高光谱数据的四种学习率:0.01、0.005、0.001和0.0005。不同学习率下的分类结果见表2。随着学习率的降低，分类准确率逐渐提高。当学习率过小时，模型的收敛速度减慢，分类精度降低。当学习率为0.001时，模型达到图中分类准确率的峰值，如图13所示。因此，我们确定学习率为0.001。
表2 不同学习率评价指标的比较
图13 不同级别胶质瘤切片的预测结果
3.2. 烧蚀实验
SMLMER-ResNet框架由光谱特征提取模块、空间特征提取模块、多尺度空间-光谱特征融合模块和分类器模块四个模块组成。为了全面评估这些模块的疗效，我们设计了基于神经胶质瘤病理切片微高光谱数据集的模型消融实验。我们已经启动了验证过程，根据以下标准单独检查每个模块。
3.2.1. 分类机制的有效性
为了确定所提出的分类器的有效性，本研究设计了一系列的烧蚀实验来测试以下不同的分类器配置:测试了以下配置:(1)与ReLU, FR全连接层;(2) s型全连通层，FS;(3)全连通层，ReLU L2正则化，FRL2;(4)本研究设计的分类器，它结合了全连接层、sigmoid激活函数和L2正则化函数FSL2。从表3可以看出，本文提出的分类器方法在对胶质瘤病理组织的恶性程度进行分类时优于传统的分类器。模型的评价指标优于其他机制的评价指标。
表3 分类机制的比较有效性
3.2.2. 注意机制的有效性
为了验证所研究模型的注意机制(频谱和空间)的有效性，本节进行了消融实验。消融实验将分类模型纳入本研究设计的无注意机制模块、频谱注意机制模块、空间层次注意机制模块和多模态多尺度注意机制模块。表4表明，与有注意机制的模型相比，没有注意机制的模型在OA、AA和Kappa方面表现较差。这一证据支持引入注意力机制的必要性。此外，引入光谱注意机制的模型与引入空间注意机制的模型表现出相当的性能。但引入本文设计的多模态、多尺度注意机制后，评价指标明显差于模型。这足以证明本研究提出的方法比引入空间层面注意机制的模型更有效。
表4 注意机制有效性的比较
3.3. 改进模型与传统模型的比较
为了验证模型性能的提高，我们比较了传统SE-ResNet算法与本研究提出的SMLMER-ResNet算法对不同水平脑胶质瘤病理切片的分类能力。我们对两个模型使用了相同的数据集和预处理步骤。分类结果如表5所示，不同算法的识别结果如图14所示。SMLMER-ResNet的总体精度(OA)、平均精度(AA)和Kappa系数均优于SE-ResNet，远高于其他机器学习算法。这些结果表明，我们的研究所引入的改进可以更有效地从不同水平的脑胶质瘤病理切片中提取空间光谱特征。SMLMER-ResNet的可调参数(126,540)略高于SE-ResNet(123,780)，但准确率有了很大提高，如表5所示，表明本研究提出的SMLMER-ResNet方法在保留原始模型的轻量级特性的同时，对恶性分级的识别准确率也更高，如图14所示。
表5所示。改进前后模型结果的比较。
图14 不同分级胶质瘤病理切片高光谱图像特征提取过程。(a) OA%， (b) Kappa
4.分析
近年来，机器学习方法，特别是深度学习算法，已经成为一种辅助病理自动诊断的新兴技术。它可以提高诊断速度，减少病理间变异性[32-36]。以往的研究主要使用较大的RGB图像块和较低的放大倍率来包含足够的组织学特征。为了有效地对这些图像块进行分类，通常需要相对复杂的网络架构。HSI技术可以捕获由分子变化引起的微小光谱差异，提供比传统三通道RGB组织颜色信息更有用的信息。因此，HSI技术可以使许多不同的显微镜应用受益，例如组织切片中的癌症检测。
本研究的重点是利用显微高光谱图像从胶质瘤病理切片中识别恶性程度。我们将高光谱图像与深层神经网络算法特性相结合，完成不同亚型胶质瘤病理切片的识别和分类。提出了一种多模态、多尺度的高光谱图像特征提取模型SMLMER-ResNet，该模型集成了通道关注机制。该模型包括一个多尺度规格光谱特征提取模块、分层空间特征提取模块和零谱融合特征提取模块。这些模块是为神经胶质瘤病理切片的显微高光谱图像分类而设计的。SMLMER-ResNet模块首先对每个通道的特征赋予权重，学习不同通道之间的特征相关性，从而实现跨通道的特征融合。将原始卷积层替换为最大池化层和上采样层，提取图像的显著特征，并采用并行特征融合方法提取通道维度中不同尺度的特征。在跳转连接级别添加1 × 1卷积层，以补偿池化层中丢失的本地信息。同时，我们提取了胶质瘤病理组织切片的浅层和深层语义特征，为提高模型精度奠定了基础。我们首先通过机器学习选择最佳的数据降维方法(SAA)。在此过程中，我们发现不同降维方法与分类建模方法相结合对脑胶质瘤病理切片亚型识别的准确率不超过90%，且SAA-SVM、SAA-DT和SAA-RFR模型在准确率和Kappa方面均优于SPA-SVM、SPA-DT和SPA-RFR模型。我们设计了实验来确定SMLMER-ResNet模型的最佳参数。我们将图像块大小设置为7 × 7和27 × 27。我们将学习率设置为0.001。改进的SMLMER-ResNet模型的参数数为126,540，高于SE-ResNet模型的参数数为123,780，但识别准确率从88.1%提高到99.4%，我们认为可以接受。通过比较几种常用的识别算法，我们按照WHO在2016年引入的分类方法，高效准确地对弥散性胶质瘤病理切片进行了分类。平均分类准确率为97.32%，Kappa系数为0.954。与其他深度学习方法相比，本文提出的SMLMER-ResNet模块可以有效地从微高光谱图像中提取空间特征和通道特征，以更少的计算成本获得更好的分类结果，增强了鲁棒性。与传统的机器学习方法相比，本文使用的模型可以自动从高光谱图像中学习相关特征，并通过反向传播不断优化网络参数，更适合于微观高光谱图像的精确分类。
5.结论
本文提出的SMLMER-ResNet算法在传统的剩余连接模块之前引入了信道注意机制SE模块。在此设计的基础上，引入并行多尺度图像特征方法，进一步从三维高光谱图像中提取相关特征。我们的设计改进了残差连接内的卷积层，将其转化为不同图像大小的多分支模块，有效地减少了冗余信息，提高了网络的特征提取能力。与传统算法相比，本研究有效地提高了胶质瘤病理切片亚型识别的准确性。使用该方法，我们可以深入到胶质瘤病理切片的图谱信息，并按照WHO在2016年推出的分类标准高效准确地识别弥漫性胶质瘤病理切片。我们的方法解决了与恶性分级的低效率、耗时和费力分类相关的问题，这些问题限制了现有的辅助检测方法。本研究为临床病理学家提供了一种有效的辅助诊断工具。然而，我们的工作有一些局限性。我们为这项研究获得了一个小样本量。未来，我们将扩大样本量，充分利用吉林大学第三医院现有的临床资源，进一步验证我们的模型，以促进我们的高光谱图像分析仪在临床界的应用。我们未来的另一项努力是探索哪个特定的高光谱图像波段或高光谱图像中的病理特征改善了分类结果，并与医院合作完成了对医学机制的研究，提高了测试的可解释性。
