医学信息学杂志２０１８年第３９卷第３期 ｊＯＵＲＮＡＬ ＯＦ ＭＥＤＩＣＡＬ ＩＮＦＯＲ』ｖＩＡＴＩＣＳ ２０１８．Ｖｏ１．３９。Ｎｏ．３ 基于深度卷积神经网络的脑部图像疾病类 别特征库构建 冰 万艳丽 胡红濮 陈 荃 高 星 王 岩 （中国医学科学院／北京协和医学院医学信息研究所北京１０００２０） ［摘要］ 介绍深度卷积神经网络基本理论，阐述基于深度卷积神经网络的脑部图像视觉特征提取，设计一 种适用于脑部疾病图像的分类器，进而实现脑部图像疾病类别特征库构建，为基于脑部图像疾病类别特征 库开展临床辅助决策等应用提供可能。 ［关键词］ 卷积神经网络；图像视觉特征；脑部图像 ［中图分类号］Ｒ一０５６ ［文献标识码］Ａ ［ＤＯＩ］１０．３９６９／ｊ．ｉｓｓｎ．１６７３—６０３６．２０１８．０３．００３ Ｂｕｉｌｄｉｎｇ ｏｆ Ｂｒａｉｎ Ｉｍａｇｅ Ｄｉｓｅａｓｅ Ｃａｔｅｇｏｒｙ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ Ｄａｔａｂａｓｅ Ｂａｓｅｄ ｏｎ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ＷＡＮ Ｙａｈ— ｌｉ，ＨＵ ｔｔｏｎｇ—ｐｕ，ＣＨＥＮ Ｑｕａｎ，ＧＡＯ Ｘｉｎｇ，ＷＡＮＧ Ｙａｎ，Ｉｎｓｔｉｔｕｔｅ ｏｆＭｅｄｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｆＭｅｏｄｉｃａｌ Ｓｃｉｅｎｃｅｓ￣Ｐｅｋｉｎｇ Ｕｎｉｏｎ Ｍｅｄｉｃａｌ Ｃｏｌｌｅｇｅ，Ｂｅ 讯ｇ １０００２０，Ｃｈｉｎａ ［Ａｂｓｔｒａｃｔ］Ｔｈｅ ｐａｐｅｒ ｉｎｔｒｏｄｕｃｅｓ ｔｈｅ ｂａｓｉｃ ｔｈｅｏｒｙ ｏｆ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｎｄ ｅｘｐｏｕｎｄｓ ｏｎ ｖｉｓｕａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｏｆ ｂｒａｉｎ ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ），ｄｅｓｉｇｎｓ ａ ｋｉｎｄ ｏｆ ｅａｔｅｇｏｒｉｚｅｒ ｔｈａｔ ｉｓ ａｐｐｌｉｃａｂｌｅ ｔｏ ｂｒａｉｎ ｄｉｓｅａｓｅ ｉｍａｇｅ ｔｏ ｂｕｉｌｄ ｂｒａｉｎ ｉｍａｇｅ ｄｉｓｅａｓｅ ｃａｔｅｇｏｒｙ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｄａｔａｂａｓｅ，ｍａｋｉｎｇ ａｐｐｌｉｃａｔｉｏｎｓ ｌｉｋｅ ｃｌｉｎｉｃａｌ ａｓｓｉｓｔａｎｔ ｄｅｃｉｓｉｏｎ—ｍａｋｉｎｇ ｂａｓｅｄ ｏｎ ｂｒａｉｎ ｉｍａｇｅ ｄｉｓｅａｓｅ ｃａｔｅｇｏｒｙ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｄａｔａｂａｓｅ ｐｏｓｓｉｂｌｅ． ［Ｋｅｙｗｏｒｄｓ］ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）；Ｉｍａｇｅ ｖｉｓｕａｌ ｆｅａｔｕｒｅｓ；Ｂｒａｉｎ ｉｍａｇｅｓ 量约８０％来自于医学图像资料。面对这些日益增长 １ 引言 随着现代医学的发展， 医院的诊疗活动越来越 多地依赖医学影像的检查 （如Ｘ线、ＣＴ、ＭＲ、超 声、内镜、血管造影等）， 医院内部所产生的数据 的海量级医学图像资源，基于现有的影像存储与传 输系统（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓ— ｔｅｒｎｓ，ＰＡＣＳ），构建更加高效合理的医学图像特征 库，组织和管理好这些来源于各种各样的设备、各 种不同的人体组织器官和多种病症的海量医学图像 资源，以便于对某些疑难病症进行归类和分析，是 ［修回Ｅｔ期］ ［作者简介］ ２０ｌ７一Ｏ６一ｌ３ 实现基于医学案例的数据管理及循证医学的关 键 一引。 万艳丽，副研究员，博士；通讯作者：胡红 濮。 按疾病类别构建医学图像类别特征库可以实现 具有类似病理特征的图像快速定位和检索，对辅助 诊断、教学科研和远程医疗等应用领域具有重要的 ［基金项目］ 国家自然科学基金项目（项目编号： ６１７０３４３６）；中央级公益性科研院所基本科研 业务费项目（项目编号：２０１６ＺＸ３３００１３）。 应用价值。本文以脑部图像为例，基于深度卷积神 ·ｌ６· ２０１８年第３９卷第３ ＪＯＵＲＮＡＬ ＯＦ ＭＥＤＩＣＡＬ ＩＮＦＯＲＭＡＴＩＣＳ ２０１８，Ｖｏ１．３９，ＮＯ．３ 经网络设计一种适用于脑部疾病图像的分类器，进 而实现脑部图像疾病类别特征库的构建，为基于脑 部图像疾病类别特征库开展临床辅助决策等应用提 供可能。 ２深度卷积神经网络基本理论 ２．１ 概念 图１ 深度卷积神经网络的原理 卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＣＮＮ）的概念已经存在了几十年，是广泛应用在模 式识别、图像处理领域的一种高效识别算法，具有 结构简单、训练参数少和适应性强的特点。但采用 多个堆叠层训练的深度网络最近几年才受到广泛关 ３ 基于深度卷积神经网络的脑部图像视觉 特征提取 ３．１ 概述 注。２０１２年Ｋｒｉｚｈｅｖｓｋｙ等人Ｌ４ 提出的深度卷积神经 网络架构，也称为ＡｌｅｘＮｅｔ，由５个卷积层与３个全 近年来以ＩｍａｇｅＮｅｔ的竞赛为标志，深度学习技 术在大尺度彩色图像的分类方面取得了长足的进 步，各种各样有效的分类器也相继出现，如经典的 ＡｌｅｘＮｅｔｌ４ ＧｏｏｇｌｅＮｅｔ＿６ｊ，卷积层组成，在ＩｍａｇｅＮｅｔ大尺度视觉识别挑战赛 中，将一个数据集中１２０万张图像分为１０００个不同 类别，他们设计的模型与其他学者的模型相比在识 别性能方面取得了实质性的提升。近年来虽有大量 关于用于彩色图像分类的深度卷积神经网络的研 究，但关于医学图像分析、处理和识别问题的研究 相对较少 。 ２．２ 原理 ，ＲｅｓＮｅｔ等。但是这些模型 直接应用到医学图像上时，所取得的精度却远远无 法与自然场景的彩色图像分类的精度相比。这主要 是因为医学图像与彩色自然图像相比，有自己的特 殊性，这种特征性导致了两者之间的巨大差异，也 对直接应用这些经典的成熟的模型形成了一定阻 碍。具体来说，自然场景图像由于场景之间存在较 大的差异，而且这种差异更多的表现为一种全局的 深度卷积神经网络实际上是一个多层的感知 器，每层由多个二维平面组成，而每个平面由多个 宏观特征的不同，因此在处理自然场景图像的分类 时，学者们所设计和网络都是在逐层的缩小特征图 的尺度，从而可以慢慢聚拢一种全局的特征，而这 独立神经元组成，网络中包含一些简单元和复杂 元，分别记为ｃ元和ｓ元。Ｃ元聚合在一起构成卷积 层，卷积层是卷积神经网络的核心层，用它来进行特 征提取，每个神经元的输入与前一层的局部感受野相 连，提取该局部的特征，通常会使用多层卷积层来得 种全局的特征也恰恰是区分各个场景的最有效特 征。但是对于医学图像来说，尤其是对于同一器官 的不同疾病种类来说，全局特征未必是最有效的特 征。如对于大脑的ＣＴ切片图像，从宏观上来看其 结构都是类似的，而疾病往往只是大脑扫描图像中 到更深层次的特征图；Ｓ元聚合在一起构成下采样 层，也称为池化层，实现对特征图的压缩。图１中输 的一个小的区块。要区分不同的疾病种类往往要借 助于这些小区块的特征。如果采用像自然场景图像 一入图像通过一组卷积核进行卷积运算，再加上一组偏 置项，在Ｃ层产生Ｎ个特征图，然后特征图通过一 样的分类网络，这些小区块的信息可能会在池化 个激活函数（Ｌｏｇｉｓｔｉｃ、Ｓｉｇｍｏｉｄ、ＲＥＬＵ等函数）得 到Ｓ层的特征图。根据设定的Ｃ层和Ｓ层的数量， 以上过程依此循环。最终对最尾部的卷积层和输出层 操作（Ｐｏｏｌｉｎｇ）的过程中逐渐的丢失，从而使最终 的分类精度降低。因此对于医学图像的特征提取与 分类，尤其是同一器官部位的扫描图像的特征提取 与分类，往往需要同时考虑全局特征与局部特征的 ·进行全连接，然后将输出值送给分类器。 ｌ７· 医学信息学杂志２０１８年第３９卷第３期 ＪＯＵＲＮＡＬ ＯＦ ＭＥＤＩＣＡＬ ＩＮＦＯＲＭＡＴＩＣＳ ２０１８．Ｖｏ１．３９．Ｎｏ．３ 提取，其中全局特征有利于区分不同方向或不同角 在原尺度、１／２尺度和１／４尺度３个尺度上对图像 的特征进行提取与合并，有效利用了全局特征与局 部特征，使得特征的区分能力和表达能力更强。 Ｉ Ｉ瑚Ｉ¨＿ 度的切片，而局部特征则有利于对同一种切片下的 不同疾病种类作出判断。 ３．２基本模块设计 １附●ｎ１－Ⅲ ｌ ０哪 Ｉ ｈ＾ Ｉ■一■■●－１ ｌ ｊ 基于医学图像的特点提出一种在多尺度上对图 像进行特征得取的网络，即可以提取宏观的全局特 征，也可以提取局部的病理特征。最后将这些全局 的和局部的特征进一步通过全连接层进行整合，从 卜 ０ 卜 Ｉ－，：＝ ，ｌ：：：＝＝：＝：１ ： ｌ＝：＝ ：＝＝＝＝：卜 ｆＩＬ啊Ⅳ ■ｔｈ＾■ ■．，’ Ｉ目一■■ａ＿ ■Ｉ■ｔｂ ●■Ｈ ■０嘴ｖ － 删Ｊ１ ■■■＿■■唧 ｌ ■口■■“＇■Ｕ＇ ｌ ｌｌ Ｉ． ： 。 ■＿■ｍ●Ｉ■■ｈ■ ■ｄＵ■ＩＭＨｍ ｕ＿ ｆ￣ｌＩＡ ＿ｕ，圳正Ｉ ｌ岫—－，ｈＨ扫Ｉ№哪啦■‘ Ｊ ｆ广ｒ 而得到最终用于分类的视觉特征。所提取的特征兼 顾了轮廓信息和局部纹理信息，信息损失比较小， 具有足够强的表达能力和区分能力。本文所使用的 网络的基本模块，见图２。这个基本模块是一个残 一＝＝＝＝ｉ ｌ Ｈ Ｇｏ ａ，３ｘ ３ ｌ 恩 ｕ盛 Ｉ～１ 差结构，是著名的ＲｅｓＮｅｔ的基本模块一个变形。与 ＲｅｓＮｅｔ的基本模块相比，基本模块本身具体多尺度 的特征，在这个模块的主分支里，有３个连续的卷 图３所使用的完整网络 ３．４分类函数选择 由于Ｌｏｇｉｓｔｉｃ函数只能被使用在二分类问题中， 积，由于每一个卷积都是上一个卷积的基础上进行 的运算，所以这３个卷积的感受域在逐渐增大，从 但是它的多项式回归，即Ｓｏｆｔｍａｘ函数，可以解决 多分类问题，当然，使用Ｌｏｇｉｓｔｉｃ函数建立 个独 立的二元分类器，也可以实现多分类问题，但是由 于脑部图像疾病类别的划分是一种互斥的关系，因 此本文更适于选择Ｓｏｆｔｍａｘ函数作为分类函数。Ｓｏｆｔ． ｍａｘ函数其实就是一个归一化的指数函数，其定义 如下： ， 、 而可以逐步提取全局上的特征，而Ｃｏｎｃａｔ这一层就 可以将这些局部的和全局的特征合并在一起。另外 Ａｄｄ层的存在也有将不同尺度的特征进行融合的功 能，而且还可以加速网络的收敛速度。 尸（ ）：— 一 （１）１ ∑：： ｅｘｐ（ ） 一 其中 和 是列向量，ｅｒｘ可能被换成函数关 于 的函数 （ ）。通过ｓｏｆｔｍａｘ函数，可以使得Ｐ （ｉ）的范围在［０，１］之间。在回归和分类问题 图２基本模块 中，通常 是待求参数，通过寻找使得Ｐ（ｉ）最大 的 作为最佳参数。 ３．３整体卷积神经网络结构设计 ４脑部图像疾病类别特征库构建 根据上述深度网络神经结构，提取脑部图像类 别特征，并建立训练视觉特征到疾病类别语义特征 的映射模型，建立视觉特征与疾病类别语义的关 除了上面所提到在基本块里进行多尺度的特征 提取之外，在网络中加入了池化层，将多个基本块 与池化层有机的组合，进而实现更有效的多尺度特 征提取。完整的网络结构图，见图３。图３中所示 的ＢａｓｅＭｏｄｕｌｅ就是对应图２中的基本块。Ｍｘ或Ｎｘ 是指本层的特征图的通道数，Ｗ和Ｈ是指本层特征 图的宽高值。没有特殊指明的情况下，所有的卷积 层都使用３×３大小的核。本文所使用的网络可以 ·联，构建脑部图像疾病类别特征库，为高效检索应 用提供保障。本文采用的脑部图像特征库构建与病 理图像检索流程，见图４。图中所示为本文所设计 的检索系统的主要流程，分３个部分。其中红色箭 ｌ ８． 医学信息学杂志２０１８年第３９卷第３ 头所指示的流程为训练过程，输人是一批经过标注 的训练图像。这些训练图像经过深度卷积神经网络 的计算提取到当前参数下的特征，然后送人Ｓｏｆｔｍａｘ 分类器进行预没，将预测结果与标注的标签进行比 对从而计算出分类损失，然后经过反向传导算法调 整网络的参数。经过多轮迭代之后，就可以得到训 练好的参数。本文借助于一个分类任务来训练网络 并提取特征，主要是因为分类与检索存在语义上的 相似性。紫色所指示的流程为特征库构建过程，输 入是医学图像库中的脑部扫描图像。将这些图像依 次通过训练好的网络可以计算得到其对应的特征， 这个特征可以是原始的网络计算得到的特征，也可 以根据需要进行二次加工，如进行哈希变换等。将 这些特征存放到数据库中就建成了一个脑部图像特 征数据库。绿色箭头所指示的过程为图像检索过 程，将待处理的病理图像通过网络计算得到其特 征，然后与特征库中的特征进行对比，从而检索到 相应的病理图像作为辅助诊断的参考。 标注 ¨ｌ＿练图像 巷积神经刚＝＝ Ｓｏｆｌｍａｘ －＝一ｉ训’算损失，反向 络提取特征 分类预测 传导训练参数 医学图像库…： 堑 塑 病理图像 图像检索 … 注：＝二！模型训练 一一特征库构建 病理图像检索 图４脑部图像特征库构建与病理图像检索流程 ５检索实验与结果分析 ５．１实验数据 训练数据采集了包含３种脑部疾病的图像数 据。一是从某医院影像科采集的包括脑出血、垂体 瘤两种病种各２００例病案的图像数据，其中图像模 态包括ＣＴ和ＭＲ两种。同时，从美国国家癌症研 究所（Ｎａｔｉｏｎａｌ Ｃａｎｃｅｒ Ｉｎｓｔｉｔｕｔｅ，ＮＣＩ）创建的开源 开放的癌症图像存档系统（Ｔｈｅ Ｃａｎｃｅｒ Ｉｍａｇｉｎｇ Ａｒ． ｃｈｉｖｅ，ＴＣＩＡ）中采集了１９９例胶质瘤患者的ＣＴ和 ＪＯＵＲＮＡＬ ＯＦ ＭＥＤｌＣＡＬ ＩＮＦＯＲＭＡＴＩＣＳ ２０１８．Ｖｏ１．３９．Ｎｏ．３ ＭＲ两种模态的图像数据。利用这些训练数据构建 脑部图像对应的疾病类别特征库。 ５．２相似性测度 检索测试时，将提取每幅待检索图像的视觉特 征向量，将其与特征库中的特征向量进行相似性计 算。本文网络所生成的原始特征为４ ０９６维的一个 向量，因此采用向量的欧式距离为作其相似度的度 量公式，公式如下： Ｓｆｆ． ＝Ｖ一 ｏ２ （２） 式中为当前待检索图像计算所得到的特征向 量，是特征库中的某一个特征向量。将相似性距离 按照从小到大的顺序排序，输出相应图像作为当前 检索图像的参考。 ５．３评价方法 查准率（Ｐｒｅｃｉｓｉｏｎ）和查全率（Ｒｅｃａｌ１）是目 前公认的衡量图像检索效果的相对合理的重要的评 价指标。公式如下： Ｐ＝ａ／（ａ＋ｂ），尺＝ａ／（ ＋Ｃ） （３） 其中Ｐ表示查准率，尺表示查全率，ｎ为检索 返回的满足条件的图像数，ｂ为检索返回的不满足 条件的图像数。Ｃ为系统中满足条件但未被检索出 的图像数。精确度和检索率越高，表明该检索系统 的效果越好 通常，检索率和精确度是一对矛盾， 当要求精度较高时，检索率较低，反之亦然。因 此，一般的检索系统只要求在这两者之间达到一个 最优的平衡点，就认为实现了较好的检索性能。查 全一查准率适用于反映整个检索出的结果上的总体 性能，但对检索结果中不同的排序不敏感，为此， 本文采用一组查询用例上的平均准确率（Ｍｅａｎ Ａｖ— ｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ，ＭＡＰ）和平均查全率作为测度，一 方面提高排序的敏感度，另一方面降低查询用例引 起的评测的不稳定性。其中ＭＡＰ计算公式如下： ＡＰ（ｑ）＝ ∑：：Ｒ Ｐ （尺 ） Ｐ＝ ∑ ＡＰ（ｑ） （４） 式中Ｐ。（Ｒ ）表示对应查全率为Ｒ 时的查准率 Ｐ 的值，Ｑ为查询用例集合，Ｉ Ｑ Ｉ为查询用例数量。 ·１９·