摘要

本文提出了一种利用深度卷积神经网络(CNN)自动定量评估射线照片上膝关节骨关节炎(OA)严重程度的方法。临床上，膝关节骨关节炎的严重程度用 Kellgren & Lawrence (KL)五点评分来评估。以前的工作是基于使用各种手工设计的特征训练的浅层分类器，从放射图像中自动预测KL等级。我们证明，利用深度卷积神经网络模型在ImageNet上进行预训练然后用膝OA图像进行微调，可以显著提高分类精度。此外，我们认为，与使用分类准确度相比，使用基于连续距离的评估指标（如均方误差）来评估膝关节OA自动严重性预测的准确度更为合适。这就使得KL等级的预测成为一个回归问题，并进一步提高了预测的准确性。从骨关节炎倡议(OAI)的X射线图像和KL等级数据上的结果显示，与目前的先进水平相比，效果有了很大的提升。

方法

从X线片中自动检测、提取膝关节区域是一项重要的预处理步骤。Shamir ET等人为此提出了模板匹配方法。虽然该方法实现简单，但是对于我们的数据集，检测膝关节的精度很低，为了改进检测，我们提出了一种支持向量机的方法。

1)模板匹配：

作为基线，我们将模板匹配方法[2]用于膝关节中心的检测，使之成为20×20像素的图像补丁。首先将X线片缩小到原来大小的10%，然后进行直方图均衡化以进行强度归一化。将包含膝关节中心的图像片(20个×20个像素)作为模板。每个级别的10个图像补丁，预先选择的总共50个补丁作为模板。每个输入图像通过重叠滑动窗口(20×20像素)扫描。在每个窗口计算图像补丁与50个模板之间的欧几里德距离，并计算出最短的距离。在用滑动窗口扫描整个图像之后，记录最小欧氏距离的窗口被记录为膝关节中心。

2)提出的膝关节检测方法：

提出了一种基于线性SVM和Sobel水平图像梯度的膝关节中心检测方法。众所周知的Sobel边缘检测算法使用垂直和水平图像梯度。其原因是膝关节图像主要包含水平边缘。将包含膝关节中心的图像片(20×20个像素)作为阳性训练样本，并且将不包括膝关节中心的图像片(20×20个像素)作为阴性训练样本。在提取阳性和阴性样本的Sobel水平梯度后，对线性SVM进行训练。为了从左膝关节和右膝关节同时检测膝关节中心，将输入图像分成两半，以分别分离左膝关节和右膝关节。在每半幅图像上使用滑动窗口(20×20像素)，并对每个图像块提取Sobel水平梯度特征。基于支持向量机决策函数的最大得分图像补丁被记录为检测到的膝关节中心，并利用相应的记录坐标从输入图像中提取膝关节中心周围的面积(300×300像素)。下图示出了检测和提取的膝关节的示例。

3)使用神经网络评估膝骨关节炎的严重程度

1) 使用从CNNS中提取的特征分类： 作为我们的初始方法，我们使用OAI数据集训练了VGG16。我们使用Caffe框架来实现和训练CNN，并从CNN中提取特征。我们从VGGnet的不同层中提取特征，如全连接层(Fc7)、池化层(pool5)和卷积层(Conv5_2)，以识别最具鉴别性的特征集。线性SVMS（使用linear进行训练）使用提取的CNN特征进行训练，用于分类膝关节OA图像，其中GT(Ground truth)被标记为在KL等级上调节的图像。接下来，我们研究了使用更简单的预训练的CNN，如VGG-M-128和BVLC CaffeNet对膝关节OA图像进行分类。与VGG-16相比，这些网络具有更少的层数和参数。