unet医学论文

论文： 论文翻译1 论文翻译2

亮点：

架构

attention模块用在了skip connection上，原始U-Net只是单纯的把同层的下采样层的特征直接concate到上采样层中，改进后的使用attention模块对下采样层同层和上采样层上一层的特征图进行处理后再和上采样后的特征图进行concate attention模块

这是3D的数据，F代表 feature( channel)，H 代表 height, W 代表 width， D代表 depth,就是3D数据块的深度。 Attention的意思是，把注意力放到目标区域上，简单来说就是让目标区域的值变大。

看下面这张图，xl本来是要直接通过跳跃连接和g上采样的结果进行concat，这里先对xl和g转成一样的size，然后相加，relu, sigmoid得到attention 系数后再与xl相乘。

为什么这样就能让注意力放到target区域呢？

文中提到要结合上下文的信息，其实上代表xl，g代表下，因为g学到的东西更多，信息更准确。为什么要加g呢？加g是很重要的，没有g就没有办法实现注意力系数的训练更新。我是这么理解的：g里面的信息，就是注意力该学习的方向。可以这么想，如果直接将g上采样一次得到g'，g'和xl的size一样。那么同样是target的区域的像素值，g'里的像素值会比xl里的像素值大，和xl叠加，就相当于告诉了xl应该去学习的重点。

把g里的信息叠加到xl，再通过训练使得attention 系数的值在0~1之间（让注意力更集中），让target区域的值趋近1，不相关的区域趋近0。

最后，让xl与attention coefficients相乘，相乘的结果里，就能把注意力放到目标区域上了。

总结： 利用下采样层的结构化信息和当前层纹理信息的融合，利用sigmoid归一化，得到关联性强的区域，和当前层做乘积，从而强调本层的显著性区域的特征。

在基础的UNet的基础上增加了attention 的机制，通过自动学习参数来调整激活值，attention的可视化效果还是主要部分，不像non-local的方式每一个像素点都要和其他像素点进行关联，可以视作一种隐式的注意力机制。

参考链接： Attention U-Net--胡二妞 Attention U-Net--炼丹师 Attention U-Net--许希律 医学图像分割-Attention Unet

我们可以看到，它能够结合图像的全局与局部细节方面的特征，进行综合的考虑。每经过几次卷积后，便会concatenate到后面的几层，直接传递到同高度decoder上进行信息融合。在刚开始卷积时，图像的feature map保留的是图像高分辨率的细节信息（病灶的具体形态，条状还是点状，边缘平滑亦或是粗糙等等），它能帮助最终我们的图像提供精细分割；而经过一次一次卷积池化后，最后在U-Net的最下层，此时的feature map中包含的是整幅图像的全局信息（病灶的总体位置、分布等），它能提供分割目标在整个图像中上下文语义信息，反应目标和周围环境之间的关系。 最后再经过一层一层上采样，将不同层级的信息一步一步融合，便可融合多尺度的信息，得到最终我们的判别分割结果。 用过U-Net的童鞋应该都知道，其很好的应用于少样本的医学图像。 首先医学图像等样本，问题空间是很小的，例如，细胞核分割、细胞膜分割、视网膜血管分割等等。变来变去都是这几种样式，而且我们还能用多种方式进行数据的扩增，由几十张图片扩增到数十万张训练集图片。所以小样本的医学图像就能够表现得非常出色了。而对于一般生活中的图片，则比较难处理，其问题空间非常大（风景、建筑、人物等等），U-Net这么小的一个结构难以完全刻画其中的关系。 另外，针对一般的医学图像，边界模糊、梯度复杂，需要较多的高分辨率信息用于精准分割。同时一般的医学分割目标在人体图像中的分布很具有规律，低分辨率信息能够提供这一信息，用于目标物体的识别。两者结合，正好是U-Net完美适用的场景。 底层(深层)信息 ：经过多次下采样后的低分辨率信息。能够提供分割目标在整个图像中上下文语义信息，可理解为反应目标和它的环境之间关系的特征。这个特征有助于物体的类别判断（所以分类问题通常只需要低分辨率/深层信息，不涉及多尺度融合） 高层(浅层)信息 ：经过concatenate操作从encoder直接传递到同高度decoder上的高分辨率信息。能够为分割提供更加精细的特征，如梯度等。 为什么适用于医学图像？ （1）因为医学图像边界模糊、梯度复杂，需要较多的高分辨率信息。高分辨率用于精准分割。 （2）人体内部结构相对固定，分割目标在人体图像中的分布很具有规律，语义简单明确，低分辨率信息能够提供这一信息，用于目标物体的识别。 UNet结合了 低分辨率信息 （提供物体类别识别依据）和 高分辨率信息 （提供精准分割定位依据），完美适用于医学图像分割。 同时结合高分辨率的局部信息，和低分辨率更大面积的信息 U-net的结构都了解，实际上就是一个编码-解码的过程： 底层的特征（如Layer1，2，3的输出）更偏向于组成图像的基本单元，如点，线，边缘轮廓，而在高层抽象的特征（如Layer4，5）就更抽象，更近似于表示的是图像的语义信息，更像是一个区域了。解码仅仅是将抽象特征恢复到模板的过程。那么就有问题了，解码在将下采样数据恢复的时候，特征scale会发生变化，必然会有信息的丢失， skip connention的作用就凸显出来了，skip connention起到了补充信息的作用，在高层补充了语义的信息，在底层细化了分割的轮廓等，所以，想像一下我们从特征中已经大致恢复了区域的分割信息，再加上原始特征的修正， 从传统分割算法里面想想，传统的方法中有基于边缘的分割方法，有基于区域的分割方法等等，而编码的过程恰恰不就是将两种方法的特征整合了吗，所以说在U-Net系列的语义分割网络中编码的好坏会影响最终的分割效果，也是为什么好多论文改进的地方主要集中在编码过程的原因。 它有up-conv的操作，这说明是个auto encoder的架构，有点像全连接自变码器可以添加或去除噪音。这个cnn的自变码器学了局部特征然后压缩，再解压缩，最后获得边界识别能力 它先全局观察，大致判断目标区域在哪里，然后把更细节的信息一起考虑进去，把分割做得更精确。