作为CVPR2017年的Best Paper, DenseNet 脱离了 加深网络层数(ResNet) 和 加宽网络结构(Inception)来提升网络性能的定式思维 ,从特征的角度考虑,通过 特征重用和旁路(Bypass)设置 ,既大幅度减少了网络的参数量,又在一定程度上缓解了gradient vanishing问题的产生.结合信息流和特征复用的假设,DenseNet当之无愧成为2017年计算机视觉顶会的年度最佳论文.
卷积神经网络在沉睡了近20年后,如今成为了深度学习方向最主要的网络结构之一.从一开始的只有五层结构的LeNet, 到后来拥有19层结构的VGG, 再到首次跨越100层网络的Highway Networks与ResNet, 网络层数的加深成为CNN发展的主要方向之一.
随着CNN网络层数的不断增加, gradient vanishing和model degradation问题 出现在了人们面前, BatchNormalization的广泛使用在一定程度上缓解了gradient vanishing的问题 ,而 ResNet和Highway Networks通过构造恒等映射设置旁路,进一步减少了gradient vanishing和model degradation的产生 .Fractal Nets通过将不同深度的网络并行化,在获得了深度的同时保证了梯度的传播,随机深度网络通过对网络中一些层进行失活,既证明了ResNet深度的冗余性,又缓解了上述问题的产生. 虽然这些不同的网络框架通过不同的实现加深的网络层数,但是他们都包含了相同的核心思想,既将feature map进行跨网络层的连接.
何恺明在提出ResNet时做出了这样的假设:若某一较深的网络多出另一较浅网络的若干层有能力学习到恒等映射,那么这一较深网络训练得到的模型性能一定不会弱于该浅层网络.通俗的说就是如果对某一网络中增添一些可以学到恒等映射的层组成新的网路,那么最差的结果也是新网络中的这些层在训练后成为恒等映射而不会影响原网络的性能.同样DenseNet在提出时也做过假设:与其多次学习冗余的特征,特征复用是一种更好的特征提取方式.
ResNet的一个最主要的优势便是梯度可以流经恒等函数来到达靠前的层.但恒等映射和非线性变换输出的叠加方式是相加, 这在一定程度上破坏了网络中的信息流.
为了进一步优化信息流的传播,DenseNet提出了图示的网络结构
如图所示,第i层的输入不仅与i-1层的输出相关,还有所有之前层的输出有关.记作:
由于在DenseNet中需要对不同层的feature map进行cat操作,所以需要不同层的feature map保持相同的feature size,这就限制了网络中Down sampling的实现.为了使用Down sampling,作者将DenseNet分为多个Denseblock,如下图所示:
在同一个Denseblock中要求feature size保持相同大小,在不同Denseblock之间设置transition layers实现Down sampling, 在作者的实验中transition layer由BN + Conv(1×1) +2×2 average-pooling组成.
在Denseblock中,假设每一个非线性变换H的输出为K个feature map, 那么第i层网络的输入便为K 0 +(i-1)×K, 这里我们可以看到DenseNet和现有网络的一个主要的不同点:DenseNet可以接受较少的特征图数量作为网络层的输出,如下图所示
原因就是在同一个Denseblock中的每一层都与之前所有层相关联,如果我们把feature看作是一个Denseblock的全局状态,那么每一层的训练目标便是通过现有的全局状态,判断需要添加给全局状态的更新值.因而每个网络层输出的特征图数量K又称为Growth rate,同样决定着每一层需要给全局状态更新的信息的多少.我们之后会看到,在作者的实验中只需要较小的K便足以实现state-of-art的性能.
虽然DenseNet接受较少的k,也就是feature map的数量作为输出,但由于不同层feature map之间由cat操作组合在一起,最终仍然会是feature map的channel较大而成为网络的负担.作者在这里使用1×1 Conv(Bottleneck)作为特征降维的方法来降低channel数量,以提高计算效率.经过改善后的非线性变换变为BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3),使用Bottleneck layers的DenseNet被作者称为DenseNet-B.在实验中,作者使用1×1卷积生成channel数量为4k的feature map.
为了进一步优化模型的简洁性,我们同样可以在transition layer中降低feature map的数量.若一个Denseblock中包含m个feature maps,那么我们使其输出连接的transition layer层生成⌊θm⌋个输出feature map.其中θ为Compression factor, 当θ=1时,transition layer将保留原feature维度不变.
作者将使用compression且θ=0.5的DenseNet命名为DenseNet-C, 将使用Bottleneck和compression且θ=0.5的DenseNet命名为DenseNet-BC
由于DenseNet对输入进行cat操作,一个直观的影响就是每一层学到的feature map都能被之后所有层直接使用,这使得特征可以在整个网络中重用,也使得模型更加简洁.
从上图中我们可以看出DenseNet的参数效率:左图包含了对多种DenseNet结构参数和最终性能的统计,我们可以看出当模型实现相同的test error时,原始的DenseNet往往要比DenseNet-BC拥有2-3倍的参数量.中间图为DenseNet-BC与ResNet的对比,在相同的模型精度下,DenseNet-BC只需要ResNet约三分之一的参数数量.右图为1001层超过10M参数量的ResNet与100层只有0.8M参数量的DenseNet-BC在训练时的对比,虽然他们在约相同的训练epoch时收敛,但DenseNet-BC却只需要ResNet不足十分之一的参数量.
解释DenseNet为何拥有如此高性能的另一个原因是 网络中的每一层不仅接受了原始网络中来自loss的监督 ,同时由于 存在多个bypass与shortcut,网络的监督是多样的 .Deep supervision的优势同样在deeply-supervised nets (DSN)中也被证实.(DSN中每一个Hidden layer都有一个分类器,强迫其学习一些有区分度的特征).与DSN不同的是,DenseNet拥有单一的loss function, 模型构造和梯度计算更加简易.
在设计初,DenseNet便被设计成让一层网络可以使用所有之前层网络feature map的网络结构,为了探索feature的复用情况,作者进行了相关实验.作者训练的L=40,K=12的DenseNet,对于任意Denseblock中的所有卷积层,计算之前某层feature map在该层权重的绝对值平均数.这一平均数表明了这一层对于之前某一层feature的利用率,下图为由该平均数绘制出的热力图:
从图中我们可以得出以下结论:
a) 一些较早层提取出的特征仍可能被较深层直接使用
b) 即使是Transition layer也会使用到之前Denseblock中所有层的特征
c) 第2-3个Denseblock中的层对之前Transition layer利用率很低,说明transition layer输出大量冗余特征.这也为DenseNet-BC提供了证据支持,既Compression的必要性.
d) 最后的分类层虽然使用了之前Denseblock中的多层信息,但更偏向于使用最后几个feature map的特征,说明在网络的最后几层,某些high-level的特征可能被产生.
作者在多个benchmark数据集上训练了多种DenseNet模型,并与state-of-art的模型(主要是ResNet和其变种)进行对比:
由上表我们可以看出,DenseNet只需要较小的Growth rate(12,24)便可以实现state-of-art的性能,结合了Bottleneck和Compression的DenseNet-BC具有远小于ResNet及其变种的参数数量,且无论DenseNet或者DenseNet-BC,都在原始数据集和增广数据集上实现了超越ResNet的性能.
DenseNet详解
论文阅读 | CVPR2017(Best Paper) | Densely Connected Convolutional Networks
传统的文本分类一般都是使用词袋模型/Tf-idf作为特征+机器学习分类器来进行分类的。随着深度学习的发展,越来越多的神经网络模型被用来进行文本分类。本文将对这些神经网络模型做一个简单的介绍。
本文介绍了一种词向量模型,虽然算不得文本分类模型,但由于其可以说是fasttext的基础。因此也简单提一下。
作者认为cbow和skipgram及大部分词向量模型都没有考虑到单词的多态性,而简单的将一个单词的多种形态视为独立的单词。例如like的不同形式有likes,liking,liked,likes,这些单词的意思其实是相同的,但cbow/skipgram模型却认为这些单词是各自独立的,没有考虑到其形态多样性。
因此作者提出了一个可以有效利用单词字符级别信息的n-gram词向量模型,该模型是以skipgram模式实现的。例如单词 where,其n-gram表示为<wh, whe, her, ere, re>, where。其中<>分别表示前后缀。在原始的skipgram模型中,输入仅仅只是where的onehot向量,而在此模型中输入则变成了<wh, whe, her, ere, re>, where的onehot编码的加和,有效的利用了字符级别的信息,因此效果更加好。
而在loss方面,文中采用了负采样+binary LogisticRegression的策略。即对每一个目标单词都预测为正负中的一种。
在本文中作者提供了一个基于神经网络的文本分类模型,这个模型是基于cbow的,与cbow非常类似。
和CBOW一样,fastText模型也只有三层:输入层、隐含层、输出层(Hierarchical Softmax),输入都是多个经向量表示的单词,输出都是一个特定的target,隐含层都是对多个词向量的叠加平均。不同的是,CBOW的输入是目标单词的上下文,fastText的输入是多个单词及其n-gram特征的embeding表示方式,这些特征用来表示单个文档;CBOW的输入单词被onehot编码过,fastText的输入特征是被embedding过;CBOW的输出是目标词汇,fastText的输出是文档对应的类标。输出层的实现同样使用了层次softmax,当然如果自己实现的话,对于类别数不是很多的任务,个人认为是可以直接使用softmax的。
最后,贴一个Keras的模型fasttext简化版。
基于词向量表示,本文提出利用卷积神经网络来进行文本分类。其算法如上图所示:
在本文中,作者尝试了多种不同的词向量模式:
在上一篇文章中CNN网络的输入一般是预训练好的词向量,而在本文中作者提出一种直接将embedding训练与分类任务结合在一起,且能有效提取/保留词序信息,也即有效训练出n-gram的模型方法,其实也可以理解为一种利用CNN来进行embedding的方法。
此外,另一个问题是输入序列长度变化问题(在上一篇文章textCNN中通过padding解决的?),在本文作者提出使用一个动态可变的pooling层来解决这个问题,使得卷积层输出的大小是相同的。关于可变pooling其实与图像识别中的 空间金字塔池化 (Spatial Pyramid Pooling) 是类似的。
这篇文章有点将fastText与TextCNN结合在一起的感觉,将n-gram embedding与分类任务结合在了一起进行训练,通过CNN来进行Embedding。
Text Categorization via Region Embedding》
在本篇文章中作者提出了一个tv-embedding(即two-view embedding),它也属于region embedding(也可以理解为ngram embedding)。这种方法与上面的bow-CNN表示相似,使用bow(bag of words)的方式来表示一个区域的词句,然后通过某个区域(region,左右邻域的单词或词句)来预测其前后的区域(单词或词句),即输入区域是view1,target区域是view2。tv-embedding是单独训练的,在使用的时候与CNN中的embedding组合在一起(形成多个channel?)。作者认为,word2vec方法预训练得到的embedding向量是普适性的,而通过特定任务的数据集的训练得到tv-embedding具有任务相关的一些信息,更有利于提升我们的模型效果。
吐槽一下,这篇文章没太看懂,也可能是英语太差,作者文章中没有那种一眼就能让人理解的网络图,像textCNN的图就非常一目了然,看图就知道是怎么做的了。
本文提出了一个使用监督学习加半监督预训练的基于LSTM的文本分类模型。文章作者与上面相同,所以用到的很多技术可以说与上面也是同出一辙。因此简单说下本文的一些思路。
作者认为已有的直接使用LSTM作为文本分类模型并直接将LSTM的最后一个输出作为后续全连接分类器的方法面临两个问题:(1)这种方式一般都是与word embedding整合在一起(即输入onehot经过一个embedding层再进入LSTM),但是embedding训练不稳定,不好训练;(2)直接使用LSTM最后一个输出来表示整个文档不准确,一般来说LSTM输入中后面的单词会在最后输出中占有较重的权重,但是这对于文章表示来说并不总是对的。因此作者对这两点进行了改进:
本文其实可以看作是作者将自己前面的tv-embedding半监督训练与RCNN的一个融合吧,大有一种一顿操作猛如虎,一看人头0-5的感觉(因为作者的实验结果跟一般的CNN相比其实也抢不了多少)。
本文的作者也是前面两篇使用CNN来进行文本分类处理的文章的作者。因此在本文中,结合了前面两篇文章提出的一些方法,并使用了一个深层的卷积神经网络。具体的细节包括:
更多详细的关于DPCNN的细节可以查看 从DPCNN出发,撩一下深层word-level文本分类模型 。
本文提出了一种基于CNN+Attention的文本分类模型。作者认为已有的基于CNN的文本分类模型大都使用的是固定大小的卷积核,因此其学习到的表示也是固定的n-gram表示,这个n与CNN filter大小相关。但是在进行句子的语义表示时,不同句子发挥重要作用的ngram词语常常是不同的,也即是变化的。因此,模型能根据句子来自适应的选择每个句子最佳的n-gram对于提升模型的语义表示能力是非常关键的。本文便是由此思路提出了一种自适应的来选择不同n-gram表示的模型。
本文模型在主题结构上参照了CV中的DenseNet,借由DenseNet中的稠密连接来提取到丰富的n-gram特征表示。举例来说,在layer3的特征不仅能学习到f(x1, x2, x3),还能学习到f(x1(x2,x3))这种更多层次,更加丰富的特征。网络的结构主要包括三部分:DenseCNN主网络,Attention module和最后的全连接层分类网络。下面对这三部分进行简单的说明:
本文通过Dense connection + Attention来自动获取对于文本语义最重要的n-gram特征,结果很好。但是缺点是,这个网络比较适合较短的文本,文中对输入文本进行了padding补齐,对于不同数据集最大长度分别为50,100等,但这对于较长的文本明显是不足的。因此对于较长的文本或许HAN这种借用RNN来不限制输入长短的网络会更好。
本文提出了一种结合循环神经网络(RNN)和卷积神经网络来进行文本分类的方法,其结构如上图所示,该网络可以分为三部分:
虽然说是RNN与CNN的结合,但是其实只用到了CNN中的pooling,多少有一点噱头的意思。文中还提到了RCNN为什么比CNN效果好的原因,即为什么RCNN能比CNN更好的捕捉到上下文信息:CNN使用了固定大小window(也即kernel size)来提取上下文信息,其实就是一个n-gram。因此CNN的表现很大程度上受window大小的影响,太小了会丢失一些长距离信息,太大了又会导致稀疏性问题,而且会增加计算量。
在众多自然语言处理任务中,一个非常突出的问题就是训练数据不足,且标注难度大。因此文本提出了一种多任务共享的RNN模型框架,其使用多个不同任务数据集来训练同一个模型共享参数,已达到扩充数据集的作用。
文中作者提出了三个模型,如上图所示:
三个模型的训练方式相同:
本文提出了一个层次LSTM+Attention模型。作者认为,虽然一篇文章有多个句子组成但真正其关键作用的可能是其中的某几个,因此对各个句子施加了注意力机制,以使得对文章语义贡献较多的句子占有更多的权重。同样的,组成一个句子的单词有多个,但是发挥重要作用的可能就那么几个,因此使用注意力机制以使得重要单词发挥更大的作用,这些便是本文的核心思想。整个网络可分为三层,两个LSTM层分别用来进行word encode和sentence encode,最顶上为一个全连接分类层。若加上两层注意力层,则可认为网络为5层。下面简单聊聊这五层网络的结构:
总体来说,本文看起来还是比较有意思的,符合人阅读文章的习惯,我们写文章的时候也是有中心词和中心句的。但是由于这个层级结构是否会导致训练慢或者不好训练还不得而知。最后,文中还提出对文章按长短先进行排序,长度相似的进入一个batch,这将训练速度加快了3倍。
本文提出了一个基于图神经网络的文本分类方法。该方法的主要思想是将所有文章及其包含的词汇都放到一个图网络里面去,图网络中的节点分为两种类型:单词节点和文章节点。其中连接单词节点和文章节点的边的权重使用TF-IDF来表示,而单词与单词之间边的权重则是使用点互信息(PMI)来表示。点互信息与传统语言模型中的条件概率计算方式非常相似。只不过PMI采用的是滑窗方式而条件概率是直接在所有语料中进行统计,可以认为是将所有语料当做一个大窗口,这时就又与PMI相同了。
A表示图网络的邻接矩阵,表示如下:
GCN同样也是可以含有多层隐藏层的,其各个层的计算方式如下:
其中A'为归一化对称邻接矩阵, W0 ∈ R^(m×k) 为权重矩阵,ρ是激活函数,例如 ReLU ρ(x) = max(0,x) 如前所述,可以通过叠加多个GCN层来合并更高阶的邻域信息:
其中j表示层数。
损失函数定义为所有已标记文档的交叉熵误差:
文中提到Text GCN运行良好的原因有两个方面:
但是其也有一些缺:
总的来说,文章的idea还是挺有意思的,效果也还不错。初识GCN可能还是有一点难以理解,可以参考如下资料进行进一步学习:
基于图卷积网络的文本分类算法
如何理解 Graph Convolutional Network(GCN)?
【眼底图像项目经验】眼底图像疾病的分类,病灶区域的分割?
大名鼎鼎的DenseNet,17年CVPR的best paper(当然有争议是后话),不得不读。黄高博士的扛鼎之作,之前在读他的Snapshot-Ensembles时感觉就很舒服,整个文章逻辑很清楚,实验对比做的也十分全面,相信这篇best paper更是没有问题,会给读者一种爽的感觉。
2019.2.20 2852次。绝对值很高,但相比其他经典网络,ResNet,GoogLeNet之类,有些差距。
本篇在16年8月挂到arXiv上,中了2017年CVPR,是继16年何大神的ResNet之后,第二个华人的best paper, 这里 有个作者本尊的talk,现场讲解。一作Gao Huang(黄高)05年北航的本科生(GPA第一),15年清华博士毕业(读了6年。。),后来在康奈尔待了3年做博后,此刻在清华作青椒,本篇是在康奈尔时的工作。二作刘壮(同等贡献)也是碉堡,现在在伯克利做博士生,之前是清华姚班的(13级),发这篇文章时还在清华,也就是说 本科生 。。。最近以一作的身份新发了一篇《Rethinking the Value of Network Pruning》,中了19年的ICLR,同时也是18年NIPS的best paper award。。这个世界太疯狂了,这都不是潜力股了,而是才华横溢溢的不行了。
官方实现在这里: https://github.com/liuzhuang13/DenseNet
黄高个人主页在这里: http://www.gaohuang.net/
刘壮个人主页在这里: https://liuzhuang13.github.io/
先前的研究中说明只要网络包含短路连接,基本上就能更深,更准确,更有效的训练。本文基于这个观察,引入了密集卷积网络(DenseNet),它以前馈方式将每个层连接到所有层。传统的卷积网络L层有L个连接,而DenseNet有 个直接连接。对于每一层,它前面所有层的特征图都当作输入,而其本身的特征图作为所有后面层的输入(短路连接被发挥到极致,网络中每两层都相连)。DenseNet具有几个引入注目的优点: 可以缓解梯度消失问题,加强特征传播,鼓励特征重用,并大幅减少参数数量。
随着CNN变得越来越深,一个新的研究问题出现了:随着输入信息或梯度通过多层,它在到达网络结尾(或开始)处就消失了。ResNets和Highway Networks通过恒等连接将信号从一层传输到下一层。Stochastic depth通过在训练期间随机丢弃层来缩短ResNets,以得到更好的信息和梯度流。FractalNets重复组合几个并行层序列和不同数量的卷积块,以获得较深的标准深度,同时在网络中保持许多短路径。尽管上述方法的网络结构都有所不同,但它们有一个共同特征:创建从早期层到后期层的短路径。
本文提出一个简单的连接模式:为了确保网络中各层之间的最大信息流, 将所有层(匹配特征图大小)直接相互连接 。为了保持前向传播性质,每个层从所有前面的层获得附加输入,并将其自身特征图传递给所有后续层。
至关重要的是,与ResNets相比,在传递给下一层之前, 不是通过求和来合并特征,而是通过concat来合并特征 。因此, 层有 个输入,包括所有先前卷积块的特征图。其特征图被传递到后续所有 层。这在L层网络中引入了 个连接,而不是传统架构的L个连接。正是因为这种密集连接模式,所以称本文方法为密集连接网络( Dense Convolutional Network DenseNet)。
相比传统卷积网络,这种密集连接模式有有一点可能违反直觉的是,它需要更少的参数,因为无需重新学习冗余的特征图。本文提出的DenseNet架构显式区分了添加到网络的信息和保留的信息。DenseNet的层非常窄(如每层只有12个滤波器),只给网络的"集体知识"增加一小组特征图,并保持其余的特征图不变。
除了更好的参数利用率之外,DenseNet的一大优势是它改善了整个网络中的信息流和梯度,使得网络更易于训练。每层都可以直接访问损失函数和原始输入信号的梯度( 我屮,这不就是GoogLeNet当时为解决梯度消失而在中间层引入分类器那种ugly办法的替代吗 ),从而导致隐式的深度监督。这有助于训练更深的网络。
与DenseNet相似的级联结构早在1989年就提出来了。。Adanet的提出差不多是与DenseNet并行的,跨层连接也相似(话说竞争真激烈。。)
本文作者提出的另一个网络Stochastic depth说明并非所有层都需要,在深度残差网络中存在大量冗余的层。本文的部分灵感也来源于此。
相比从极深或极宽的架构中提取表示能力,DenseNet是通过 特征重用 来利用网络的潜力,得到易于训练和高参数效率的压缩模型。相比从不同层拼接特征的Inception网络,DenseNet更简单有效(看来Inception因其结构复杂性没少被批判)。
定义 为单张输入图像,网络由 层组成,每一层实现非线性变换 ,其中 为层的索引号。 可以是BN,ReLU,Pooling,Conv等操作的复合函数,定义 层的输出为 。
传统的层连接: 。ResNets增加了跳跃连接: 。ResNets的一个优势是梯度可以通过恒等函数直接从后面的层流向前面的层。然而,恒等函数和 的输出通过加法合并,有可能会阻碍网络的信息流。
本文引入与ResNets不同的连接模式:从任意层到所有后续层的直接连接(图1)。结果就是,第 层接收所有之前层的特征图作为输入: 。为了便于实现,concat 的多个输入为单一张量。
受ResNet v2启发,定义 为三个连续运算的复合函数:BN,ReLU,3 x 3 Conv
当特征图的大小改变时,concat运算是不可能的,然鹅,卷积网络的一个关键组成部分就是下采样层,通过它可以改变特征图大小。为了便于在架构中进行下采样,将网络划分为多个密集连接的密集块(dense blocks),如图2所示。
将密集块之间的层称为过渡层(transition layers),它们进行卷积和池化。本文实验中的过渡层由BN,1 x 1卷积和 2 x 2平均池化组成。
如果每个函数 生成 个特征图,它后面跟着的 层有 个输入特征图,其中 是输入层的通道数。DenseNet和现有网络架构的一个重要区别是DenseNet可以有非常窄的层,如 。本文将超参数 定义为网络的成长率(growth rate)。对此的一种解释是,每一层都可以访问其块中所有前面的特征图,即,网络的『集体知识』。可以将特征图视为网络的全局状态。每一层增加自己的 个特征图到这个状态。成长率反映了每层由多少新信息对全局状态有贡献。全局状态一旦写入,就可以被网络中的任何地方访问,而不像传统网络那样,无需从一层复制到另一层。(全文精华应该就是这一段了)
1x1 conv非常有用(提升计算效率),本文也大用特用。本文定义DenseNet-B的 为 BN-ReLU-Conv(1x1)-BN-ReLU-Conv(3x3)
为了使模型更紧凑,可以减少过渡层的特征图数量。如果密集块包含 个特征图,定义接下来的过渡层生成 个特征图,其中 表示压缩率。定义 的DenseNet为DenseNet-C,本位实验中设置为 。当同时使用瓶颈层和压缩过渡层时,定义模型为DenseNet-BC。
非ImageNet数据集采用同一个架构,由3个密集块构成。ImageNet的架构如表1所示
CIFAR SVHN ImageNet
所有网络都用SGD。
CIFAR和SVHN的batch size为64,epoch分别为300和40,初始学习率为0.1,在50%和75%的epoch时分别除10。
ImageNet的batch size为256,90个epoch,初始学习率为0.1,在30和60epoch时分别除10。
weight decay为 ,动量为0.9。用He初始化。
对于CIFAR和SVHN,还在每个卷积层后接了dropout层(除第一个卷积层外),丢失率为0.2。
看表2的最后一行
DenseNet可以利用更大更深模型表示能力的增长。
如图4所示
主要用DenseNet-BC和ResNet作比较。
表面上看,DenseNets和ResNets没什么不同,两个式子的差别仅仅是输入从加法变为concat,然而,这种看似很小的修改导致两种网络架构的行为明显不同。
因为鼓励特征重用,所以得到更紧凑的模型。
如图4所示。
对DenseNets准确率提升的一种解释是各个层通过短路连接从损失函数接收额外的监督(某种深度监督)。DenseNets用隐式的方式执行相似的深度监督:网络顶部的单个分类器通过最多两到三个过渡层为所有层提供直接监督。 然而,由于在所有层之间共享相同的损失函数,因此DenseNets的损失函数和梯度基本上不那么复杂。
和随机深度的对比,随机深度有点类似DenseNet:如果所有中间层都随机丢弃,那么在相同的池化层之间的任意两层都有可能直接连接。
DenseNet就是好,就是好啊就是好。在遵循简单的连接规则的同时,DenseNets自然地整合了恒等映射,深度监督和多样化深度的属性。
又是一篇没有什么数学公式的paper,越来越感觉深度学习像物理,很多结果都是基于做实验得到的。通过对实验的观察对比分析,找出实验中的缺陷不足,从而去改进,然后发paper。黄高博士的写作套路还是非常讨喜的,特别是开头的地方,娓娓道来,一步一步告诉你为什么要这么做,为什么要引入这一步。此外,DenseNets和作者本人的工作『随机深度』也有千丝万缕的关系,看来功夫做扎实了,沿着一条道路是可以出一系列成果的。
这是个好问题。。是要进一步衍生ResNet吗?
提出密集连接结构,将ResNet的跳跃连接发扬光大为两两连接
效果比ResNet还好,通过减少滤波器个数(文中称作成长率),参数量也下来了
感觉效果提升并没有那么明显,被后续出来的ResNeXt超过了
各种网络结构的实现: https://towardsdatascience.com/history-of-convolutional-blocks-in-simple-code-96a7ddceac0c
黄高本人视频讲解: https://zhuanlan.zhihu.com/p/53417625
作者本人的解答: CVPR 2017最佳论文作者解读:DenseNet 的“what”、“why”和“how”
DenseNet的3个优势:
https://towardsdatascience.com/history-of-convolutional-blocks-in-simple-code-96a7ddceac0c
图像分割和分类哪个吃资源
在临床医学上,眼科医生依据眼底疾病患者的眼底彩照图像进行详细的筛查与诊断并给出具体的治疗方案。然而,由于每位眼科医生的临床诊断经验存在差异,这将会严重影响人工诊断的效率与效果。甚至,有些地域受限于当地医疗资源,病理性高度近视患者无法得到及时的诊疗,容易造成不可挽回的人眼视力损伤和失明。因此,本文通过运用数字图像处理、计算机视觉以及深度学习等领域的方法,致力于对患者的眼底彩照图像进行精确的处理和实现疾病的自动诊断。 本文研究内容可概括为以下三个方面内容:
(1)高度近视病变程度的分级。该部分提出了基于“重组通道网络基本单元”的“多重组通道基本单元网络”方法。首先,对“重组通道网络”和“重组通道网络”的重组通道基本单元进行实验并分析其性能;其次,借鉴了机器学习Bagging算法的思想(类似随机森林,Random Forest,简称RF),组合了“重组通道网络”三个基本单元作为“多重组通道基本单元网络”,其中每个基本单元作为独立的网络分支;最后,根据的每个网络分支的预测结果进行投票,票数多的类别即为“多重组通道基本单元网络”的预测类别。
(2)眼底图像优化算法的开发。该部分提出了基于数字图像BGR信息来优化眼底图像相关影响因素的算法。在该算法中,首先,通过分析多组质量较好和质量较差的病理性高度近视眼底图像的灰度亮度直方图,分析不同颜色通道图像的亮度、对比度、颜色均衡等参数的差别;接着,提出了亮度空间变换公式,运用该公式改变不同颜色通道图像的亮度、对比度、颜色均衡等参数以达图像优化的效果。
(3)病理性高度近视病灶区域的分割。考虑到仅仅预测得到高度近视病变的严重程度的类别往往是不够的,能够准确的分割相关病变区域更加重要,为此该部分提出了Vnet-FPN网络的分割方法。首先,研究Vnet网络和FPN网络的构架。接着,设计Vnet-FPN网络;最后,在原始和图像优化算法优化后的数两个据集上进行实验,综合分析网络对眼底病灶区域的分割性能。
本文的研究内容能够辅助眼科医生对高度近视病变的诊断与治疗,对于深度学习与医疗技术结合的工程落地具有十分重要的意义。
目前,眼底检查主要通过医生利用检眼镜、眼底荧光造影、眼底相机成像以及光学相干层成像等方式来进行人工检查。利用眼底相机采集到的眼底彩照图像会呈现视网膜上主要组织结构,如图1-1所示。由图1-1可知在眼底彩照图像中,血管(Vessel)在视网膜上分布最广且呈现为暗红色的网状结构,其和视觉神经纤维从视神经盘(Optic Disc)区域进入视网膜(Retina)。从图中可见,视神经盘通常呈现为边界较为清晰、亮度较高的圆盘状结构。此外,眼底图像中部颜色较深的区域称为黄斑区(Macula Lutea),黄斑区呈椭圆形凹陷,其凹陷的中心称为中央凹(Fovea)。中央凹是人眼视力最为敏感的区域,一旦该区域发生病变,视力将受到严重影响。
鉴于目前在此高度近视分类问题的研究工作非常匮乏,为此主要借鉴糖尿病视网膜病变(Diabetic Retinopathy,DR)严重程度的分类的研究方法。在DR的分类研究中,主要有两种分类标准,分别为二分类标准和三分类标准。
在二分类问题中,研究者把彩色眼底图像分为非DR和 DR 两类。Gardner 等人[4]使用图像的像素强度值作为特征,通过训练神经网络进行分类。Roychowdhury[5]等人提出了一种包含两步的层次分类的方法,该方法综合利用了高斯混合模型(Gaussian Mixture Model,GMM)、k 近邻分类器(k-Nearest Neighbor,kNN)、支持向量机(Support Vector Machine,SVM)以及AdaBoost 四种机器学习算法来训练分类器。Priya[6]等人首先提取了血管、眼底出血和渗出物等几个生物损伤的特征,然后把这些特征分别输入三个分类模型进行训练,即概率神经网络 (Probabilistic Neural Network,PNN)、贝叶斯分类器(Bayesian Classifier)和支持向量机(Support vector machine,SVM)。在三分类问题中,研究者通常把彩色眼底图像分类为非 DR、非增生性 DR 和增生性DR 三类。Nayak[7]等人通过提取渗出物的面积以及血管的面积和纹理特征,然后使用这些特征训练神经网络的方法。
从上述研究方法可知目前国内外关于眼底彩照图像的疾病分类的研究方法大多数是通过提取图像低层的视觉特征(如图像的像素值、纹理、对比度等),或者眼底出血、渗出物等与糖尿病视网膜病变相关的生物损伤或者血管等局部的特征,然后利用不同的机器学习算法对图片进行分类。这些方法的性能很大程度上决定于手工设计的特征的有效性。相对于二分类,多分类问题的分类标准更加精细,对某些类别的视网膜病变分类往往需要考虑非常细微的特征,因此多分类问题更加复杂。
(1)高度近视的豹纹状眼底
一般情况下,患有高度近视的眼底图像具有相对明显的豹纹状眼底(tessellated fundus)。豹纹状眼底主要是由于高度近视疾病导致人眼眼轴延长,视网膜血管离开视盘后即变细、变直,加之脉络毛细血管的改变,造成了视网膜色素上皮层的营养障碍,致使浅层色素减少或消失。这样暴露的脉络膜红色血管与血管网之间的褐色色素就交错形成了所谓的豹纹状眼底,图清晰展现了高度近视的豹纹状眼底。石一宁[20]等对154人41岁以上高度近视眼人群进行研究,发现非病理学性改变占 45.5%,其中豹纹状眼底占33.8%。而当眼轴明显延长、屈光度更高时,可增至90%-100%。尤以后极部较为显著,豹纹状眼底随近视的屈光度逐渐加深而更加明显。
由于豹纹状眼底与年龄有一定关系,即年龄愈大豹纹状眼底愈显著。为此本章定义高度近视性的豹纹状眼底须同时满足如下两个条件:
1)黄斑附近可见明显的豹纹状改变(黄斑区豹纹状眼底面积>1/2)
2)血管弓处可见明显的豹纹状改变(血管弓豹纹状眼底面积>1/2)
(2) 病理性高度近视的病变特征
高度近视是眼底病变种较为常见并且高发的,高度近视导致了很多病灶,比如近视性黄斑病变、豹纹状眼底、弥漫性视网膜脉络膜萎缩、斑块状视网膜脉络膜萎缩、黄斑萎缩、漆裂样纹、脉络膜新生血管、Fuch's 斑、后巩膜葡萄肿等病理性病变。本文主要研究较为常见的斑块状视网膜脉络膜萎缩、黄斑萎缩,其他病灶未进行研究。我们主要对这两类病灶进行简要介绍,如下所示:
[if !supportLists](1) [endif]斑片状脉络膜视网膜萎缩。黄斑或视盘周围边界清晰的灰白色病灶,仅有近视狐没有豹纹状眼底的不算做此类病变。如下图2-3所示:
(2)黄斑萎缩。黄斑萎缩是一种边界清楚的圆形脉络膜视网膜萎缩病灶,呈灰白色或白色,周围出现退化的纤维血管膜,并随时间增大。黄斑萎缩必须与斑片状视网膜萎缩区分开来,但是患者一般又同时具有患有这两种病灶。通常,黄斑萎缩以中心凹为中心(并非萎缩区域的几何中心,事实上只要萎缩涉及中心凹区域既认定为此萎缩区域),呈圆形,而斑片状视网膜萎缩不以中央凹为中心,边缘不规则。图2-4所示为黄斑萎缩又存在斑片状脉络膜视网膜萎缩的眼底图像。
我们使用百度竞赛方提供的高度近视病变类别标签的数据集对本章所提出的多重组通道基本单元网络进行分类性能评估,并且同“重组通道网络”、“重组通道网络”的重组通道基本单元两个网络进行了分类性能的比较。该数据集共含有超过1009张彩色眼底图像。我们使用按类别分层抽样的方法把数据集划分成了我们在实验中使用的800张训练集、100张验证集和109张测试集。
在本节接下来的部分,我们将分别从眼底图像数据预处理和数据增广、网络实现及参数设置和实验结果与分析四个方面依次展开论述。
(1)数据预处理与数据增广
1)数据预处理
基于深度卷积神经网络的训练特性,如果不处理数据集中存在的一些问题,将严重影响所训练网络的性能,为此我们对数据集进行了如图所示的预处理。
(1)截取眼底图像感兴趣区域。由于该数据集是在不同医院在不同环境下和不同设备的情况下眼科医务人员所采集的,存在图像大小不一致并且含有一大块的黑色边界背景区域如图a)所示,并且这些区域对于图片的分类没有任何帮助,甚至会严重降低网络的分类性能,因此我们对多余的背景区域进行了去除的操作并保留眼底区域部分,结果如图b)所示。由于图像不是呈矩形像素分布,根据分类网络输入结构要求,防止图像经过网络输入改变图像大小的Resize操作后发生变形,我们对非矩形眼底图像扩黑边,以解决图像信息丢失的问题。
(2)眼底图像尺寸调整。原始数据集的图像大小在1444*1444左右,该尺寸对于网络来说太大,由此根据现阶段深度学习算法对图像大小对分类网络的性能影响的经验,我们最终在网络的训练过程中把图像的尺寸大小调整为256*256,主要原因有以下两点:第一,图像尺寸过小容易导致图像不同类别之间的特征信息的损失,从而不利于网络对具有分类特征的区域进行特征学习;第二,考虑到本文研究所采用的GPU显存及处理能力,如果图像尺寸太大则不利于深度卷积神经网络的训练。
2)数据扩增
相对于自然场景图像的分类问题,本章所使用到的高度近视病变分类的数据集明显规模较小,为了避免训练网络出现过拟合(Over-fitting)现象,在训练的过程中我们采用了以下几个方面的在线数据增广(online Data Augmentation)方法:
(1)翻转(Flipping)。随机地对眼底彩照图像进行水平翻转、垂直翻转,水平垂直翻转。
(2)对比度和亮度的调整(Contrast Adjustment)。本文主要采用按像素的方改变图像对比度和亮度,公式如下:
g(x)=αf(x)+β
其中α调节对比度, β调节亮度。本文分类设置α和β为随机0.8-1.0区间内
选取的随机数。
(3)旋转(Rotation)。在 0°至15°之间随机地选择一个偏移角度对图像进行旋转操作。
(4)剪切(Cropping)。随机地选择一个偏移量(Offset),例如,原始图像大小1024*1024,偏移量的取值范围为[0, 128],则把1444*]1444的图片剪切为1316*1316。
实践经典的分类网络Resnet、Densenet、ShuffleNetV2等分类网络。
在前面几章中,对高度近视病变严重程度的自动分类和眼底彩照图像的优化算法进行了详细的叙述。在高度近视病变分类中,我们使用了一种基于Bagging思想的多重组网络的方法;在眼底图像优化算法中,我们则提出了基于图像空间变换方法的眼底图像优化算法。
在实际的高度近视疾病的计算机辅助诊断(Computer-Aided Diagnosis)系统中,只预测到高度近视病变严重程度,对眼科医生提供的辅助诊断信息显然还不够。为此,在获取病理性高度近视的眼底图像后,需要再对病变区域进行分割,供医生进一步确认患者病情,这将很大程度上增加高度近视诊断的效率和精确度,为大规模的高度近视病变筛查提供可行的措施。因此,本章进行了多尺度融合条件下的高度近视病变区域的分割工作,具体来说,在知道眼底图像高度近视病变严重程度的情况下,用优化算法处理病理性高度近视的眼底图像,再用本章的方法对其中的病变区域进行自动的分割。
如前文所述,高度近视病变区域的精确分割对高度近视患者的诊断与治疗具有重要的意义。如果按目前眼底彩照图像病灶分割的主流方法,其几个步骤如下:眼底图像预处理,高度近视病灶区域候选集的提取,病灶特征提取与分类以及眼底图像后处理。这些方法通过人工预先构造的特征再结合几种较为常见的机器学习算法(Machine-Learning Algorithms),比如支持向量机(Support Vector Machine ,SVM),k均值聚类算法(k-means clustering algorithm,K-Means)等方法,进行病灶区域的分割。本章采用了深度学习的分割方法,降低了数据预处理的难度,但由于深度卷积神经网络需要较多的图像数据,我们对进行了一定程度上的数据增广,以此来扩增数据集。
经过第二章的高度近视病变严重程度的分类后,我们需要针对病理性高度近视进行图像质量评测并筛选,即人工人工筛选过滤了质量较差的图像,最终一共得到350左右张质量正常的病理性高度近视眼底彩照图像作为数据集。进行该步骤主要是由于眼底彩照图像采集时可能出现聚焦失败导致曝光不足、环境光照变化导致过度曝光等一系列问题,这些图像大部分达不到正常的临床要求,如图 所示。
对于上述的Vnet网络和Vnet-FPN网络是在相同的初始化方法的基础上从头开始训练的。本章数据集含有400张图像,其中训练集、测试集各300张,验证集100张,测试集100张。本章选择了评测医学图像处理算法的性能时经常使用的评测指标Dice、TPR、PPV作为网络的评测指标,其实都是算它分割方法预测的区域跟金标准(ground truth)区域重合的部分的比例。
Dice是一个相似性指数,就是分割算法结果与金标准的结果之间的重叠区域(Overlap Area)除以他们两个区域的一个平均:
本文所使用到的病理性高度近视病变的数据集,数据规模比较小。因此,在网络训练时,为了避免过拟合(Over-fitting),我们主要对数据集进行预处理,即在网络训练过程中实时实践以下一些数据增广的方法:
(1)翻转(Flipping)。实验经验表明,眼底彩照图像水平翻转相对于垂直翻转更为有效,为此本文采用水平翻转的数据扩增方法。
(2)图像亮度的调整(Contrast Adjustment)。本文主要采用按像素的方改变图像亮度,根据随机生成的亮度值叠加到原眼底图像中。
(3)旋转(Rotation)和尺度变换(Scale)。在5°至15°之间随机地选择一个角度对图像进行旋转操作和对眼底彩照图像坐标做scale,相当于对图像做缩放。
(4)高斯滤波(Gaussian filter)。高斯滤波是一种线性平滑滤波,适用于消除高斯噪声,广泛应用于图像处理的减噪过程。通俗的讲,高斯滤波就是对整幅图像进行加权平均的过程,每一个像素点的值,都由其本身和邻域内的其他像素值经过加权平均后得到。
左中右分别为标签可视化,Vnet分割结果和Vnet-FPN分割结果。
图像分类
图像分类主要是基于图像的内容对图像进行标记,通常会有一组固定的标签,而你的模型必须预测出最适合图像的标签。这个问题对于机器来说相当困难的,因为它看到的只是图像中的一组数字流。
上图片来自于Google Images
而且,世界各地经常会举办多种多样的图像分类比赛。在Kaggle中就可以找到很多这样的竞赛。最著名的比赛之一就是ImageNet挑战赛。ImageNet实际上是一个很神奇的图像库(截止到编辑本文时,其中就约有1400万张图像),拥有超过20000个图像标签。这是由斯坦福大学计算机视觉实验室维护的。ImageNet挑战或大规模视觉识别挑战(LSVRC)都是一个年度竞赛,其中具有诸如目标分类,目标检测和目标定位等各种子挑战。LSVRC,特别是目标分类的挑战,自从2012年,Alex Krizhevsky实施了著名的AlexNet,将图像的错误率降低到15.7%(在当时从未实现),便开始获得了很多关注。而最新的结果显示,微软ResNet的错误率为3.57%,Google的Inception-v3已经达到3.46%,而Inception-v4则又向前进了一步。
来源于Alfredo Canziani,Adam Paszke和Eugenio Culurciello于2017年撰写的文章《实际应用中深度神经网络模型的分析》(https://arxiv.org/pdf/1605.07678.pdf)
2、目标检测
图像中的目标检测涉及识别各种子图像并且围绕每个识别的子图像周围绘制一个边界框。这里有一个例子:
上图片来自于Google Images
与分类相比,这个问题要稍微复杂一点,你必须对图像进行更多的操作和处理。现在最著名检测方法叫做Faster-RCNN。RCNN是局部卷积神经网络,它使用一种称为候选区域生成网络(Region Proposal Network,RPN)的技术,实际上是将图像中需要处理和分类的区域局部化。后来RCNN经过调整效率得以调高,现在称之为faster – RCNN,一种用作候选区域生成方法的一部分用以生成局部的卷积神经网络。目前最新的image-net挑战(LSVRC 2017)有一个目标检测的挑战赛的冠军,被一个名为“BDAT”的团队所囊括,该团队包括来自南京信息工程大学和伦敦帝国理工学院的人员。
3、图像/实例分割
图像分割或实例分割包括对具有现有目标和精确边界的图像进行分割。
图片来自于是Google Images
它使用了一种叫做Mask R-CNN的技术,实际上就是我们前面看到的R-CNN技术上的几个卷积层。微软、Facebook和Mighty AI联合发布了这个称为COCO的数据集。它与ImageNet很相似,但它主要用于分割和检测。
以上就是关于DenseNet详解全部的内容,如果了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!



















