与叶形相比,识别叶片的更有效特征是叶脉?!

城市生物多样性和生态系统服务2018-08-02 08:44:58


在植物学中,叶片总是作为植物重要的分类特征,甚至在某些群体中仅提供叶片即可实现准确分类。自从植物学早期开始,植物鉴定就使用传统的文字描述的植物特征作为分类学关键,值得关注的是,其中叶片特征的描述必不可少。为此,计算机视觉研究人员在使用新型算法实现植物自动识别时,常常利用叶片作为植物分类的比较依据,其中叶片的形状,纹理和叶脉的特征是最常用来区分不同物种的叶片的特征。

Lee等人于2017年5月在Pattern Recognition上发表了一篇文章,文章从深度学习的介绍开始,接着描述了现有的已经提出的根据不同叶片特征对物种进行分类的各种特征提取方法。随后,通过深度学习(Deep Learning, DL)技术来学习解释叶片图像的鲁棒表示,并通过特征可视化深入探索,分析和理解最重要的功能子集。最终针对叶片数据提出了一个新的混合整体-局部特征提取模型,该模型将同一物种提取的不同格式的数据训练的两个CNN的信息进行整合,通过实验表明,使用DL学习的混合整体-局部特征提取模型与以前技术相比可以进一步提高植物分类系统的识别性能。



深度学习(Deep Learning, DL)是机器学习技术中的一种,由多个处理层组成,从多级数据中抽象的学习。Lee等人的研究不像以前的方法那样深入研究特征表征的创建,而是通过要求DL来解释和引出最能代表叶片数据的特征来逆向编程反卷积,根据所获得的结果,认识到叶片视觉的认知复杂性和原理。

回顾前人的研究中,作者总结了现有的已经提出的根据不同叶片特征对物种进行分类的各种特征提取方法(见表1)。在几乎62.5%的植物鉴定研究中,叶片形状特征被选作识别特征依据,远远超过其他特征的使用,这是因为它们是区分物种的最简单和最明显的特征,特别是对植物学知识有限的非植物学家;相当多的研究也使用纹理特征(约41.7%),因为一些物种由于其相似的叶轮廓导致仅使用形状而难以区分彼此;叶脉是植物学家鉴定物种的重要依据之一;很少有研究关注颜色特征。


叶片特征提取

作者选择DL技术中的CNN来学习叶片图像的鲁棒表示。之后,展示了使用反卷积(Deconvolutional Network, DN) 进入每个CNN层,并解释其神经元计算量化叶片表示的先决条件。


(1) 卷积神经网络

表1 用于叶片特征子集选择的CNN体系结构。第一、第二和第三行分别表示层名称、通道数和过滤器的大小。


使用表1中的CNN的体系结构,在卷积层中,在前一层中计算出的特征图与一组权重(所谓的过滤器)进行卷积,接着将所得到的特征图通过非线性单元,然后在池化层中,通过在q×q连续区域上的最大池化对每个特征图进行子采样,在第五层进行卷积和合并后,输出进入完全连接层(层6、7、8)进行分类。


(2) 反卷积网络

CNN模型通过反向传播机制学习和优化每层中的过滤器。这些学习的过滤器提取了唯一表示输入叶片图像的重要特征。因此,为了理解CNN模型的运行原理和方法,需要过滤可视化来观察特征的转换,了解CNN模型的内部运算和特征。作者可以通过这个过程来识别叶片图像中的重要特征。为了量化叶片图像的必要识别特征,作者提出:1)解释由单个神经元/滤波器计算的函数;2)检查由多个神经元组成的卷积层中计算的总体函数,目的是检查某层的所有特征图的整体最高激活的区域。

Lee等人定义了一个名为V1的策略,对于层L中的所有绝对激活部分,仅考虑最大像素值,其余设置为零,并向下投影到像素空间,以重建定义图像,这样即可观察到该层中叶片的高度活化区域。


(3) Malayakew(MK)数据集

作者在实验中使用了一个新的叶片数据集,命名为MalayaKew(MK)。该数据集由英国Kew皇家植物园收集的44个物种组成。在该实验中,计算出最好的分类精度,以推断系统的鲁棒性:Acc = Tr / Tn,其中Tr =准确预测的物种数量,Tn =测试图像的总数。

D1是用于比较CNN表现的数据集;D2是将D1数据集中的每个叶片图像手工裁剪成叶片区域内的斑块的变异数据集。

结果分析:


图1 使用V1策略进行特征可视化。在D1中选择形状(特征),而在D2中选择不同的叶脉(特征)之间的脉络顺序和差异。

表2 基于不同分类器的MK叶片数据集表现比较。MLP=多层感知器,SVM=支持向量机和RBF=径向基函数。


从表2可以看出,从CNN模型(98.1%)中获取的特征的性能,即使使用不同的分类器,也优于使用精心选择的人工手动筛选的最先进的解决方案(LeafSnap, HCF, HCF-ScaleRobust, Combine, SIFT)。为了进一步分析CNN少数错误识别的原因,通过V1策略深入研究CNN模型的内部运作和行为,评估特征图上的单个最大像素值。作者对图1(a)中重建图像的观察表明,高度活化的部分以叶片的形状发生。因此,推断叶片形状不是识别植物的好选择。

此外,在表2中还可以看出,使用D2(99.5%)训练的CNN模型的前1个精度结果高于使用D1(97.7%)获得的CNN模型的前1个精度结果。再次通过V1策略执行可视化,如图1(b)所示,可以看到,激活部分不仅在初级叶脉上,而且还在次级叶脉和不同叶脉次序之间的差异。因此,作者推断不同的叶脉顺序是植物识别的更稳定的特征。


深入解析CNN

Lee等人基于著名的叶片数据库Flavia数据集进行评估实验,以显示不同叶片数据库中CNN性能的一致性。首先定量比较CNN功能的性能与其他最先进的方法。然后,通过DN方法研究了每个卷积层中滤波器响应的定性分析。

通过定性和定量分析,观察发现在CNN从低级到中级的转换中学习特征,然后到最后的卷积层分类。此发现与叶片特征的分层植物学定义相符合。叶片的正统分类描述从一般(例如轮廓形状,主要叶脉系统的整体模式)到特定的(例如叶片中的前叶和后叶,裂片的两半,第二和第三叶脉系统等)。这些特征中的每一个可以在每个层级具有几个到多个状态。其次,学习的特征不仅限于形状,纹理或颜色,还可以扩展到特定种类的叶片特征,如叶尖,叶基,边缘类型等。这表明使用DL方法,可以感知叶片认知的视觉复杂性。


混合整体-局部特征提取模型

图2 不同类型的融合方案。


CNN训练使用整个叶片(D1)和叶片的部分图块(D2)提取不同级别的上下文信息。因此,使用整个叶片图像,我们发现了描述叶片的整体结构的全局特征的出现,例如形状,颜色,纹理和边缘,而使用叶片的部分图块,我们注意到CNN倾向于捕获局部的叶脉特征。重要的是,这些研究结果表明,用叶片训练的CNN能够识别相关的叶脉特征,并在物种之间进行区分,而无需对叶脉进行手动分割或预处理。


(1) 模型网络构架

 CNN对不同输入数据格式进行训练,作者基于CNN方法设计了一种新的叶片数据混合整体-局部特征提取模型,将两个CNN网络的信息组合在一起,而不是依赖整个叶片数据或单独的进行物种分类,是对其相应的叶片进行训练,并通过不同的特征融合方案来整合它们(图2)。

考虑不同的架构来融合叶片特征的全局和局部信息:后期和早期融合。如图2所示,对于后期融合,可以在每个CNN网络的预训练之后在相应的softmax输出处完成融合;而对于早期融合,可以在类别分数计算之前,例如在特征学习阶段期间进行融合。在讨论基于不同类型的融合策略对混合特征提取的扩展之前,作者首先介绍一种新的单一网络架构。

单流。设计一个新的单流CNN,其包括较短的深度层,以用来测试CNN的稳定性以及评估混合整体-局部特征在物种分类中的贡献。使用简写符号,完整架构为conv1(96,11,4) - pool1(96,3,2)-norm-conv2(256,5,1) - pool2(256,3,2) - norm - conv3( 384,3,1) - pool3(384,3,2)-fc6(2048)-fc7(44),其中pool l或conv l(c,k,st)表示层l中的汇集或卷积,其中c个通道数目计算通过大小为k×k的滤波器与步幅st。fc l(v)是具有v个节点的第l个完全连接的层。

后期融合。如图所示 在图2(a)中,首先使用相应的叶片数据对每个网络进行预训练。在验证阶段,结合softmax输出,并使用融合方法计算最终的分数:平均(ave)或最大投票(mav)。

早期融合。早期融合模型整合了两个网络,并通过softmax层直接与物种类型直接相连的端对端联合训练叶片数据。注意,与晚期融合方法不同,早期融合融合了根据物种类标签与分割网络融合的表示。作者考虑两个早期融合策略:串联(图2b)和转换(图2c)。r串联和转换融合之间的差异是,转换融合经历额外的卷积过程,以便在融合之前找出每个网络的重要特征;在特征融合期间,转换融合执行特征求和而不是串联,以进一步放大这些特征的对应关系。


(2) 实验测试及结果

采用MK数据集,计算出全部叶片数据集(D1)的57.9%的较小训练集在整体网络上训练。从每个叶片图像,随机生产三个部门的叶片在局部网络上训练,仅为叶片数据集(D2)的11.4%(3960张图片)。在两个网络中,保证测试集的大小都是528张图像。

表3显示了单流和所提出的混合特征提取模型之间的分类精度结果对比。首先,当限制CNN在训练期间的叶片数据的种类时,分类精度表现受到影响,所有训练集训练网络的分类表现(w = 2,288,P = 34,672)明显好于较小的数据子集(W = 1,324,P = 3960)训练的网络。接下来,虽然减少CNN层深度可能会影响网络的特征识别能力,但是结合整体和局部叶片特征数据是提高分类精度的很好替代方法。EF和LF的进一步分析显示,在早期阶段(EL)融合两个特征是更有益的。此外,在融合之前引入一个新的特征子集学习阶段可以有助于放大每个网络的重要特征,通过转换融合,获得最佳的准确度为0.963

表3 混合整体-局部特征提取模型的分类精度结果。注意,LF =晚期融合,EF =早期融合,w =整个叶片,P =叶片的部分图块。


编者认为:

Lee等人的研究学习从深度学习中获取叶片图像中的识别特征,并将其作为分类器应用于植物鉴定。研究结果表明,与使用手动选择的功能相比,使用CNN学习特征可以提供更好的叶片图像的特征表述。使用DN方法量化了用于物种鉴定目的的叶片最有效的特征。研究还发现,当形状特征不足时,叶脉结构是识别的一个非常重要的特征,这也通过了使用V1策略检查每个卷积层中的滤波器的全局响应来验证。Lee等人还通过检查每个卷积层中各个滤波器的局部响应来量化叶片图像特征,观察到整个卷积层的特征从低级到高级抽象的分层转换。最后,介绍新的混合模型,通过实验表明,使用DL学习的混合整体-局部特征模型与以前技术相比可以进一步提高植物分类系统的识别性能。

编者认为,Lee等人的研究证明了CNN是帮助研究人员获取对植物物种鉴定最有效的叶片特征的关键工具,该研究的创新性在于使用DN方法量化了最有效的识别特征,指出与叶形相比,叶脉是识别叶片的更有效特征,并提出了兼顾考虑叶片整体和局部特征的混合整体-局部特征提取模型。


原文出处


Lee, Sue Han, et al. "How deep learning extracts and learns leaf features for plant classification." Pattern Recognition 71 (2017): 1-13.



UBES_China 提供城市生态系统服务和生物多样性研究和管理的最新信息。欢迎大家分享相关信息。投稿邮箱:ubes_china@126.com


Copyright © 松原古典音乐社区@2017