2024年3月24日发(作者：最好的笔记本电脑)

第42卷 第3期

5月2023年

华中农业大学学报

Journal of Huazhong Agricultural University

Vol.42 No.3

May 2023，169~176

唐恒翱，李杭昊，孙志同，等.基于统计纹理残差学习网络的葡萄叶片分类方法［J］.华中农业大学学报，2023，42（3）：169⁃176.

DOI：10.13300/.2023.03.020

基于统计纹理残差学习网络的葡萄叶片分类方法

唐恒翱

1

，李杭昊

1

，孙志同

1

，孟江飞

2

，杨博宇

1

，张宏鸣

1

1.西北农林科技大学信息工程学院，杨凌 712100； 2.西北农林科技大学葡萄酒学院，杨凌 712100

摘要 针对葡萄叶片类间相似度高导致的类内品种分类精度低的问题，构建一种改进的统计纹理残差学习

网络（statistical texture residual learning network， STRLNet）的葡萄叶片分类方法。首先在ResNet50骨干网络

的基础上添加SE注意力机制，然后构建底层信息的特征增强层，最后将增强后的底层特征与骨干网络提取的高

层语义信息相融合，输出连接到用于存储分类特性的全连接层上。利用采集的11种成熟期葡萄叶片数据集进

行训练测试，结果显示，STRLNet在提高网络空间性能的同时可充分利用底层特征信息，对构建的葡萄叶片数

据集的分类准确率可以达到92.26%，相较于ResNet骨干网络提高了约2.8个百分点，与VGG16、Inception v4和

ResNet等主流分类网络相比在葡萄叶片细粒度分类中具有更高的准确性。研究结果表明，在多品种的葡萄叶

片分类任务中，改进后的模型相较于骨干网络可以关注到更多的特征信息，相较于主流分类网络模型可以获得

更高的分类精度，模型性能得到进一步的提升。

关键词 细粒度分类； 葡萄品种分类； 特征提取； 注意力机制； 纹理增强层； 卷积神经网络； 精准分类

中图分类号 TP391.4 文献标识码 A 文章编号 1000-2421（2023）03-0169-08

葡萄是世界上最有价值的园艺作物之一，联合

国粮食及农业组织的统计数据库（https：//.

org/faostat/zh/#data）显示，2020年全球葡萄产量为

7 803万t，其中我国是全球第二大葡萄生产国。不同

品种的葡萄价值差异很大，同时也影响到所酿葡萄

酒的品质。移植的葡萄幼苗需要2~3 a才能结果，但

是其叶子却可以在几个月内成熟。因此，通过叶片

实现早期品种鉴定可以排除误种情况、保护育种者

的权益、促进葡萄产业健康发展。同时葡萄品种识

别对葡萄资源统计、新品种鉴定及葡萄遗传资源保

护都有重要意义

［1-2］

。

目前，基于叶片的常用分类方法有2种：基于图

像特征分析和基于深度学习。图像特征分析方法通

常使用数学模型和图像处理技术来分析特征，从图

像中提取有用的信息。现有研究以叶片形状作为主

要提取特征

［3-5］

，但由于植物叶片形状的复杂多样性

以及很多同类叶片存在较大的差异性，而不同类叶

片又存在极大相似性，使得很多单一使用形状特征

分类的方法实际识别精度不高。近年来，研究者尝

试将叶片形状特征与纹理特征相结合以获得更高的

识别率

［6-7］

，虽然在某些场景下取得了不错的准确

率，但是这些方法仍然存在一些问题，如在特征的选

择和定义上很大程度依赖算法设计人员的判断和长

时间调试的误差处理，专业性要求高且难以捕获高

级语义特征。而深度学习通过神经网络自动提取特

征，充分利用深度卷积网络中的高层语义信息，具有

简单、高效等优点

［8］

。当前主要利用深度卷积网络对

不同种类的叶片进行分类

［9-11］

。虽然可获得不错的

分类准确率，但研究对象主要针对形状差异较大的

不同种类叶片，在解决同种类的细粒度分类问题上

仍具有挑战性。Yang等

［12］

基于VGG16、Inception

v3和Nasnet这3种CNN融合的模型来识别3种外观

高度相似的肉桂叶片。Peng等

［13］

提出使用迁移学习

的MobilNet v2、ResNet50作为主干网络对叶片进行

分类。Li等

［14］

利用金字塔结构构造3个并行的主干

分类网络，并利用特征融合和添加注意力机制的方

法引导模型关注重要的特征区域。与图像分析方法

相比，基于深度学习的方法可以自动提取特征并且

收稿日期： 2022 ⁃ 11 ⁃ 02

基金项目：国家重点研发计划项目（2020YFD1100601）；陕西省科技厅项目（2023YBNY217）；陕西省秦创原“科学家+工程师”建设项目

（2022KXJ-67）

唐恒翱，E-mail：******************

通信作者： 张宏鸣， E-mail：**************.cn

Copyright©博看网. All Rights Reserved.

170

华中农业大学学报第42卷

充分利用深度卷积网络中的高层语义信息，因此更

适合应用于图像分类。但是大部分分类、分割网络

会导致输出结果的不准确性，并且漏检了一些很关

键的低层细节，如边缘、纹理、形状信息。

为进一步改进葡萄叶片识别模型，本研究提出

一种充分利用底层特征的新残差学习网络，构建底

层信息的特征增强层，同时添加SE注意力机制，通

过融合操作，将底层信息与高层信息结合起来，并利

面均被采集，经过筛选去除叶片区域不完整的数据

后，共留下873张叶片图像作为基础数据集。阳光玫

霞多丽、爱隔丽、媚丽、意大利、克伦生无核样本数分

别为52、72、106、86、99、38、74、94、90、84、78张。对

每幅实验图像按照类别对应的编码（1~11）进行类别

的标注，获得11种不同标签值的数据集图像，在网络

学习训练过程中，按照整片树叶进行学习。葡萄叶

片品种的图像如图1所示。

主要关注于利用深度卷积网络中的高层语义信息，瑰、户太八号、瑞都红玉、魏可、赤霞珠、甜蜜蓝宝石、

用构建的11个葡萄品种的数据集对模型进行评价，

1.2　数据集的构建

旨在构建一套高精度的细粒度识别模型，实现不同

采用双线性插值法

［15］

将原始图像的分辨率降低

葡萄品种的精准分类，为农业、葡萄酒行业提供技术

到224像素×224像素。图像通过利用多种数据增强

参考。

方法对原始数据集进行增强。增强方法为旋转90°、

1　材料与方法

1.1　葡萄叶片数据集

建立一个包含11个葡萄品种的成熟叶片数据

集。这些图像采集自西北农林科技大学的葡萄种植

园，每类葡萄叶采集50~120片，将叶片带回实验室

后，使用固定的拍摄台进行拍摄，以确保图像中的叶

片相对大小一致，每张图像的分辨率为3 000像素×

3 000像素，拍摄物距约0.3 m。所有叶片的正面和背

水平翻转、垂直翻转、随机调整亮度增强对比度、色

调和饱和度，有助于降低过拟合风险，提高分类器的

泛化能力，从而提高模型的鲁棒性。增强后数据集

共有4 365张图片，在增强过程中对数据集进行样本

均衡处理，每个类别约400张图片，其中80%的叶片

图像作为训练数据集，20%作为测试数据集。训练

集中20%的数据随机作为验证集，测试数据集仅用

于评估分类器的性能。

A：阳光玫瑰 Shine-Muscat； B：户太八号Hutai 8； C：瑞都红玉 Ruiduhongyu； D：魏可 Wink； E：赤霞珠 Cabernet Sauvignon；F：甜蜜蓝宝

石 Moon Drops； G：霞多丽 Chardonnay；H：爱隔丽 Ecolly； I：媚丽 Meili；J：意大利 Italia； K：克伦生无核 Crimson Seedless.每个分图里左

侧为叶片正面，右侧为叶片背面。In each drawing， the left side is the front side of the blade， and the right side is the back side of the blade.

图1 11个葡萄品种叶片样品

Fig. 1 11 cultivars of grape leaves used in the experiment

1.3　模型设计

以分类领域中广泛应用且表现良好的ResNet50

结构作为骨干网络。该网络主要由49个卷积层和1

个最大池化层组成。在ResNet50的卷积模块中通过

ResNet50se结构图如图2所示。

葡萄叶的形状和纹理特征在葡萄分类中起重要

作用

［17］

。成龄葡萄叶片的形状，上下裂刻有无、裂刻

的深度、裂刻的数量，叶柄洼开叠类型，叶片基部形

状，叶顶端形状，叶顶端长短等用来作为区别葡萄不

纹理特征，因此，本研究提出一种充分利用底层纹理

添加SE注意力机制

［16］

，以提高网络的空间性能，

同品种的依据

［18］

。浅层过滤器擅长于提取这些局部

Copyright©博看网. All Rights Reserved.

第3期

唐恒翱 等：基于统计纹理残差学习网络的葡萄叶片分类方法

171

图2 ResNet50se内部结构

Fig.2 ResNet50se internal structure

特征的新的统计纹理残差学习网络（statistical tex⁃

ture residual learning network， STRLNet）。将图像

输入到网络ResNet50se中，提取高层特征和底层特

征，然后对高层特征与底层特征进行融合操作，对融

合的特征信息进行处理，实现最后的分类。但从主

干网络的浅层中提取的低层次的特征，往往质量较

低，特别是对比度较低，导致纹理细节模糊，对低层

次信息的提取和利用产生负面的影响。通过构建纹

［19］

理增强模块（texture enhancement module， TEM）

来增强底层特征的纹理细节，从而更容易捕获底层

特征信息。

模型结构如图3所示，图像首先输入到网络

ResNet50se中，将经过Layer 1后提取的低级特征

（shallow layer features， SLF）送入TEM模块中进行

底层特征增强操作。然后将输出结果与SLF进行连

接操作，最后再与经过ResNet50se得到的高级特征

进行融合。特征融合后将输出连接到一个Dropout

层和用于储存分类特征的11节点全连接层，构建统

计纹理残差学习网络。

图3 统计纹理残差学习网络结构

Fig.3 Statistical texture residual learning network

1.4　实验环境及模型精度评价方法

所使用的硬件平台为Intel（R） Xeon（R） Silver

4116 CPU @ 2.10GHz，进行模型测试的CPU为

NVIDIA TESLA V100 16 GB。所有实验使用Py⁃

thon3.8.5在TensorFlow2.2.0深度学习框架下实现。

经过测试，超参数设置如下：优化器为随机梯度下降

法，实验室数据集训练批次设置为64，学习率为

10

-3

，学习率衰减系数为10

-6

，训练轮次最大值设置

为300。设置早停机制，当验证集的损失在50轮次中

变化小于0.1即停止训练。采用5倍交叉验证法计算

模型的平均精度，基于混淆矩阵计算各种指标，包括

精度、召回率和F

1

分数，以评估模型的性能和总体分

类精度

［20］

。

对于图像分类问题，预测的结果一般有4种情

况：真正例（true positive， T

P

）、真负例（true negative，

T

N

）、假正例（false positive， F

P

），假负例（false nega⁃

tive， F

N

）。其中，T

P

为每个类别中正确分类的叶片

图像数量，即预测为正，实际也为正；而T

N

则表示除

相关类别之外的所有其他类别中正确分类的图像的

总和，即预测为负，实际也为负；F

N

给出了相关类别

中错误分类的图像的数量，即预测为负，实际为正；

F

P

给出了除相关类别之外的所有其他类别中错误分

类的图像数量，即预测为正，实际为负。

所用的基本评价指标有准确率（accuracy，A）、精

确率（precision，P）、召回率（recall，R）和F

1

分数（F

1

-

score）。A代表分类正确的样本占整体样本的比例，

用来评估模型的好坏。P是针对预测结果而言的，其

含义是在所有预测为正的样本中实际为正样本的概

率。R是针对原样本而言的，表示在实际为正的样本

Copyright©博看网. All Rights Reserved.

172

华中农业大学学报第42卷

中被预测为正样本的概率。F

1

-score是P和R的调

和平均数，是对这2项指标的综合考虑。这些指标的

计算公式如下：

A=

T

P

+T

N

T

P

+F

P

+F

N

+T

N

T

P

P=

T

P

+F

P

正面、背面图像分类精度进行实验测试，以测试叶片

正反面对分类精度的影响。分别选择正面叶片、背

面叶片以及每张叶片正反两面3种数据集进行模

型的训练并以对应的测试集进行分类准确率的比

较，叶片正面图像数据集、叶片反面图像数据集和

叶片正反两面数据集的分类精度分别为92.34%、

93.08%、92.96%。根据计算结果可知，正反叶面

图像在分类精度上相近，考虑到对整体叶片进行

充分学习，选择叶片正反两面图像作为训练数

据集。

（1）

（2）

（3）

（4）

R=

T

P

T

P

+F

N

P×R

P+R

F

1

-score=2×

2　结果与分析

2.1　主干网络的选择

在主干网络选择中，对常见的和高性能的分类模

型进行测试，以找到一个适合对葡萄叶片进行分类的

主干网络模型。这些模型用统一的超参数，当验证集

损失稳定时停止训练。然后使用验证集损失值最低

的模型在测试集进行准确率计算。测试结果显示，模

ResNet50在葡萄叶片数据集分类的准确率分别为

72.62%、86.23%、86.68%、88.47%、90.12%。测试结

果表明，ResNet50和ResNet101在自建葡萄叶片数据

集下表现最好，ResNet50作为平均准确率最高的模

型，需要的计算资源较少，因此，更适合葡萄叶片细

粒度分类场景。

2.3　消融实验

为验证所提出的以ResNet50为骨干网络的改进

策略对分类性能的影响，在数据集上展开消融实验，

以对比细粒度分类模型不同结构的模型性能。选择

分类精度可以达到约90.12%的ResNet50作为基础

网络，首先在ResNet50基础上增加了SE注意力机

制，得到的ResNet50se模型相较ResNet50在分类能

地将主干网络ResNet50se的Layer 1输出的浅层特

征SLF与基础网络的最终输出连接起来，修改后可

将性能小幅提升至91.12%左右。最后，在SLF之后

插入TEM模块，进一步将分类精度提高到92.96%。

精确度达到90.25%。其次，简单

型VGG16、Inceptionv4、ResNet34、ResNet101、

力上具有小幅提升，

2.4　热力图对比

为分析模型在分类层前的高维特征，即最后1层

卷积的关注焦点，使用Grad-CAM

［21］

热力图确定模

型的关注区域，如图4所示，较亮的区域表明模型对

2.2　叶片数据集的选择

在采集到的葡萄叶片数据集的基础上，对叶片

A：ResNet50分类网络对赤霞珠叶片特征提取的Grad-CAM图；B：STRLNet分类器对相同叶片的Grad-CAM对比图。高亮区域为重点

关注区域。A： Grad-CAM map of Cabernet Sauvignon leaf features extracted by ResNet50 classification network； B： Grad-CAM map of

STRLNet classifier for the same leaf. The highlighted area as the focused area.

图4 主干分类器和STRLNet分类器的Grad-CAM图对比

Fig.4 Grad-CAM of the backbone and the STRLNet classifiers

Copyright©博看网. All Rights Reserved.

第3期

唐恒翱 等：基于统计纹理残差学习网络的葡萄叶片分类方法

表1　11个葡萄品种叶片分类的准确性

Table 1　Accuracy of the classification of

grape leaves for the 11 cultivars with

Pyramid TriResNet50se

编号

Number

1

2

3

4

5

6

7

8

9

10

11

品种名

Cultivar

阳光玫瑰

Shine⁃Musca

户太八号 Hutai 8

瑞都红玉

Ruiduhongyu

魏可 Wink

赤霞珠

Cabernet Sauvignon

甜蜜蓝宝石

Moon Drops

霞多丽 Chardonnay

爱格丽 Ecolly

媚丽 Meili

意大利 Italia

克伦生无核

Crimson Seedless

精确率

Precision

100

92.53

96.03

94.87

100

78.57

98.64

98.93

86.86

99.23

88.50

召回率

Recall

100

86.11

91.50

87.05

100

86.84

98.64

97.89

95.55

96.26

98.71

173

这些区域的关注程度更高。可见ResNet50主干网络

已具有一定的分类性能，关注的区域主要集中在叶

片的右侧部位，而结合底层特征与高层特征融合后

的STRLNet模型（ResNet50se+SLF+TEM）的关

注度更均匀地集中在葡萄叶片边缘和中心区域，尤

其对中心叶脉处给予了很高的关注度。

%

F

1

-分数

F

1

-score

100

89.20

93.71

90.79

100

82.50

98.64

98.41

91.00

97.72

93.33

2.5　分类模型的性能评价

模型在训练过程中对11个葡萄品种叶片分类的

准确性如表1所示，对应的混淆矩阵如图5所示。

根据混淆矩阵结合数据集进行分析，品种3“瑞

都红玉”与品种4“魏可”、品种6“甜蜜蓝宝石”、品种2

“户太八号”与品种9“媚丽”的叶片特征相似，模型易

出现相互干扰的情况。品种4中有叶片图像被误分

类为品种3，但是品种3却并没有出现误分类为品种

4的情况，说明品种4所提取到的分类特征与其他品

种特征相比并无明显差异，易被其他品种干扰。从

图6中品种3、品种4的热力图可见，STRLNet分类

器对品种4的热力图仅关注到了叶片上部的区域，该

部位与一些品种相比具有一定的相似性，容易出现

误分情况产生。而品种3进行分类学习中关注的区

域较多，既有对叶顶端的关注，也有对裂刻与叶柄

洼区域的关注，所以并不易错分为品种4。品种5

“赤霞珠”与其他种类叶片相比，在叶片形态和裂刻

数量上具有明显差异，品种1“阳光玫瑰”在叶基部

及叶裂刻形状上具有区分度，因此具有极高的分类

精度。

图5 葡萄叶片数据集的统计纹理残差学习网络的混淆矩阵

Fig.5 Confusion matrix of the statistical texture residual learning network for the grape leaf dataset

Copyright©博看网. All Rights Reserved.

174

华中农业大学学报第42卷

A：阳光玫瑰 Shine⁃Musca； B：瑞都红玉 Ruiduhongyu； C：赤霞珠 Cabernet Sauvignon； D：魏可 Wink。从左到右分别为原图、Grad-CAM

热力图和原图与热力图的结合图。Figures from left to right are the original map， Grad-CAM heat map and the combined map，respectively.

图6 STRLNet分类器在不同品种的Grad-CAM图

Fig.6 STRLNet classifer Grad-CAM plots of classifiers in different varieties

3　讨论

升效果明显，在葡萄叶片细粒度分类中具有更高的

精确率。根据整体指标来看，统计纹理残差学习网

络可以在不需要人工干预的情况下，根据叶片图像

的形状、大小、颜色和纹理提取特征信息，实现较为

精准的细粒度分类。

本研究构建的基于叶片的葡萄品种分类模型，

有助于快速区分不同葡萄品种；结合叶片的形态学

特征创新分类方法，可以帮助研究者更好地认识葡

萄叶片、区分葡萄品种。通过农业图像分类数据集

［24］

PlantVillage

评估STRLNet分类器对14种不同种

由于在叶片图像的采集过程中，会出现重叠或

者边缘区域不完整等情况，因此，仅使用叶片图像对

葡萄品种进行细粒度分类存在一定的局限性，这部

分容易错误分类的图像给所有的分类模型都带来了

困难。同时，STRLNet分类器是在ResNet50骨干网

络基础上增加了分支模块，所以运行所需要的显存

空间比单一网络大。但是相较于ResNet50骨干网

络，改进后的分类器关注度更均匀地集中在葡萄叶

片边缘和中心区域，尤其对中心叶脉处的关注度很

高，增强了对特征信息的提取。改进后的网络模型

在葡萄叶片数据集上的精确率可以达到92.96%，相

较ResNet骨干网络的提高了约2.8个百分点。

对比Yousefi等

和Xue等

［23］

［22］

类植物的分类能力，结果表明，STRLNet分类器不仅

适用于葡萄品种鉴定，而且对其他作物的分类和识

别也能获得不错的效果，是一种通用的分类器，可应

用于农业图像分类和细粒度分类等其他问题，可为

植物的品种分类提供参考。

因为不同品种叶片相似度较高，所以目前分类

结果中仍存在一些错误分类的情况。从Grad-CAM

热力图可以看出， STRLNet并不能充分提取所有种

类的特征信息，例如品种4魏可。在今后的研究中，

可尝试先对原始图像数据集通过图像分割处理提取

图像边缘、纹理信息，再通过连接特征图进行特征融

合，以增加特征信息的提取，进一步提高分类的精

确性。

提出的多层感知叶片分类器

基于叶片的可见光/近红外光谱参数作

为输入构建的人工神经网络，STRLNet属于端到端

的网络结构，不用花费大部分时间设计分析特征，特

征提取不依赖于算法设计人员的判断，同时也不需

要长时间人工调试处理误差。与郑一力等

叶片图像识别方法、Peng等

［13］

［11］

提出的

基于AlexNet、Inception v3模型的卷积神经网络植物

提出的使用迁移学习

的MobilNet v2、ResNet50叶片分类模型进行横向对

比，STRLNet在准确性、损失率等指标明显优于其他

模型，说明改进模型的识别准确度较高，模型性能得

到进一步提升。结果表明，STRLNet模型在葡萄叶

片分类场景下精确率最高，对叶片特征提取更加丰

富，尤其对比Yang等

［12］

参考文献References

［1］

MACLEOD N，BENFIELD M，CULVERHOUSE to

automate identification［J］.Nature，2010，467（7312）：154-155.

提出的基于VGG16、Incep⁃

tion v3和Nasnet这3种CNN融合的模型分类模型提

［2］

KAYA A，KECELI A S，CATAL C，et is of transfer

Copyright©博看网. All Rights Reserved.

第3期

唐恒翱 等：基于统计纹理残差学习网络的葡萄叶片分类方法

org/10.1016/.2021.106253.

175

learning for deep neural network based plant classification models

［J］.Computers and electronics in agriculture，2019，158：20-29.

［14］

LI H H，WEI Y N，ZHANG H M，et -grained classifica⁃

tion of grape leaves via a pyramid residual convolution neural net⁃

work［J］.International journal of agricultural and biological engi⁃

neering，2022，15（2）：197-203.

［3］

AAKIF A，KHAN M tic classification of plants based

on their leaves［J］.Biosystems engineering，2015，139：66-75.

［4］

SALEEM G，AKHTAR M，AHMED N，et ted analy⁃

sis of visual leaf shape features for plant classification［J］.Com⁃

puters and electronics in agriculture，2019，157：270-280.

［15］

GRIBBON K T，BAILEY D G.A novel approach to real-time

bilinear interpolation［C］//Proceedings of IEEE international

workshop on electronic design，test and applications，January

28-30，2004，Perth，WA， York： IEEE，2005：

126-131.

［5］

WU S G，BAO F S，XU E Y，et al.A leaf recognition algorithm

for plant classification using probabilistic neural network［C］//

2007 IEEE international symposium on signal processing and

information technology，December 15-18，2017，Giza，Egypt.

New York：IEEE，2008：11-16.

［16］

HU J，SHEN L，ALBANIE S，et e-and-excitation net⁃

works［J］.IEEE transactions on pattern analysis and machine in⁃

telligence，2020，42（8）：2011-2023.

［6］

ZHAO Z Q，MA L H，CHEUNG Y M，et ：an effi⁃

cient android-based plant leaf identification system［J］.Neuro⁃

computing，2015，151：1112-1119.

［17］

XU G Q，LI C，WANG d multi-scale method for fast

leaf classification and retrieval using geometric information［J］.

IET image processing，2019，13（12）：2328-2334.

［7］

张善文，张晴晴，齐国红.基于Fourier描述子和LBP相结合的

植物叶片识别方法［J］.江苏农业科学，2019，47（14）：273-276.

ZHANG S W，ZHANG Q Q，QI G leaf recognition

method based on Fourier descriptor and LBP［J］.Jiangsu agricul⁃

tural sciences，2019，47（14）：273-276 （in Chinese）.

classification with deep convolutional neural networks［J］.Com⁃

munications of the acm，2017，60（6）：84-90.

［18］

刘崇怀.中国葡萄属（Vitis L.）植物分类与地理分布研究［D］.

郑州：河南农业大学， C fication and geo⁃

graphical distribution of Vitis L. in China［D］.Zhengzhou：Henan

Agricultural University，2012 （in Chinese with English abstract）.

JI D Y，ZHU S P，et ng statistical texture

［8］

KRIZHEVSKY A，SUTSKEVER I，HINTON G et

［19］

ZHU L Y，

for semantic segmentation［C］//2021 IEEE/CVF conference

on CVPR，June 20-25， 2021，Nashville，TN， York：

IEEE，2021：12532-12541.

scale visual recognition challenge［J］.International journal of com⁃

puter vision，2015，115（3）：211-252.

［9］

HALL D，MCCOOL C，DAYOUB F，et tion of fea⁃

IEEE winter conference on applications of computer vision，Jan⁃

uary 5-9，2015，Waikoloa，HI， York：IEEE，2015：

797-804.

tures for leaf classification in challenging conditions［C］//2015

［20］

RUSSAKOVSKY O，DENG J，SU H，et et large

［21］

SELVARAJU R R， COGSWELL M， RAMAKRISHNA V，

et -CAM： visual explanations from deep networks via

gradient-based localization［J］. International journal of computer

vision， 2020，128： 336-359.

［10］

PEREIRA C S，MORAIS R，REIS M J C learning tech⁃

niques for grape plant species identification in natural images［J/

OL］.Sensors （Basel，Switzerland），2019，19（22）：4850［2022-

11-26］.https：///10.3390/s19224850.

［22］

YOISEFI E， BALEGHI Y， SAKHAEI S M. Rotation invari⁃

ant wavelet descriptors， a new set of features to enhance plant

leaves classification

［J］

. Computers and electronics in agricul⁃

ture， 2017，140： 70-76.

［11］

郑一力，张露.基于迁移学习的卷积神经网络植物叶片图像识

别方法［J］.农业机械学报，2018，49（S1）： Y

L，ZHANG leaf image recognition method based on

transfer learning with convolutional neural networks［J］.Transac⁃

tions of the CSAM，2018，49（S1）：354-359

（in Chinese with

［23］

XUE J R， FUENTES S， POBLETE-ECHERRI C， et al. Au⁃

tomated Chinese medicinal plants classification based on machine

learning using leaf morpho-colorimetry， fractal dimension and

visible/near infrared spectroscopy［J］. Int J Agric & Biol Eng，

2019：12（2）： 123-131.

English abstract）

.

［12］

YANG H W，HSU H C，YANG C K，et entiating be⁃

tween morphologically similar species in genus Cinnamomum

（Lauraceae） using deep convolutional neural networks［J］.Com⁃

puters and electronics in agriculture，2019，162：739-748.

［24］

HUGHES D P， SALATHE M. An open access repository of

images on plant health to enable the development of mobile dis⁃

ease diagnostics through machine learning and crowd sourcing

［DB/OL］. arXiv， 2015：1511.08060［2022-11-26］.https：//doi.

org/10.48550/arXiv.1511.08060.

［13］

PENG Y S，WANG industrial-grade solution for agricul⁃

tural image classification tasks［J/OL］.Computers and electron⁃

ics in agriculture，2021，187：106253［2022-11-26］.https：//doi.

Copyright©博看网. All Rights Reserved.

176

华中农业大学学报第42卷

Fine-grained classification of grape leaves based on statistical

texture residual learning network

TANG Heng’ao

1

,LI Hanghao

1

,SUN Zhitong

1

,MENG Jiangfei

2

,YANG Boyu

1

,ZHANG Hongming

1

e of Information Engineering， Northwest A&F University，Yangling 712100， China；

e of Enology， Northwest A&F University， Yangling 712100， China

Abstract An improved statistical texture residual learning network （STRLNet） for the fine-grained

classification of grape leaves was constructed to solve the problem of low classification accuracy of intra-

class varieties caused by high inter-class similarity between grape leaves. SE attention mechanism was add⁃

ed on the basis of ResNet50 backbone network. The feature enhancement layer of the underlying informa⁃

the backbone network were integrated. The output was connected to the full connection layer used for stor⁃

used for training and testing. The results showed that STRLNet fully utilized the underlying feature infor⁃

tion was built. The enhanced underlying features with the high-level semantic information extracted from

ing the characteristics of classification. The collected dataset of mature grape leaves of 11 cultivars were

mation while improving the spatial performance of the network， with a classification accuracy of 92.26%

for the collected dataset of grape leaves. It was about 2.8 percentage points higher than that of the ResNet

backbone network. It had higher accuracy in fine-grained classification of grape leaves compared with main⁃

proved model can focus on more feature information compared with the backbone network in the classifica⁃

mainstream classification network models and further improve model performance.

stream classification networks including VGG16， Inception v4， and ResNet. It is indicated that the im⁃

tion of grape leaves from multi-cultivars. It can achieve higher classification accuracy compared with the

Keywords fine-grained classification； classification of grape cultivars； feature extraction； attention

mechanism； texture enhancement layer； convolution neural network； accurate classification

（责任编辑：赵琳琳）

Copyright©博看网. All Rights Reserved.