基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法

基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法

吕石磊1,2,3，卢思华1，李 震1,2,3，洪添胜1,2,4，薛月菊1,2,3，吴奔雷1

※

（1. 华南农业大学电子工程学院，广州 510642；2. 国家柑橘产业技术体系机械化研究室，广州 510642； 3. 广东省农情信息监测工程技术研究中心，广州 510642；4. 华南农业大学工程学院，广州 510642）

摘 要：柑橘识别是实现柑橘园果实自动采摘、果树精细化管理以及实现果园产量预测的关键技术环节。为实现自然环境下柑橘果实的快速精准识别，该文提出一种基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法。在采摘机器人领域，果实识别回归框的准确率直接决定了机器手的采摘成功率，该方法通过引入GIoU边框回归损失函数来提高果实识别回归框准确率；为便于迁移到移动终端，提出一种YOLOv3-LITE轻量级网络模型，使用MobileNet-v2作为模型的骨干网络；使用混合训练与迁移学习结合的预训练方式来提高模型的泛化能力。通过与Faster-RCNN以及SSD模型对比在不同遮挡程度的测试样本下模型的识别效果，用F1值与AP值评估各模型的差异，试验结果表明：该文提出的模型识别效果提升显著，对于果实轻度遮挡的数据集，该文提出的柑橘识别模型的F1值和AP值分别为95.27%和92.75%，Average IoU为88.65%；在全部测试集上，F1值和AP值分别为93.69%和91.13%，Average IoU为87.32%，在GPU上对柑橘目标检测速度可达246帧/s，对单张416×416的图片推断速度为16.9 ms，在CPU上检测速度可达22帧/s，推断速度为80.9 ms，模型占用内存为28 MB。因此，该文提出的柑橘识别方法具有模型占用内存低、识别准确率高及识别速度快等优点，可为柑橘采摘机器人以及柑橘产业产量预测提出新的解决方案，为柑橘产业智能化提供新的思路。

关键词：神经网络；果树；算法；柑橘；YOLOv3-LITE；混合训练；迁移学习；GIoU边框回归损失函数 doi：10.11975/j.issn.1002-6819.2019.17.025 中图分类号：TP301.6; S274.2 文献标志码：A 文章编号：1002-6819(2019)-17-0205-10 吕石磊，卢思华，李 震，洪添胜，薛月菊，吴奔雷.基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法[J]. 农业工程学报，2019，35(17)：205－214. doi：10.11975/j.issn.1002-6819.2019.17.025 http://www.tcsae.org

Lü Shilei, Lu Sihua, Li Zhen, Hong Tiansheng, Xue Yueju, Wu Benlei. Orange recognition method using improved YOLOv3-LITE lightweight neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 205－214. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.17.025 http://www.tcsae.org

0 引 言

随着农业机械化与信息化的兴起，计算机视觉以及深度学习技术的不断突破，果实识别、机器人自动采摘、果实产量预测是近年来的研究热点[1]。在智慧农业方面[2]，人们通过对果实的识别来实现果树的精细化管理。柑橘产业是我国南方水果产业的重要支柱[3]，由于我国柑橘果园环境复杂，果实密集度高、叶片遮挡严重，且柑橘果树树冠较低，果实阴影程度较高，为实现柑橘果树的自动采摘，柑橘果实的精准识别研究至关重要。

近年来，针对于自然环境下柑橘目标识别问题，国内外相关文献基于传统机器视觉技术提出了多种解决方法。Hussin等[4]和谢忠红等[5]分别使用圆形Hough变换进行柑橘目标检测，检测精度较低，且在柑橘密集、重叠的情况下，容易导致错误检测。熊俊涛等[6]提出利用 收稿日期：2019-06-24 修订日期： 2019-08-27

基金项目：国家自然科学基金项目(61601189，31971797)；现代农业产业技术体系建设专项资金(CARS-26)；广东省科技计划项目(2016A020210088)；广州市科技计划项目(201803020037)

作者简介：吕石磊，博士，副教授，主要从事农业信息化研究。 Email：lvshilei@scau.edu.cn

※通信作者：李 震，博士，教授，博士生导师，主要从事机电一体化技术应用研究。Email：lizhen@scau.edu.cn

K-means聚类分割法结合优化Hough圆拟合方法实现柑橘果实分割，利用直线检测确定柑橘采摘点，但误检率会随目标密集度变化而增加。卢军等[7-9]提出遮挡轮廓恢复的方法进行柑橘识别，利用LBP特征的识别准确率可达82.3%，之后利用水果表面光照分布的分层轮廓特征进行树上绿色柑橘的检测，但在图像采集过程中需要人工采集光源且场景适应性不高。Zhao等[10]提出一种SATD匹配方法对潜在的水果像素点进行检测，使用支持向量机（support vector machine，SVM）进行分类，识别准确率达到83%以上，但该方法随着目标数的增加，检测的复杂度和难度随之增加，从而影响检测精度。Dorj等[11]提出利用颜色特征来预测柑橘产量，首先将RGB图像转换为HSV图像，再对图像进行橙色检测，利用分水岭分割法对柑橘进行计数，但该方法的检测准确率受距离和背景变化的影响较大。Liu等[12]提出一种基于成熟柑橘区域特征的识别方法，利用特征映射表来降低特征向量的维数，但该方法在阴影情况下的识别效果较差。

另外，在传统机器视觉领域，针对苹果、桃子、番茄等常见水果的检测方法也相继被提出。马翠花等[13]提出基于密集和稀疏重构[14]（dense and sparse reconstruction，DSR）的未成熟番茄识别方法，识别准确率为77.6%。张春龙等[15]使用基于SVM分类器和阈值分

206

农业工程学报（http://www.tcsae.org） 2019年

类器的混合分类器来实现近色背景中绿色苹果的识别与计数，平均识别准确率为89.3%，但该方法对单张图片检测时间过长，对重叠果实识别精度较低。Peng等[16]提出利用形状不变矩等方法综合果实的颜色和形状特征，利用SVM分类器对提取的特征向量进行分类识别，但该方法在复杂环境下适用性较低。Wajid等[17]提出基于决策树分类的成熟柑橘、未成熟柑橘识别方法，但受决策树特性影响，该方法的识别准确率稳定性有待进一步提高。以上对不同水果的识别方法主要是基于颜色特征和纹理特征，都受限于自身算法的局限性，无法找到通用的特征提取模型，无法同时识别所有类型的水果，而且受光照以及环境的影响较大，泛化性较差，很难满足实时检测的要求，算法没有得到很好的推广。

由于传统机器视觉方法在复杂场景下鲁棒性差，很难满足采摘机器人在复杂场景下的工作需求。近年来，卷积神经网络[18]在目标检测领域不断完善，体现出巨大的优越性，其主要分为两类，一类是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类，代表有RCNN[19]、Fast RCNN[20]和Faster RCNN[21]；一类直接将目标边框定位的问题转化为回归问题处理，不需要产生候选框，标志性算法包括SSD[22]、YOLO[23]等。傅隆生等[24]提出基于卷积神经网络的田间多簇猕猴桃图像识别方法，该方法对相邻果实和独立果实的识别率分别为91.01%和94.78%，但对遮挡、重叠果实识别准确率较低。Sa等[25]和熊俊涛等[26]分别采用Faster R-CNN深度卷积神经网络来识别甜椒和柑橘，但模型训练速度较慢，检测时间较长。彭红星等[27]提出基于SSD深度学习模型对4种不同水果进行识别，平均检测精度可达89.53%，有较好的泛化性和鲁棒性。薛月菊等[28]提出基于YOLOv2[29]的未成熟芒果识别方法，识别速度和识别精度可显著提升。以上研究的开展为卷积神经网络应用于果实识别提供了参考和可行性依据，且能避免传统机器视觉方法中特征提取过程的不足。

该文结合SSD网络以及YOLO系列网络的优点，通过改进YOLOv3网络模型[30]，使用一种新的IoU边框回归损失函数，并提出一种混合训练[31]与迁移学习[32]结合的方式将模型在COCO数据集中学习到的知识迁移到柑橘图像识别过程中，提出一种基于GIoU[33]的YOLOv3-LITE轻量级神经网络的柑橘识别方法。在不损失精度的情况下，该方法较传统YOLOv3网络的检测速度提升了近4倍，模型占用内存缩小近8倍。

1 材料与方法

1.1 试验数据的采集

柑橘图像的采集地为广东省梅州市柑橘果园，使用数码相机、高清手机等多种设备拍摄距离1 m左右的自然光照下柑橘树冠图像，拍摄角度朝东南西北4个方向，并采集树冠下方含阴影的果实，共采集原始图片500张，图像包括阴天、晴天、雨天，涵盖顺光、逆光等所有光照情况。为保证柑橘图像数据的多样性，通过网络爬虫获取200张柑橘照片，挑选出120张，所得数据集为620张。

1.2 数据增强

使用Matlab工具对原始数据集进行数据扩增，对原始图像进行旋转，旋转角度随机取-30°、-15°、15°、30°；对原始图像随机进行镜像翻转、水平翻转、垂直翻转；通过裁剪以及缩放等方式进行扩展数据集；通过调整饱和度和色调、直方图均衡化、中值滤波等图像处理技术对数据进行增强。考虑到数据增强会导致图片中图像形状变化以及质量变化较为严重，对每张图片随机采用以上一种方式进行扩增，得到1 240张，筛选出符合试验的数据作为最终的数据集，最终数据集为1 130张。 1.3 数据集准备

将上述数据集使用labelImg工具对检测目标进行标记。考虑标签和数据的对应关系以及确保数据集分布统一，使用Matlab工具将数据集按照70%、10%、20%的比例随机拆分为训练集、验证集、测试集，其中训练集含边框标注样本为7 148个，验证集含边框标注样本为1 006个，测试集含边框标注样本为2 243个。将最终数据集按照PASCAL VOC数据集的格式存储，再将测试集分为2部分：目标平均遮挡程度小于30%的数据集（轻度遮挡，用A表示）、目标平均遮挡程度大于30%且较密集的数据集（重度遮挡，用B表示）。其中，测试集A包含标注样本682个，测试集B包含标注样本1 561个，最终数据集如表1所示。

表1 数据集及其数量 Table 1 Data sets and size

数据集 训练集 验证集 测试集

总数量Dataset Training set Validation set

Test set

Total A B number图片个数 Number of images 791 113 13195 1 130轻度遮挡样本个数 Number of lightly 2 253

317 682

0 3 252obscured samples 重度遮挡样本个数 Number of severely 4 895 689

0 1 5617 145

obscured samples

2 改进的YOLOv3-LITE柑橘识别网络

2.1 YOLOv3网络模型

YOLO网络模型是一种one-stage的方法，YOLO将输入图像分成S×S个格子，如果一个物体的中心落在某个网格内，则对应的网格负责检测该物体。其中，YOLOv1将输入图像的尺寸改为448×448，然后送入CNN网络训练，采用非极大抑制算法进行预测，YOLOv1对小目标检测效果不好，定位也不够精确。Redmon等[29]提出的YOLOv2吸收了Faster R-CNN中RPN的思想，去掉YOLOv1中的全连接层，加入Anchor Boxes，提高了召回率，且提出k-means聚类计算Anchor Boxes，Average IoU也提升了，但对小目标检测效果一般。YOLOv3在YOLOv2的基础上进行了一些改进，加深了网络，提出了多标签分类预测，使用逻辑回归（logistic regression）对方框置信度进行回归，同时提出了跨尺度预测，使用类似FPN（feature pyramid networks）的融合做法，在多

第17期 吕石磊等：基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法

207

个尺度的特征图上进行位置和类别预测，对小目标的检测效果提升明显。在类别预测中，YOLOv3不使用Softmax函数对每个框分类，而是对每个类别独立地使用逻辑回归，在训练过程中，使用二元交叉熵损失（binary cross-entropy loss）来进行类别预测，可以更好地处理多标签任务。YOLOv3目标检测网络损失函数如式（1）所示。

s2

B

LossFunctioncoordobjijxixˆ2iyiˆy2

i0j0



s2

B

coordobjij





i0j0



wiwˆ2ihihˆi2



s2

B

objijCilogCˆi1Cilg1Cˆi

i0j0

s

2

B

noobj

nobjij

Ci

i0j0

Ciˆ2

s2

obji

i0

CpˆC2

i

Cp

i

（1）Class

式中i表示第i个方格，j表示该方格预测出的第j个方框；obj表示含有目标，noobj即没有目标，Ci为预测目标的

类别，C

ˆi

为真实目标的类别，λcoord、λnoobj是惩罚系数。损失函数包括5个部分，第1项包含预测和实际的x、

y坐标，该部分是计算预测的中心坐标的损失；第2项包含预测和实际的宽和高，即w、h，该部分是计算预测边界框的宽高的损失；第3项是方框置信度损失，回归目标是预测方框与实际方框的IoU值；前3项都只在预测方框和实际方框有对应关系时才计算损失；第4项是没有对应物体的方框置信度损失，3、4项是计算预测的置信度损失，第5项是分类损失，当方格中有物体时，才计算分类损失。

2.2 改进的YOLOv3-LITE轻量级神经网络模型设计 2.2.1 基于GIoU的边框回归损失函数

IoU为预测框与原来图片中标记框的重合程度，目标检测领域常使用边框回归IoU值作为评价指标。但是，大部分检测框架没有结合该值优化损失函数，IoU可以被反向传播，它可以直接作为目标函数去优化。考虑到优化度量本身与使用替代的损失函数之间的选择，最佳选择是优化度量本身。作为损失函数，传统IoU有两个缺点：如果2个对象不重叠，IoU值将为零，则其梯度将为零，无法优化；2个物体在多个不同方向上重叠，且交叉点水平相同，其IoU将完全相等，IoU无法精确的反映两者的重合度大小，如图1所示，3个不同的方法重叠两个矩形具有完全相同的IoU值，但他们的重合度是不一样的，最左边的图回归的效果最好，最右边的回归效果最差，其中最右边的图预测边框为旋转候选边框[34]。因此，IoU函数的值并不能反映两个对象之间如何发生重叠。在柑橘采摘机器人的果实识别中，回归框位置的精确度直接决定了机器手采摘的成功率。因此，该文提出通过引入GIoU来解决IoU的缺点。IoU取值[0,1]，而GIoU有对称区间，取值范围[-1,1]，在两者重合的时候取最大值

1，在两者无交集且无限远的时候取最小值-1。因此，GIoU是一个非常好的距离度量指标，与IoU只关注重叠区域不同，GIoU不仅关注重叠区域，还关注其他的非重合区域，能更好的反映两者的重合度，GIoU Loss可以替换掉大多数目标检测算法中边框回归的损失函数，如式（2）-（5）所示。

注：黑色矩形代表预测的边界框，灰色矩形代表原始标记的边界框。

Note: The black rectangle represents the predicted bounding box; the gray rectangle represents the original marker's bounding box.

图1 两个矩形重叠示意

Fig.1 Diagram of two overlapping rectangles

IoU

AB

AB

（2）

GIoU? IoUCABC

（3）

LGIoU1GIoU

（4）

2

B

GIoULosscoordsobjij

（1-GIOU）i0j0

s

2

B

objijCilgCˆi1Cilg1Cˆi

i0j0



s2

B

noobjnobjijCiCˆi

i0j0

2

s2

obji

pCp

ˆC2

i

i

（5）

i0

CClass

式中A和B为任意两个矩形框，C为包围A、B矩形框的

最小外接矩形，S为A，B所在空间，A, B  S∈n。 2.2.2 YOLOv3-LITE网络模型设计

传统YOLOv3采用自定义骨干网络Darknet-53，模型计算复杂，对存储空间要求较高，在GPU上一张416×416的图片推断速度为30 ms，在CPU上推断速度为255.8 ms。该文提出一种实时目标检测的轻量级神经网络模型，在传统YOLOv3网络的基础上，设计了YOLOv3-LITE网络，在GPU上的推断速度可达16.9 ms，在CPU上推断速度可达80.9 ms。MobileNet[35]是一种基于移动端的轻量级神经网络，该文使用MobileNet-v2[36]轻量级神经网络作为YOLOv3-LITE的骨干网络，MobileNet-v2网络模型采用反残差模块与深度可分离卷积结合，首先通过1×1卷积提升通道数，后通过3×3卷积进行Depthwise convolution（深度卷积），再用1×1卷积降低维度。MobileNet-v1使用ReLU6替换ReLU激活函数，控制线性增长部分。MobileNet-v2将非线性激活函数ReLU6去掉，即不使用激活函数，直接线性输出，减

208

农业工程学报（http://www.tcsae.org） 2019年

少了信息丢失。其深度可分离卷积层具体结构如图2所示，图中采用输入为RGB三通道图片，MobileNet-v2在Depthwise convolution之前添加一层升通道卷积层（逐点卷积），添加了这一层升通道卷积之后，Depthwise convolution的Filter数量取决于升通道卷积之后的通道数，而这个通道数是可以任意指定的，因此解除了3×3卷积核个数的限制。将普通卷积用深度可分离卷积代替，使得计算量大大降低，同时可以通过增加通道数来提升模型的精度，对速度和精度有较好的提升，且便于迁移到嵌入式以及移动设备等较小系统上。YOLOv3最突出的特点是它可以在3种不同的尺度上进行检测，从75到105层为YOLO网络的特征交互层，分为3个尺度，每个尺度内，通过卷积核的方式实现局部的特征交互，作用类似于全连接层。为避免采用MobileNet-v2网络会对小目标检测精度降低，该文将特征图融合改为在19、34层做深度连接，对于输入为416×416的图像，卷积网络在53层后，经过卷积得到13×13的特征图，这里的特征图感受野较大，适合检测尺寸比较大的对象，即第1次预测输出；为实现细粒度的检测，卷积层53层的特征图

往右开始上采样，得到与34层相同分辨率的特征图，经过残差模块然后与34层特征图融合，故65层经卷积后得到26×26的特征图，具有中等尺寸的感受野，适合检测中等尺寸的对象；最后65层特征图再次上采样，得到与19层相同分辨率的特征图，经过残差模块然后与19层特征图融合，最后得到相对输入图像8倍下采样得到52×52的特征图，此时感受野较小，适合检测小尺寸的对象，具体结构如图3，网络参数如表2所示。

图2 深度可分离卷积层结构示意

Fig.2 Structure diagram of depth wise separable convolutional

layer

注：图3中深度可分离卷积块的单层结构如图2所示。

Note: The single-layer structure of depthwise separable convolutional blocks used in this figure is shown in Fig.2.

2.2.3 一种混合训练与迁移学习结合的预训练方式

在自然环境下，柑橘目标遮挡情况严重，且由于样本集数据涵盖的场景有限，只识别单一类别的柑橘将使得模型泛化能力受限。该文使用一种为训练目标检测网络而设计的视觉相干图像混合方法（visually coherent image mixup），该方法可以有效提升模型的泛化能力，减少过拟合问题。Mixup是指将2张输入图像按照一定权重合并成一张图像，基于这种合成图像进行训练的模型更加鲁棒，可以达到目标遮挡的效果，能够有效降低图像之间差异性的影响，如图4所示。迁移学习（transfer

图3 YOLOv3-LITE结构 Fig.3 Structure diagram of YOLOv3-LITE

learning）是把已训练好的模型学习到的知识迁移到新的

模型来帮助新模型训练。Yosinski等[32]通过迁移学习试验并可视化证明底层的卷积神经网络能够学习到物体的通用特征，例如几何变化、边缘、色彩变化等，而高层网络则负责提取特定的特征细节。小数据集通过迁移学习也能够达到较好的训练效果。该文采用混合训练的方式对COCO数据集进行预训练，通过迁移学习将模型从COCO数据集学习到的知识迁移到柑橘图像识别中，通过冻结部分卷积层，使得在反向传播修正模型参数时只对部分卷积层进行修正模型参数，使用迁移学习与混合

第17期 吕石磊等：基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法

209

训练结合的方式，降低了模型训练的时间和节省了内存消耗，柑橘目标识别效果提升明显。

表2 YOLOv3-LITE网络参数

Table 2 Parameters of YOLOv3-LITE networks

网络层 输入尺寸 步长 重复次数通道数Layers Input size Step NumbersConv 1×1 416×416×3 Filters2 132 Bottleneck/1 208×208×32 1 1 16 Bottleneck/6 208×208×16 2 2 24 Bottleneck/6 104×104×24 2 3 32 Bottleneck/6 52×52×32 1 Bottleneck/6 52×52×64 4 64 2Bottleneck/6 26×26×96 3 96 23 160 Bottleneck/6 13×13×160 1 1 320 Conv 1×113×13×320 1 1 1 280 Conv 3×3 13×13×1 280 1 2 1 280Conv Set 13×13×1 280

— 1 —Conv 1×1 13×13×1 0241 1 255

Detection 13×13×255—Conv 1×1 13×13×512 1 —

1Upsample 2x13×13×256

Route 1 256

—1 — —— 1 —

Conv Set 26×26×768 Conv 1×1 — 1 — 26×26×5121 1 255 Detection 26×26×255 — 1 Conv 1×1 — 26×26×256 1 1128 Upsample 2x 26×26×128 — 1 —

Route — — 1 —

Conv Set 52×52×384 1Conv 1×1 — — 52×52×2561 1 255

Detection

— — 1 —

注：Bottleneck是指深度可分离卷积块与残差网络的集合，Bottleneck/1，Bottleneck/6代表中间通道数相对于输入通道的倍增系数为1和6；Conv Set代表YOLOv3的基本模块，包含1×1卷积，3×3卷积以及ReLu层、BN层；Up sample 2x代表2倍上采样；Route层为特征图融合层。

Note: Bottleneck refers to the set of deep separable convolution blocks and residual networks, Bottleneck/1 and Bottleneck/6 represent the expansion factor of the number of intermediate channels relative to the input channels of 1 and 6; Conv Set represents the basic module of YOLOv3, including 1×1 convolution, 3×3 convolution, ReLu layer and BN layer; Upsample 2x means double Upsample, Route is the feature map fusion layer.

图4 视觉相干图像混合示意

Fig.4 Diagram of visually coherent image mixup

2.3 模型的训练与测试 2.3.1 试验平台

该文训练采用的操作系统为Ubuntu 18.04，测试的框架为Tensorflow、Darknet，处理器为E5-2620

V4@2.10GHz，

八核，16GB RAM，显卡为Nvidia GeForce RTX 2080TI，使用CUDA 10.0版本并行计算框架配合CUDNN 7.3版本的深度神经网络加速库。 2.3.2 柑橘识别网络训练

柑橘目标检测网络训练的流程如图5所示。该文采

用对比实验的方式，使用网络模型Faster-RCNN、

SSD、YOLOv3、以及GIoU+YOLOv3-LITE（即改进的YOLOv3-LITE）进行对比试验，并在不同的数据集上验证模型效果。首先，将采集到的数据分为重度遮挡（目标平均遮挡程度大于30%）与轻度遮挡（目标平均遮挡程度小于30%）的2部分数据集，通过数据增强对图像进行扩充，对样本进行标注，以PASCAL VOC的格式进行存储。分别采用混合训练与迁移学习结合的预训练方式、单独使用迁移学习的预训练方式、不采用预训练方式等3种方法来训练网络模型，并分别结合反向传播算法修正模型参数，使损失函数不断减小，当平均损失小于0.01，且多次迭代损失函数不再减少时，停止训练。

图5 柑橘目标检测网络的流程

Fig.5 Flowchart of orange detection network

模型超参数设置为每批量样本数为32，动量因子为0.9，初始学习率为0.001，每过5 000次迭代训练，将学习率降低10倍，模型每训练100次保存一次权重。 2.3.3 模型测试

该文使用F1值（F1 score）、AP值（average precision）来评价损失函数训练出来的模型，其中F1值计算公式如式（8）所示，AP值计算公式如式（9）所示。表示如下

P TP

TP+FP （6） R TP

TP+FN （7） F1

2PR

PR

（8）

1

APPRdR

（9）

0

式中P为准确率，R为召回率，TP 为真实的正样本数量，

FP为虚假的正样本数量，FN为虚假的负样本数量。

分别使用如式（5）所示的GIoU损失函数与如式（1）所示的原始YOLO损失函数训练YOLOv3-LITE网络模型，训练时间分别为10.6与12.8 h，采用训练的Loss曲线图如图6a所示，图中损失值即损失函数的值，损失函数包含分类损失、置信度损失、边框回归损失3部分。采用YOLO Loss的模型在训练集上迭代的loss曲线如

210

农业工程学报（http://www.tcsae.org） 2019年

图 6a中曲线YOLO loss-train所示，在验证集上面迭代的loss曲线如图6a中曲线YOLO loss-val所示。采用GIoU损失函数的模型在训练集上迭代的loss曲线如图6a中曲线GIoU loss-train所示，在验证集上面迭代的loss曲线如图 6a中曲线GIoU loss-val所示。训练的Average IoU曲线图如6b所示。

根据图6所示，采用GIoU Loss训练的模型在验证集上面的拟合程度要优于传统YOLO Loss，并且Average IoU值要明显高于YOLO Loss，采用YOLO Loss的模型在3 000次之后渐渐稳定，而采用GIoU Loss的模型在9 000次之后逐渐稳定。该文采用验证集去验证模型的优劣，并且通过对比验证集与训练集的loss曲线去调节模型的超参数，图6a为不断调参过程中选择出来最佳的超参数训练所迭代的loss曲线图，其中最优超参数同2.3.2

节模型所设置的超参数。每迭代100次保存一次权重，对训练出来的模型进行测试和评估。该文通过每100次训练保存的权重，使用客观的评价标准（F1值、AP值以及Average IoU值）进行评估模型的优劣。

3 结果与分析

为了验证该文的柑橘目标检测方法的性能，对提出的策略进行单个验证，对比使用混合训练与迁移学习以及不同骨干网络在柑橘目标检测中的精度与速度，之后对比采用新型损失函数对模型检测精度的影响。采用网络模型SSD、YOLOv2、YOLOv3、Faster-RCNN以及该文采用的改进YOLOv3-LITE进行对比实验，数据集如表1所示，比较模型在不同的数据集的优劣程度，重点分析模型对遮挡果实识别的准确率。

a. Loss迭代曲线 a. Iteration curves of Loss

b. Average IoU迭代曲线 b. Iteration curves of average IoU

图6 迭代曲线图 Fig.6 Iteration curves

3.1 使用混合训练与迁移学习的检测结果

以YOLOv3-LITE网络为基础网络，传统方法为不使用预训练模型，用训练集从头开始对所有参数进行训练，迁移学习的方法是使用COCO数据集的预训练模型对模型进行部分层参数的训练，该文提出使用混合训练与迁移学习结合的预训练模型进行模型的微调，3种方法检测的结果在测试集A+B（如表1所示）的对比结果如表3所示。相对于传统方法，使用迁移学习对模型提升效果明显，使用混合训练与迁移学习结合，模型的F1值上升3.79%，AP值上升2.75%，Average IoU值上升2.74%。

3.2 不同骨干网络检测结果对比

为了证明模型在YOLO网络框架下改进的优越性，该文通过对比不同的网络框架以及不同骨干网络进行对比，在测试集A+B（如表1所示）的检测结果如表4所示。其中，采用DarkNet-53为骨干网络的传统YOLOv3模型相对于YOLOv2模型由于网络模型更复杂，使得检测速度略低于YOLOv2，但模型F1值提升了5.45%，AP值提升了6.36%，识别准确率提升明显。从表4中可以看到YOLOv3-Thiny减少了模型的层数，检测速度与模型大小都取得了很好的提升，但检测精度下降明显。采用MobileNet-v1作为YOLOv3的骨干网络，其速度达到270帧/s，模型大小为23 MB，速表3 不同训练方式检测结果的比较

度和模型占用内存取得了最优的结果，但检测精度较传统Table 3 Comparison of detection results using different training

methods YOLOv3模型下降明显。而骨干网络采用MobileNet-v2的

IoU 平均精度 YOLOv3（即YOLOv3-LITE），其F1值与AP值在所有模训练方式

F1 score/% Average Average

Training methods 型中取得了最优的效果，且相对于传统YOLOv3方法，模IoU/% precision/%

传统方法

88.97 87.63 80.47 型AP值提升1.68%，F1值提升了0.84%，且模型权重所占Original method

内存减小208 MB，在GPU上的检测速度对视频检测的帧率迁移学习方法

91.61 89.49 82.78

Transfer learning method 高达246帧/S，在CPU上的检测速度可以达到22帧/s。由混合训练+迁移学习方法

92.76 90.38 83.21 于在果园采摘机器人中绝大部分采用的是嵌入式终端或者Mixup+Transfer learning

method 移动设备，YOLOv3-LITE网络具有明显的优势。 第17期 吕石磊等：基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法

211

表4 不同骨干网络检测结果对比

Table 4 Comparison of detection results using different backbone

networks

网络模型 Network models YOLOv2 YOLOv3 YOLOv3-Thiny YOLOv3 YOLOv3

骨干网络 Backbone networks

F1 score/% 85.75 91.92 78.67 88.37 92.76

平均精度 权重大小检测速度Average Weight Detection precision /% size speed82.34 88.70 77.21 86.49 90.38

195 MB236 MB34 MB 23 MB 28 MB

70 62 220 270 246

3.3 使用GIoU损失函数的检测结果

使用YOLOv3-LITE为基础网络，将GIoU回归损失函数替代传统YOLOv3的回归框损失函数，对模型进行训练，在测试集A+B（如表1所示）的检测结果对比如表5所示。采用GIoU替代模型的边框回归损失函数对模型的F1值提升了0.93%，AP值提升0.75%，而Average IoU值提升了4.11%，且相对于传统YOLOv3提升显著，可以看出将GIoU作为损失函数，对边框回归的准确率影响较大，这使得柑橘果实的定位更加精准，能为柑橘采摘机器人提供精度较高的定位信息。

表5 使用GIoU损失函数的检测结果 Table 5 Detection results using GIoU loss function

网络模型 Network models

F1 score/%

IoU 平均精度

Average precision/% Average IoU/%

82.60 83.21 87.32

90.38 91.13

DarkNet-19 DarkNet-53 Thiny MobileNet-v1 MobileNet-v2

3.4 不同遮挡程度对比试验

由于叶片对样本的遮挡以及样本之间互相重叠，都会对模型的检测精度带来较大的影响。该文将遮挡程度作为控制变量，使用网络模型为改进的YOLOv3-LITE模型，分别取测试集A和B以及A+B（见表1）验证检测结果，见表6和图7。对轻度遮挡果实的识别，模型的F1值能达到95.27%，AP能达到92.75%，Average IoU高达88.65%。且在全部测试集中，F1值达到93.69%，AP值为91.13%，Average IoU为87.32%。由表6可知，在果实遮挡以及重叠的情况下，模型的识别精度会有所降低，一方面是因为卷积神经网络在对小目标以及目标密集的图像进行卷积计算时，在深层网络会丢失若干信息；另一个原因是考虑到实际应用场景，对单个柑橘遮挡面积超过70%，和距离较远、目标极小的柑橘未做数据标记，这对识别效果也会有一定的影响。但从图表数据可以看出，在严重遮挡、且目标密集的环境下，模型也能达到91.43%的F1值和89.10%的AP值。模型对测试集A+B检测的P-R曲线如图8所示。

表6 不同遮挡程度的检测结果对比

Table6 Comparison of detection results in different obscured

degrees

测试集Test set

F1 score/%

平均精度

Average precision/%

92.75 89.10 91.13

IoU Average IoU/%

90.65 83.73 87.32

YOLOv3 91.92 88.70 YOLOv3-LITE 92.76 GIoU+YOLOv3-LITE 93.69

A 95.27 B 91.43 A+B 93.69

a. 轻度遮挡的检测结果

a. Detection results of lightly obscured samples

b. 重度遮挡的检测结果

b. Detection results of severely obscured samples

3.5 不同检测方法对比试验

分别对Faster-RCNN、SSD和改进的YOLOv3-LITE网络进行训练，在不同测试集下对比试验。如表7和图9

图7 不同遮挡程度的结果对比

Fig.7 Comparison of results in different obscured degrees

所示，在果实轻度遮挡的情况下，3个模型的F1值都达到91%以上，AP值在89%以上。改进的YOLOv3-LITE比SSD、Faster-RCNN在速度精度方面提升明显，且在重

212

农业工程学报（http://www.tcsae.org） 2019年

度遮挡的情况下，F1值也能达到90%以上，相对SSD与Faster-RCNN提升近3个百分点。在自然环境下，其F1值和AP值比SSD分别高出3.94%和3.49%，而比Faster-RCNN高出3.8%和3.26%。由图9可知，改进的YOLOv3-LITE网络会漏检遮挡大于70%的柑橘，这是由于遮挡大于70%的柑橘默认不做标记。其次，在较暗的背景下也会影响柑橘目标的检测精度。另外，从表中可以得出，SSD与Faster-RCNN在检测精度方面比较接近。

模型训练的时间为10.6 h，由于YOLOv3与SSD去掉了

全连接层，所有在训练时间上相对Faster-RCNN会有显著提升，并且该文采用混合训练与迁移学习的方式，有效降低了训练时间。在检测速度方面，在GPU上，YOLOv3-LITE 可以达到246帧/s的检测速度，比SSD检测速度提升近4倍，比Faster-RCNN提升了近20倍。综合上述5组对比试验的结果分析表明，该文提出的改进YOLOv3-LITE轻量级神经网络能够有效识别自然环境下的柑橘果实，识别准确率和识别速度具有较显著的优势。

表7 不同网络模型的检测结果对比

Table 7 Comparison of detection results using different network

model

测试集Test setA

网络模型 Network models GIoU+YOLOv3-LITE

SSD-300 Faster-RCNN GIoU+YOLOv3-LITE

SSD-300 Faster-RCNN GIoU+YOLOv3-LITE

SSD-300 Faster-RCNN

F1 score/% 95.27 92.36 91.78 91.43 88.72 89.13 93.69 89.75 89.89

平均精度 Average precision/%

92.75 89.26 89.53 89.10 86.89 87.08 91.13 87.64 87.87

图8 P-R曲线 Fig.8 P-R curve

B

在训练时间方面，统一设置模型每次迭代训练的批次大小为32，其中Faster-RCNN模型训练时间为16.7 h，SSD模型训练时间为12.2 h，该文提出的YOLOv3-LITE

A+B

a. 样本原图 a. Original images

b. SSD-300

c. Faster-RCNN

d. GIoU+YOLOv3-LITE

图9 不同检测方法的结果对比

Fig.9 Comparison of results using different detection methods

4 结 论

1）该文提出了一种改进的YOLOv3-LITE轻量级神经网络的柑橘识别方法。试验结果表明，在自然环境下，模型检测的F1和AP值分别达到93.69%和91.13%。使用GIoU回归框损失函数替代传统损失函数边框回归的MSE均方误差部分，Average IoU高达87.32%，为柑橘采摘机器人定位提供良好的技术支持。

2）该文通过改进模型，提出一种轻量级神经网络模

型，模型占用内存为28 MB，且对单张416×416像素的图片的推断速度，在GPU上YOLOv3-LITE 可以达到16.9 ms，在CPU上可以达到80.9 ms的检测速度，可用于移植到嵌入式以及手机终端；提出一种混合训练与迁移学习结合的方法，将模型在COCO数据集学习到的知识迁移到柑橘识别模型中，提高了模型的泛化能力，大大降低了训练的时间和资源。

3）为了验证提出方法的可行性和优越性，该文以检测精度以及计算速度等为判别依据，与不同模型进行对比

第17期 吕石磊等：基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法

213

试验，对比了Faster-RCNN和SSD在不同场景下的识别准确率，在自然环境下，其F1值和AP值比SSD分别高出3.94%和3.49%，而比Faster-RCNN高出3.8%和3.26%。在GPU上，YOLOv3-LITE 可以达到246帧/s的检测速度，比SSD检测速度提升近4倍，而比Faster-RCNN提升了近20倍。通过对比，提出的方法具有显著优势。

[参 考 文 献]

[1] Ren D, Yang S X. Intelligent automation with applications to

agriculture[J]. Intelligent Automation & Soft Computing, 2016, 22(2): 227－228.

[2] 宋展，胡宝贵，任高艺，等. 智慧农业研究与实践进展[J].

农学学报，2018，8(12)：95－100.

Song Zhan, Hu Baogui, Ren Gaoyi, et al. Research progress of the smart agriculture extension system[J]. Journal of Agriculture, 2018, 8(12): 95－100. (in Chinese with English abstract)

[3] 马驰，李光林，李晓东，等. 丘陵山地柑橘果园多方位自

动喷药装置研制[J]. 农业工程学报，2019，35(3)：31－41. Ma Chi, Li Guanglin, Li Xiaodong, et al. Development of multi-orientation automatic spraying device for citrus orchards in hilly and mountainous areas[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 31－41. (in Chinese with English abstract)

[4] Hussin R, Juhari M R, Kang N W, et al. Digital Image

processing techniques for object detection from complex background image[J]. Procedia Engineering, 2012, 41: 340－344.

[5] 谢忠红，姬长英，郭小清，等. 基于改进 Hough 变换的类

圆果实目标检测[J]. 农业工程学报，2010，26(7)：157－162. Xie Zhonghong, Ji Changying, Guo Xiaoqing, et al. An object detection method for quasi-circular fruits based on improved Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(7): 157－162. (in Chinese with English abstract)

[6] 熊俊涛，邹湘军，彭红星，等. 扰动柑橘采摘的实时识别与

采摘点确定技术[J]. 农业机械学报，2014，45(8)：38－43. Xiong Juntao, Zou Xiangjun, Peng Hongxing, et al. Real-time identification and picking point localization of disturbance citrus picking[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(8): 38－43. (in Chinese with English abstract)

[7] 卢军，桑农. 变化光照下树上柑橘目标检测与遮挡轮廓恢

复技术[J]. 农业机械学报，2014，45(4)：76－81，60. Lu Jun, Sang Nong. Detection of citrus fruits within tree canopy and recovery of occlusion contour in variable illumination[J]. Transactions of the Chinese Society of Agricultural Machinery, 2014, 45(4): 76－81, 60. (in Chinese with English abstract)

[8] 卢军，胡秀文. 弱光复杂背景下基MSER和HCA的树上

绿色柑橘检测[J]. 农业工程学报，2017，33(19)：196－201. Lu Jun, Hu Xiuwen. Detecting green citrus fruit on trees in low light and complex background based on MSER and HCA[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 196－201. (in Chinese with English abstract)

[9] Lu J, Lee W S, Gan H, et al. Immature citrus fruit detection

based on local binary pattern feature and hierarchical contour analysis[J]. Biosystems Engineering, 2018, 171: 78－90. [10] Zhao C, Lee W S, He D. Immature green citrus detection

based on colour feature and sum of absolute transformed difference (SATD) using colour images in the citrus grove[J]. Computers and Electronics in Agriculture, 2016, 124: 243－253. [11] Dorj U O, Lee M, Yun S. An yield estimation in citrus

orchards via fruit detection and counting using image

processing[J]. Computers and Electronics in Agriculture, 2017, 140: 103－112.

[12] Liu S, Yang C, Hu Y, et al. A method for segmentation and

recognition of mature citrus and branches-leaves based on regional features[C]//Chinese Conference on Image and Graphics Technologies. Singapore: Springer, 2018: 292－301. [13] 马翠花，张学平，李育涛，等. 基于显著性检测与改进

Hough 变换方法识别未成熟番茄[J]. 农业工程学报，2016，32(14)：219－226.

Ma Cuihua, Zhang Xueping, Li Yutao, et al. Identification of immature tomatoes base on salient region detection and improved Hough transform method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(14): 219－226. (in Chinese with English abstract)

[14] Li X, Lu H, Zhang L, et al. Saliency detection via dense and

sparse reconstruction[C]//IEEE International Conference on Computer Vision (ICCV). Sydney: IEEE, 2013: 2976－2983. [15] 张春龙，张楫，张俊雄，等. 近色背景中树上绿色苹果识

别方法[J]. 农业机械学报，2014，45(10)：277－281. Zhang Chunlong, Zhang Ji, Zhang Junxiong, et al. Recognition of green apple in similar background[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 227－281. (in Chinese with English abstract)

[16] Peng H, Shao Y, Chen K, et al. Research on multi-class fruits

recognition based on machine vision and SVM[J]. IFAC-PapersOnLine, 2018, 51(17): 817－821.

[17] Wajid A, Singh N K, Junjun P, et al. Recognition of ripe,

unripe and scaled condition of orange citrus based on decision tree classification[C]//International Conference on Computing, Mathematics and Engineering Technologies (iCoMET). Sukkur: IEEE, 2018: 1－4. [18] Krizhevsky A, Sutskever I, Hinton G E. Imagenet

classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems, 2012: 1097－1105.

[19] Girshick R, Donahue J, Darrell T, et al. Rich feature

hierarchies for accurate object detection and semantic segmentation[C]//IEEE conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 580－587. [20] Girshick R. Fast r-cnn[C]//IEEE International Conference on

Computer Vision. Santiago: IEEE, 2015: 1440–1448

[21] Ren S, He K, Girshick R, et al. Faster r-cnn: Towards

real-time object detection with region proposal networks[C]//Advances in neural information processing systems. 2015: 91－99.

[22] Liu W, Anguelov D, Erhan D, et al. Ssd: Single shot

multibox detector[C]//European conference on computer vision. Cham: Springer, 2016: 21－37.

[23] Redmon J, Divvala S, Girshick R, et al. You only look once:

Unified, real-time object detection[C]//IEEE conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 779－788.

[24] 傅隆生，冯亚利，Elkamil Tola，等. 基于卷积神经网络的

田间多簇猕猴桃图像识别方法[J]. 农业工程学报，2018，34(2)：205－211.

Fu Longsheng, Feng Yali, Elkamil Tola, et al. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 205－211. (in Chinese with English abstract)

[25] Sa I, Ge Z, Dayoub F, et al. DeepFruits: A fruit detection system

using deep neural networks[J]. Sensors, 2016, 16(8): 1222. [26] 熊俊涛，刘振，汤林越，等. 自然环境下绿色柑橘视觉检

测技术研究[J]. 农业机械学报，2018，49(4)：45－52. Xiong Juntao, Liu Zhen, Tang Linyue, et al. Visual detection

214

农业工程学报（http://www.tcsae.org） 2019年

[30] Redmon J, Farhadi A. YOLOv3: An incremental

improvement[J]. 2018, arXiv: 1804. 02767v1.

[31] Zhang Z, He T, Zhang H, et al. Bag of freebies for training object

detection neural networks[J]. 2019, arXiv: 1902. 04103v3.

[32] Yosinski J, Clune J, Bengio Y, et al. How transferable are

features in deep neural networks?[C]//Advances in Neural Information Processing Systems, 2014: 3320－3328.

[33] Rezatofighi H, Tsoi N, Gwak J Y, et al. Generalized

intersection over union: A metric and a loss for bounding box regression[C]//IEEE Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 658－666. [34] Ma J, Shao W, Ye H, et al. Arbitrary-oriented scene text

detection via rotation proposals[J]. IEEE Transactions on Multimedia, 2018, 20(11): 3111－3122.

[35] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient

convolutional neural networks for nobile vision applications[J]. 2017, arXiv: 1704. 04861v1.

[36] Sandler M, Howard A, Zhu M, et al. Mobilenetv2: Inverted

residuals and linear bottlenecks[C]//IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510－4520.

technology of green citrus under natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(4): 45－52. (in Chinese with English abstract)

[27] 彭红星，黄博，邵园园，等. 自然环境下多类水果采摘目

标识别的通用改进SSD模型[J]. 农业工程学报，2018，34(16)：155－162.

Peng Hongxing, Huang Bo, Shao Yuanyuan, et al. General improved SSD model for picking object recognition of multiple fruits in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(16): 155－162. (in Chinese with English abstract)

[28] 薛月菊，黄宁，涂淑琴，等. 未成熟芒果的改进 YOLOv2

识别方法[J]. 农业工程学报，2018，34(7)：173－179. Xue Yueju, Huang Ning, Tu Shuqin, et al. Immature mango detection based on improved YOLOv2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 173－179. (in Chinese with English abstract) [29] Redmon J, Farhadi A. YOLO9000: Better, faster,

stronger[C]//IEEE Conference on Computer Visionand Pattern Recognition. Honolulu: IEEE. 2017: 7263－7271.

Orange recognition method using improved YOLOv3-LITE lightweight

neural network

Lü Shilei

1,2,3

, Lu Sihua, Li Zhen

11,2,3※

, Hong Tiansheng1,2,4, Xue Yueju1,2,3, Wu Benlei1

(1. College of Electronic Engineering, South China Agricultural University, Guangzhou 510642, China; 2. Division of Citrus Machinery, China Agriculture Research System, Guangzhou 510642, China; 3. Guangdong Engineering Research Center for Monitoring Agricultural Information, Guangzhou 510642, China; 4. College of Engineering, South China Agricultural University, Guangzhou 510642, China)

Abstract: Orange recognition is one of the key technologies for automatical fruits picking, delicacy management and orchard yield forecast etc. In order to realize the rapid and accurate identification of orange fruits in natural environment, this paper presents an orange recognition method using improved YOLOv3-LITE lightweight neural network. In the field of fruit-picking robots, the accuracy of bounding box regression for fruit recognition directly determines the success rate of robotic hand-picking. In this paper, the proposed method, which introduces GIoU bounding box regression loss function (GIoU reflects the relationship between the target frame and forecast box) to replace traditional loss function of MSE (mean square error) part of the bounding box regression, effectively improves the accuracy of bounding boxregression. In order to facilitate the migration of the model to mobile terminals, the YOLOv3-LITE lightweight neural network model is proposed. Mobilenet-v2, a lightweight network proposed based on the mobile terminal, can effectively reduce the complexity of the model, and is thus used in this paper to replace the backbone network Darknet-53 in the original network model. The mixup-training method combines 2 pictures into 1 with a certain weight to achieve the effect of target occlusion, reduce the impact of differences between images, improve the generalization ability of the model, and reduce over fitting. In this paper, the mixup-training is combined with transfer learning for the purpose of pre-training. The deep learning framework built in the proposed model is TensorFlow and DarkNet. In order to verify the superiority and feasibility of the proposed model, its recognition effect is tested on test samples with different obscured degrees, comparing with the Faster-RCNN, SSD models and original YOLOv3 network model. The values of F1 and AP are used to assess the differences among models. Test results show that, the model proposed in this paper can get significantly good recognition results. In the data sets of lightly obscured fruit, the F1 value and AP value of the orange recognition model proposed in this paper can reach 95.27% and 92.75%, and the Average IoU is as high as 88.65%. In the data sets of severely obscured fruit, the F1 value and AP value of the orange recognition model proposed in this paper are 91.43% and 89.10%, respectively, and the Average IoU is 83.73%. In all the test sets, the F1 and AP values are 93.69% and 91.13%, respectively, and Average IoU is 87.32%. Compared with the original YOLOv3, the values of F1and AP increase by 1.77% and 2.43%, respectively, and Average IoU increases by 4.72%. The detection speed of orange target can reach 246 frames per second; the inferred speed of a single 416×416 picture on GPU is 16.9 ms. The detection speed on the CPU can reach 22 frames per second, and the inferred speed can reach 80.9ms. The memory occupied by the proposed model is 28 MB. Moreover, the pre-training method, combined with the transfer learning and mixup training, reduces the training time and memory consumption of the proposed model. Therefore, the orange recognition method proposed in this paper has the advantages of low model memory footprint, high recognition accuracy and fast recognition speed, etc. It can provide new solutions for orange picking robot and orchard yield forecast, and new ideas for intelligent orange industry as well.

Keywords: neural networks; fruits; algorithms; orange;YOLOv3-LITE; mixup-training; transfer learning; GIoU bounding box regression loss function