【摘要】设计了一套基于计算机视觉的葡萄检测分级系统,包括驱动装置、输送机构、夹持机构、图像釆集与 处理系统和分级控制系统,葡萄以悬挂方式连续输送,两个CCD摄像机在外触发模式下实时采集葡萄的两面图像。 基于RGB色彩空间计算果面着色率,采用投影面积法和果轴方向投影曲线计算果穗大小和形状参数,进而实现葡 萄外观品质分级。选用20穗巨峰葡萄进行3次分级试验,与人工分级对比,颜色和大小形状分级的准确率分别为 90%和88.3%,同时在分级过程中不会对葡萄造成损伤。
关键词:葡萄分级计算机视觉图像处理
引言
我国鲜食葡萄产量居世界首位,然而由于采 后处理、分选分级技术水平低,我国鲜食葡萄产品 在国际市场上的竞争力较差,出口量很小⑴。目 前葡萄的分选分级主要由人工完成,效率低下且 难以做到客观准确,无法适应规模化和产业化生 产的要求。计算机视觉检测具有客观、准确、快 速、无损等优点,已广泛应用于苹果、柑桔、西红 柿、桃子、梨等近球形单粒水果的外观品质检测与 分级⑵。葡萄是一种穗状水果,形状复杂,每穗果 实包括相互堆积的多枚果粒,且果实柔软多汁,因 此基于机器视觉进行葡萄分级具有一定的特殊 性,目前在国际上应用较少,已报道的研究成果主 要是Philippe Blanc申请的美国专利⑴,国内此方 面的研究未见报道。本文参考人工分级标准开发 一套葡萄实时检测和分级系统,将葡萄以悬挂方 式连续输送,采用计算机视觉技术,提取葡萄的果 面颜色、果穗大小、形状等图像信息,以实现葡萄 外观品质的在线检测分级。
图2输送机构与夹持机构简图
Fig. 2 Conveying unit and holding unit
1.夹持体2.葡萄3.弹簧4.链条5.滾动轴承6.环形轨道
1分级系统设计
1.1系统结构设计
葡萄的检测分级不同于苹果、柑橘等水果,由于 葡萄果实柔软多汁,不允许将其采用滚动或翻转式 上、下料,也不允许其在检测台上滑动或滚动。本文 开发的葡萄分级系统采用人工上、下料,将葡萄以悬 挂方式连续输送,系统由驱动装置、悬挂式输送机 构、葡萄夹持机构、图像采集与处理系统、分级控制 系统5部分组成,如图1所示。
Fig. 1 Structure of the grapes inspection and grading system
1.驱动装置2.图像采集区域3.分级控制系统4.悬挂式输 送机构5.简萄6.葡萄夹持机构
驱动装置是一套链传动机构,电动机通过传动 轴带动主动链轮转动,进而通过链条带动另外3个 从动链轮转动,从而驱动一个环形输送系统;悬挂式 输送机构由机架、环形轨道、链条、滚动轴承组件等 组成,如图2所示,输送链条釆用上、下分别带有吊 耳的精密滚子链,上方吊耳通过滚动轴承组件悬挂 在环形轨道中,下方吊耳连接夹持机构以夹持葡萄 果柄,从而实现葡萄的悬挂式输送;葡萄夹持机构吊 装在输送链条下吊耳的下方,能可靠地将葡萄果柄 夹持在两片橡胶夹持垫之间,并通过调节弹簧预紧 程度保证不损伤果柄。在检测过程中,葡萄其他部 位均不与检测装置产生接触或碰撞,既可以避免其 在检测过程中的损伤,又便于摄像系统从不同角度 获取尽量多的果面信息。
12图像釆集与分级控制
为了在不翻转滚动葡萄的情况下获取输送线上 每穗葡萄较为完整的果面信息,本系统采用单PC 机、单采集卡、双摄像头同时釆集一穗葡萄两面图像 的釆集方案,图3为图像釆集与分级控制原理图。 横跨一侧机架的灯箱构成图像采集区域,灯箱内的 4块灯座板上分别安装5根20 W的荧光灯管,使得 进入到图像采集区域的葡萄表面形成均匀的光照效 果。选用两个JVC TK-C1481BEC型彩色CCD摄 像机,分别安装在灯箱两侧,配合日本精工的12 mm 手动光圈定焦镜头,在物距为600 mm下进行图像 采集。选用微视凌志Matrox Morphis釆集卡,其双 视频解码器构架支持从双路标准视频同步釆集连续 图像。图像釆集与分级控制釆用PC-PLC的主从 式构架,PC作为上位机主要完成图像信息的采集、 处理和分析,PLC作为下位机主要完成逻辑控制,一 方面处理由传感器传送的葡萄位置信息,控制图像 采集,另一方面通过与上位机的通讯,实现分级信息 的显示控制。上位PC机与PLC以PPI多主站编程 电缆通讯方式,选择点对点接口 PPI协议实现PLC 与PC的通讯。每当葡萄运行到釆集区域时,电感 式接近传感器检测到与葡萄相连的夹持机构,产生 一个脉冲触发信号并传送给PLC,该脉冲触发信号 被PLC用于记录并跟踪该穗葡萄的位置,同时触发 采集卡采集该葡萄的两幅图像。釆集到的图像经过 计算机处理后判定该葡萄的等级,并通过RS232串 口将等级值发送给PLC。PLC接收、保存葡萄等级 信息,待该串葡萄运动至分级区域时,控制指示灯显 示该葡萄的等级。
图3图像釆集与分级控制原理图
Fig. 3 Image grabbing-processing and grading control
1.图像采集与处理系统2.分级控制系统3.分级指示灯
4.传感器5.光源6.葡萄7.CCD摄像机8.光照箱
2图像处理及特征参数提取
本文的研究对象为我国栽种面积最广的巨峰葡 萄,参照鲜食葡萄的国家标准和农业行业标准⑷, 巨峰葡萄外观品质等级指标主要包括果面颜色、果
图5扁担形果穗 Fig. 5 Bunch of abnormal shape
400
350
300
250
專200
150
100
50
0 100 200 300
目标像素累加值”
图6形状特征参数提取
Fig. 6 Shape feature
extraction
穗大小、形状、果粒大小及均匀度等,本文主要进行 果面颜色、果穗大小和形状分级。
2.1图像预处理
对检测线上采集的每 穗葡萄的两幅图像,如图4 所示,首先采用3x3中值 滤波去除噪声。分析葡萄 图像R、G、B 3个通道的 直方图,发现每个通道直 方图均表现为明显的双 峰,而B通道直方图的波 谷宽度较大,且对于不同 成熟度的葡萄,在灰度210 附近都有明显的波谷,因此,选取B通道固定阈值 T = 21。进行目标分割。
2.2果面颜色特征参数提取
颜色在某种意义上代表水果的成熟度和口感, 水果颜色分级中,大多基于RGB⑴或HSI⑹两种色 彩空间提取特征参数,建立分级模型。巨峰葡萄等 级标准中按照果面紫黑着色率将葡萄分为优等果 (紫黑着色率大于95% )、一级果(紫黑着色率大于 85%)和二级果(紫黑着色率小于85% )0通过大量 试验,发现颜色特征参数Ccolor =2G-R-B(R、G、B 分别为R、G、B颜色通道的灰度值)能较好地区分 果面的紫黑色区域和非紫黑区域,对于紫黑色区域 《。板>0。据此可以计算出葡萄果面紫黑区域百分 比,进而进行颜色分级。
2.3果穗大小参数提取
在机器视觉检测分级中,可以釆用投影面 积⑺、周长⑻、最大横径⑴、体积质等作为大小分 级参数。本文采用投影面积法,计算一穗葡萄的两 幅图像中葡萄目标的投影面积S|、S2,取其平均值 C““ =(S| +Sz)/2,作为大小分级的特征参数。
24果穗形状参数提取
目前水果形状检测的方法主要分两种,一是用 简单的几何量如圆度““、横纵径之比、曲率“句等作 为形状分类的特征参数,二是釆用傅里叶描述子重 建水果形状'"I。葡萄果穗的形状受环境因素影响 而千差万别,且随机性很大,难以采用简单的几何量 加以描述或重建果形。
在人工分级中,巨峰葡萄果穗典型的形状缺陷 是扁担形,即两端大中间小,如图5。由于扁担形的 葡萄果穗下半部分质量较大,而中间部分细弱,容易 出现掉粒和下部脱落的情况。本文基于果轴方向投 影曲线提取形状参数以识别扁担形果穗,首先逐行 扫描图像,计算每一行目标像素点个数的累加值n, 从而得到果轴方向(Z)投 影曲线,如图6。对于扁担 形果穗,曲线呈明显的双 峰,谷点位置标记为G(l,, 七),下峰点位置标记为 F(S),通过统计55穗 形状各异葡萄的110幅图 像(每穗采集两面图像), 发现谷点位置八的取值在 0. 15Z, -0. 65Z,范围内,其 中L为果轴长度。
求 % = minn ( Z) , / g (0. 15L,0. 65L),从而得到 谷点 G(lg,Hg),求 nf = maxn(Z) ,1 g (0,。),从而 得到下峰点,(垢勺),定 义形状参数Chap。= ng/nf0 一般ChgWl,纣”越小 说明扁担形越严重。
选取55穗巨峰葡萄 (其中25穗为扁担形,30 穗为正常形状),在检测线 上采集110幅图像,按上 述方法求得每幅图像的形状参数,得到图7所示的 形状参数分布散点图,可以看出扁担形葡萄的。血* 基本在0.55以下,而正常形状葡萄的一般在 0. 55以上。故确定形状分级模型为:若Cm” < 0. 55,则判断为畸形果。
1.0
0.S
0.4 k
图7形状参数分布图
Fig. 7 Shape parameters distribution
♦扁担形状葡萄 ■正常形状葡萄
80 100 120
图像川号
3分级试验与结果 3.1颜色分级试验
选用20穗巨峰葡萄,人工按颜色分为3级后, 将其分别悬挂在检测线的夹持机构上,并将各自的 等级在夹持机构上做标记,以便与在线检测结果进 行对比。进行了 3次试验,每次试验前将葡萄绕果 轴随机旋转一定角度后吊装,从而使拍摄图像的角 度有所不同。统计在线分级与人工分级不一致的穗 数,结果如表1所示,分级精度为90%。
颜色分级结果
Tab. 1 Color grading results
参数 | 等级 | |||
一级 | 二级 | 三级 | ||
果面紫黑色着色率/% | >95 | >85 | W85 | |
人工分级穂数 | 11 | 5 | 4 | |
第1次试验 | 1 | 1 | 0 | |
在线错分穗数 | 第2次试验 | 1 | 0 | 1 |
第3次试验 | 1 | 1 | 0 |
3.2果穂大小形状分级试验
将20穗巨峰葡萄人工按大小和形状分为3级, 然后按照上述方法进行分级试验。统计在线分级与 人工分级不一致的穗数,结果如表2所示,分级精度 为 88. 3%。
4结束语
设计了一套计算机视觉葡萄分级系统,将葡萄
«2果穂大小形状分级结果
Tab. 2 Bunch size and shape grading results
参数 | 等级 | ||
一级 | 二级 | 三级 | |
分级标准 | Cg > 130 cm2 | CQ110 cm2 | Cm.<110cni2 |
且 C.h・pe >0. 55 且 C.h.pe >0. 55 | 或 C.5<0・55 | ||
人工分级穗数 | 8 | 5 | 7 |
第1次试验 | 1 | 1 | 1 |
在线错 | |||
第2次试验 | 0 | 1 | 1 |
分穗数 | |||
第3次试验 | 1 | 1 | 0 |
以悬挂方式连续输送,分级过程中不会对葡萄造成 损伤。在外触发模式下同时采集一串葡萄的两面图 像,以提取较为全面的果面信息。基于颜色特征参 数Ccq1„=2G-R-B统计巨峰葡萄果面着色率,采 用投影面积法和果轴方向投影曲线计算果穗大小和 形状参数,试验结果表明,与人工分级对比,颜色和 大小形状分级的准确率分别为90%和88. 3%。
參考文献
1翟衡,杜远鹏,孙庆华,等.论我国葡萄产业的发展[J].果树学报,2007,24(6):820 - 825.
Zhai Heng, Du Yuanpeng, Sun Qinghua, et al. On the development situation of Chinese grape industry] J] • Journal of Fruit Science, 2007,24 (6) :820 ~825. (in Chinese)
- Tadhg Brosnan t Da-Wen Sun. Inspection and grading of agricultural and food products by computer vision systems a
review [ J ]. Computers and Electronics in Agriculture, 2002,36(2 ~3):193~213. ,
- Philippe Blanc. Unit for sorting and packaging products capable of being hung on a hooking member for the purpose of their conveyance, such as bunches of fruits, in particular table grapes or truss tomatoes: US,6957940[ P]. 2005 - 10-25.
- NY/T 470—2001 鲜食葡萄[S].
- Dah-Jye Lee, James K Archibald, Chang Yuchou. Robust color space conversion and color distribution analysis techniques for date maturity evaluation] J]. Journal of Food Engineering, 2008, 88(3) : 364 ~372.
- Tao Y, Heiemann P H, Varghese Z, et al. Machine vision for color inspection of potatoes and apples[ J]. Transactions of the ASAE, 1995, 38(5) : 1 555 ~1 561.
- Bato P M, Nagata M, Cao Q, et al. Study on sorting system for strawberry using machine vision ( part 2) [ J]. Journal of the Japanese Society of Agricultural Machinery, 2000,62 (2) :101 ~ 110.
- Sarkar N, Wolfe R R. Feature extraction techniques for sorting tomatoes by computer vision] J]. Transactions of the ASAE, 1985, 28(3): 970 ~979.
- Blasco J, Aleixos N, Molt6 E. Machine vision system for automatic quality grading of fruit[ J]. Biosystems Engineering, 2003,85(4).415 ~423.
- Chong V K, Kondo N, Ninomiya K, et al. Features extraction for eggplant fruit grading system using machine vision[ J]. Applied Engineering in Agriculture, 2008, 24(5) ; 675 - 684.
- Vooren V D, Polder J G, Heijden V D. Identification of mushrooms cultivars using image analysis[ J]. Transactions of the ASAE, 1992, 35⑴:347 ~350.
12应义斌.水果形状的傅立叶描述子研究[J].生物数学学报,2001,16(2):234 -240.
Ying Yibin. Fourier descriptor of fruit shape[ J]. Journal of Biomathematics, 2001,16 ( 2) :234 - 240. (in Chinese)