农田对象的分类及语义标注方法研究

    数字图像处理与分析是农业现代化中的一个重要的技术。为实现农田中的对象分类和语义标注,本文首先利用农田中场景不同对象的颜色特征,实现了农田图像的灰度化,以此为基础,分别利用K-means聚类方法结合阈值法,实现了农田图像的分割。然后利用直方图的相似度和颜色特征向量,基于支持向量机SVM分类器, 实现了未知农田图像中对象的分类及语义标注。论文对大田作业场景中智能农机的视觉环境感知的研究具有一定的参考意义。

预备条件

OpenCV      Visual Studio      图片数据      源代码C++     

研究目的与意义

(1)农业现代化与无人机技术发展
(2)农业图像处理在精准农业(Precision Agriculture )方面发展越来越迅速,使用信息技术,把空间的变化,定时,定位定量的实施农业技术操作和管理。可以精准的进行农药投放,利用机器视觉和图像分割技术实现对农田对象的分割和识别,可为定点变量喷洒提供参考。

农田图像的获取和预处理

本文以西北农林科技大学北校区试验田的农业试验田为拍摄地点, 拍摄时间为 2015‎年‎ 5‎ 月‎ 23‎ 日每天中的不同时段不同光照条件下拍摄的 66 张图片, 分辨率为 4208*3120 保存为 sRGB 颜色空间以 JPEG 的格式保存.

农田图像的预处理

农田图像的预处理,对于后续的图像分割,分类以及标注有一定的积极影响。预处理能够消除因为拍摄器材或者其他因素的干扰,可以突出目标的对象信息。

颜色空间归一化处理

农田的光照会因为位置因素使获得的照片对于图像分割产生干扰且这种干扰无法完全消除,并且由于玉米植株在光照下产生阴影对土壤分割的影响,为了减少这种干扰,需要将图像进行归一化处理。RGB颜色空间中三个通道共同完成图像的构成,RGB 颜色空间不直观,像素的RGB 值很难反映该值[李先锋等2010],所代表颜色的认知属性图像的完整显示必须靠这些分量来完成,将RGB值进行归一化处理是去除光照和阴影影响一种简单和有效的方法,其转换公式为 $$r+g+b=1 $$ $$r= \frac{R}{R+G+B} \qquad g= \frac{G}{R+G+B} \qquad b= \frac{B}{R+G+B}$$

农田图像降噪预处理

降噪预处理:图像降噪预处理属于图像增强效果其目的是改善图像的视觉效果或使图像更适合于人或机器分析处理.
本部分使用9*9模板大小的中值滤波。中值滤波对脉冲噪声有良好的滤除作用,在滤除噪声的同时,能够保护信号的边缘,使之不被模糊。

农田图像的分割

图像分割(Segmentation)指的是将数字图像细分为多个图像子区域的过程. 常用的分割方法有阈值分割,区域分割,边缘分割,直方图法,聚类分析,模糊集理论,小波变换. 尽管已经提出大量的图像分割算法,但大多是针对具体问题,没有适合所有的图像分割算法。[数字图像处理第三版何东健等] M. Guijarro等人在论文《农田图像的问题自动分割》中提出基于农田图像的超绿因子,超蓝因子,超红因子对农田图像进行灰度化,得到对应的3种灰度图 3类灰度图像分别对绿色植物模块蓝色天空模块和褐色土壤模块具有识别优势,较其他灰度方法识别和分割精度更高。
本文采用K-means聚类算法和阈值法来分割出农田中的对象。 由于这些分割对象的颜色成分在三个通道中占有成分是不同的,所以用这一成分作为分割手段的条件。使用三个公式处理彩色图像的三通道。 可以得到农田图像的三种灰度图,分别是极绿因子EXG,极蓝因子EXB,极红因子EXR所取得 $$EXR = 1.4r-g$$ $$EXG = 2g-r-b$$ $$EXB = 1.4b-g$$

K-means聚类分割植物模块

植物模块的分割使用K-means均值聚类算法进行分割,K-means均值聚类算法的原理:
K-均值聚类法是一种将图像分割成K个聚类中心的迭代技术。基本步骤如下:
1.首先从n个数据对象任意选择 K 个对象作为初始聚类中心;
2.对于所剩下其它对象,则根据它们与这些聚类中心的相似度,分别将它们分配给与其最相似的(聚类中心所代表的)聚类;
3.然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);
4.重复第2和3步骤,直至收敛(聚类不再发生变化)。

Otsu阈值法分割天空模块

天空模块的分割:EXB和Otsu法
Otsu 法(最大类间方差法、大津算法)使用的是聚类的思想,把图像的灰度数按灰度级分成 2 个部分,使得两个部分之间的灰度值差异最大,每个部分之间的灰度差异最小。方差是灰度分布均匀性的一种度量,方差值越大,说明构成图像的两部分差别越大。

土壤模块的分割模块

天空模块的分割:EXB和Otsu法
首先,需要判断所分割的图片是否包含天空,对于包含天空和不包含天空的图片,应该使用不同组合方法,为此利用EXR和Otsu阈值法且阈值为32时作为判断一副图片是否存在天空。做如下展示 左图为无天空的阈值法结果右图为有天空的阈值法结果
判别出天空以后,如果没有天空,分别使用Otsu阈值法和K均值聚类法对别分割土壤的效果,发现这两种方法的效果几乎没有差别。如果有天空,要去掉天空和植物,才可以获得土壤.
还可以对地面进行进一步分割,产生土壤模块和水泥地面模块,由于这两个模块在EXR中的表现随着阈值表现不同。所以很容易分割出这两个模块。

农田对象分类方法

文章使用SVM分类方法和直方图特征对比法两种不同方法进行分类。SVM分类方法适合于大量数据的分类,而直方图特征对比法适用于比较少量的数据分类。图像分类包括图像样本的获取过程,图像特征提取过程和图像分类的过程。特征提取是指为了保证分类器能够正常工作,需要对样本图像进行一些变换,并按某种准则选用对正确分类识别有作用的信息。而图像的分类通常包含了训练分类器和使用分类器进行分类的过程。
方法一:图像空间的分类方法—利用图像的灰度,颜色,纹理,形状,位置等底层特征对图像进行分类;例如:
[1]利用灰度直方图特征对图像进行分类.
[2]利用纹理特征对图像进行分类.
[3]采用纹理,边缘和颜色直方图混合特征对图像进行分类.
[1],[2],[3]均采用SVM作为分类器.
[4]用矩阵表示图像,矩阵元素是相应象素的灰度值,然后用SVD和PCA方法抽取图像特征,BP神经网络作为分类器.图像空间的分类方法的共同缺点是数据量大,计算复杂性高,但分类精度一般比较理想.
方法二 特征空间的分类方法—首先将原图像经过某种变换如K-L变换,小波变换等变换到特征空间,然后在特征空间提取图像的高层特征以实现图像的分类.这类分类方法尤以纹理图像分类和遥感图像分类最多.以下是常见的纹理分类方法,基本上都用到了高波过滤器。
[1]Support vector machine classifier Gabor filters and wavelet transform.
[2]Multiple neural network classifiers Gabor filters.
[3]Bayesian network classifier Gabor filters and Statistical features.
[4]Support vector machine classifier Gabor filters.
特征空间的分类方法可降低数据维数,降低计算复杂性,但问题相关性较强,与特征提取的方法和效果有很大关系
第二种方法-SVM分类。支持向量机 (SVM) 是一个类分类器,正式的定义是一个能够将不同类样本在样本空间分隔的超平面。 换句话说,给定一些标记(label)好的训练样本 (监督式学习), SVM算法输出一个最优化的分隔超平面。 使用SVM之前需要训练SVM,使用颜色特征向量来训练,训练好的SVM就可以对输入的特征向量做预测并回应出相应的标号。颜色可以使用三维向量表示,为[r g b] 其中各个元素的取值在0到1之间r为红色,g为绿色,b为蓝色,它和我常用的使用256表示的颜色是一一对应的。红色:[1 ,0, 0]绿色:[0 ,1, 0] 蓝色:[0 ,0 ,1]。特征向量是指能够代表该事物的一类向量。一个3通道的像素点可以表示为[R,G,B]。由于光照和阴影的影响同一类对象的[R,G,B]会不同,因此需要公式1.1来归一化处理掉干扰因素。 然后就可以得到一个像素点的特征向量[r,g,b]同一类事物的特征向量基本都是一样的。利用极限思想,从一个像素点到一个分割好的区域,求出这个区域的每个像素点的特征向量,然后取平均值,可以近似的认为,这个区域的特征向量被求出来了。然而这还不能使用SVM进行分类,我们必须使用整形数字来表示每个特征,可以把每个特征向量划分到红色:[1 ,0, 0]绿色:[0 ,1, 0] 蓝色:[0 ,0 ,1]中,并设置lable,这样问题就变为了3维3分类问题。提取出数据集中不同区域的特征向量(需要划分),用这些向量训练SVM,然后,对一副未知的农田图像分割成未知的几个区域,提取特征向量并且划分,然后预测出这些向量属于那一类。这样就会收到回应lable,因此完成了对未知农田图像的自动划分。

农田对象语义标注研究

常用的语义标注方法大体可以分为两种:词一图关系建模方法和分类方法"前者如TranSlation模型和LDA模型,后者如ALIP和CBSA。 先对图像分割处理,然后使用任意一种的方法提取特征,使用特征分类,或者训练SVM用来分类。这样就知道要预测的图片那个区域是属于哪一类。首先分割效果如下。
本部分为对不同区域进行语义标注如图

结论及展望

农田对象分类和语义标注让人们对精细农业管理更加清楚,农业发展需要更多的技术支持,对于农田中的对象的预处理,才能更好的分割图像,预处理中的归一化使得光照等因素对研究不能构成干扰,智能农机在农田行走,进行一些管理作业,此时有太阳光的影响,在机器人背着光照和面向光照的时候,干扰很强,此时只有良好的图像处理系统才能将这种干扰消除的比较彻底,因为光照近乎均匀,使用一定的变换将光照从图片中“过滤掉”,这样就可以进一步处理。下一步的处理是分割农田图片,分割技术非常多,并且适用于不同的分割目的,然而并没有一个通用的办法解决所有问题,但是可以通过不同的方法分割出不同的目标,如果分割的不够规则那么对于后续的分类和标注会影响到一定的程度,文章使用了3个公式,从三通道中强化了这种每个对象的效果,这种方法十分有效,之后提取分割好后的颜色特征向量,训练的支持向量机,然后再建立识别模型,用于对一副农田图像中的识别和标注。最后再进行语义标注,语义标注部分的发展十分深厚,Eakins提出语义分层模型,奠定了分类的基础。对于农田对象的语义标注只是初步的对象级别标注,结合识别的结果,实现了对农田中对象的比较精准的标注。更加高层的标注需要更多的推理才能实现。所以现阶段的农田对象语义标注只是初步阶段,更多的工作还要在下来的研究中去实现。 目前,卷积神经网络已经被应用于二维图像处理、模式识别、机器视觉、形状识别、 智能交通等领域,并且能够很好的解决各个领域中的问题。卷积神经网络就是将图像处理中的二维离散卷积运算和人工神经网络相结合。这种卷积运算可以用于自动提取特征,而卷积神经网络也主要应用于二维图像的识别。一个卷积神经网络如果包含一个输入层,一个卷积层,一个输出层,那它就是浅层的。但一般不这样用,使用卷积神经网络不断地去提取特征,特征越抽象,越有利于识别(分类)。将卷积神经网络设计成深层,通常卷积神经网络也包含池化层、全连接层,最后再接输出层。成为深度卷积神经网络。而且卷积神经网络不需要对二维图像进行预处理,Ross Girshick在基于RCNN提出了Fast R-CNN。速度提高了很多。 农业现代化的进展关系到国家的安全,因此对于技术的要求是越来越高。通过各种技术,国家的农业发展才能够进步。未来,农业的智能化与数字化将会在国家的土地上出现,科研工作者也需要加紧步伐,做出更多的研究成果来实现这个目标。