暗通道先验理论在图像分割技术中的应用
作者: 刘明旭 王恩惠 刘新建 房凯 周军
摘要:在室外拍摄的照片中,经常会遇到光雾等干扰,使得传统图像分割中,难以获得二值化处理的阈值。为解决这种问题,文章采用暗通道先验理论,做提前处理,使得图像质量增强,变得易于分割,同时使用分水岭算法增强相邻个体的分割精度。通过对比实验证明,暗通道先验对于分割结果的改善切实有效,并将算法用于光伏组件的数量统计,验证其分割准确性,结果准确无误。该算法可用于非理想环境下拍摄照片的图像处理,有效消除光、雾干扰,准确、高效地分割图像,实验结果充分证明了算法的可行性与实用性。
关键词:暗通道先验;图像增强;图像形态学处理;分水岭算法;图像分割
中图分类号:TP391.41 文献标识码:A
文章编号:1009-3044(2023)26-0026-03
开放科学(资源服务)标识码(OSID)
图像分割是利用各种算法,将目标个体从原始图像中逐个分离的图像处理技术,在许多计算机视觉的应用中起到了预处理作用。目前图像分割的方法有基于深度学习、基于特征值提取、基于像素聚类、基于分水岭变换的阈值法等多种算法[1-9]。其中阈值法是比较经典的一种算法,但是该算法容易被其他因素所干扰,导致分割效果变差,需要引入其他方法进行辅助,如分水岭变换可以将局部难以分离的个体进行分割。本文先后进行灰度处理、二值化、腐蚀、分水岭变换等手段,再加以暗通道预处理图像,将图像分割为不同的区域,使得物体之间个体分离,方便后续进行分区操作或者数量和形态上统计。阈值法计算简单,运算效率高,分水岭算法与暗通道理论可以大幅度地改善阈值法的精度问题,该方法适用于需要大量图像处理的场合,能够高效地运算。
图像分割技术在计算机视觉中有许多应用,例如医学上对于细胞和器官的识别、农学上对于种子或者苗木的识别、工业上对于矿石的识别。但目前研究对象的拍摄环境大多过于理想化,并且没有涉及会反光的研究对象,有些研究更加注重原理,侧重相邻物体的分割,直接在纯白色的背景下拍摄,进行下一步的实验,很少有考虑到因阳光反射、拍摄角度的原因导致图像色彩不均,尤其是在露天场合下拍摄的大范围照片,图像两端的光照情况差异十分严重。为了解决这种问题,本文尝试使用暗通道先验理论处理图片,使后续分割图像时能够正确地二值化。
HE K M等通过对比、统计大量户外无雾的图像,发现规律,最早提出了暗通道先验理论[10-11]。暗通道先验理论具有显著的去雾效果,成为目前最主流的去雾算法之一[12-14]。同时该方法能起到增强图像质量的作用,对于其他干扰因素也能起到良好的排除作用,在文献[15-16]中,暗通道理论用于修复水下图像,去除水中光线的吸收和散射产生的干扰,文献[17]中,暗通道理论用于去除监控视频中光照不均匀产生的阴影干扰。同样,暗通道理论能用于消除光照因素的干扰,增强画质,得到一张没有反光干扰的图像,此时可以用传统的阈值法分割进行相对准确的图像分割。
1 暗通道先验理论
暗通道先验论是一种图像增强技术,可以有效地改善图片质量,通常用于图片去雾处理中。图片的本质是三个颜色通道的矩阵叠放在一起,每个像素点都对应是R、G、B三颜色的元素相叠加。而暗通道在最初的假设中,认为图像中绝大多数非天空的画面区域内,必定会存在一部分像素点,在至少一个颜色通道内的值非常低,通常会趋近于0。也就是说暗通道图像本质是每个在三个颜色通道内取最小值组成的灰度图,在无雾情况下,区域内接近于黑色,而在有雾的部分,图像会呈现出灰色甚至偏白。基于这个特性,可以通过暗通道图反推出无雾干扰的清晰图像。
实际上,暗通道反应的是局部区域内色彩的最小值,这同样适用于物体阴影、反光等现象,此时暗通道发白的区域为反光严重的区域,暗通道的作用就是消除这些干扰对图片的影响,调整图片的局部色差,已达到增强图片质量的目的。
暗通道的定义为当前彩色图像局部领域中最小的数值,其公式为:
[ [Jdark=miny∈Ω(x)(minc=r,g,b(Ic(y)))] (1) ]
在计算机做图形处理时,可以将有雾遮挡的图片描述为:
[ [I(x)=J(x)⋅t(x)+A⋅(1-t(x))] (2) ]
其中,[I(x)]为有雾图像,是没有经过处理的原始图像,[J(x)]为无雾的图像,是去雾算法最终所得的图像,[t(x)]表示大气透射率,[A]表示雾值大小,而在反光的场景下,则可以将其理解成反光程度。
公式(2) 两端同时除以A,并进行两次求最小值的运算可以得到
[ [miny∈Ω(x)mincIc(y)Ac=t∗miny∈Ω(x)mincIc(y)Ac+1-t] (3) ]
又因为公式(1) 中Jdark可以被认为是趋近于0的数,故而通过公式(3) 可以得到透射率:
[ [t(x)=1-miny∈Ω(x)mincIc(y)Ac] (4) ]
则处理后的图像公式表达为:
[ [J(x)=I(x)-Amax(t(x),t0)+A] (5) ]
式中,t0是透射率的一个下限,防止透射率取值过小,使得去雾作用无下限地追求平均,将图片中颜色均匀而又过分地变淡,导致画面整体偏白,影响后续的二值化处理。
2 暗通道理论在图像分割技术中的应用
传统的阈值法图像分割技术一般先进行灰度处理、二值化,在图像做二值化时,有时并不理想。图片被雾气或者反光等因素干扰,使得图像一侧的色值明显高于另一侧,又或者使得某些区域的物体色值与另一些区域的背景色值相同,导致二值化时将某些因光、雾干扰而变弱的物体当作背景处理。
在传统的阈值法图像分割技术的基础上,二值化之前先进行暗通道处理,并加以分水岭算法分割难以分离的个体,改善分割效果,具体步骤如下:
1) 暗通道先验理论处理图像。增强图像质量,得到没有光、雾干扰的图像,具体处理方式如上文描述。
2) 灰度处理。将R、G、B三颜色通道转化成一个,即每个像素点都为0~255元素的矩阵,此时图像为呈灰色的灰度图。
3) 平滑滤波处理。使得灰度图更加平滑,此操作会忽略个体形态、色彩上细微的差异点,使得二值化后的图像更加规整,从源头减少噪点。缺少这一步会使得个体边缘粗糙,使得图片上个体差异影响分割结果,导致在分水岭进行变化时,会因为识别多个极小值,引起分水岭算法的过度分割。
4) 二值化处理。将灰度图以一定的阈值划分为0、255两类像素点,本文中使用的方法为最大类间方差法,此方法可以自适应地选取合适的阈值。
5) 图像形态学处理。包括腐蚀、开运算、闭运算,腐蚀是指黑色区域腐蚀白色,使得个体与个体之间的缝隙加大,目的是初步将个体之间相互分开;而开运算和闭运算是为了消除小噪声点,使得物体区粗糙的域边界变得光滑。
6) 分水岭变换。分水岭变换是基于地理形态的图像分析法,原理是将图像灰度图比作地形图,每个像素点的灰度值比作该地点的海拔高度,故而灰度值在局部区域的极小值为山谷、盆地。
分水岭算法模拟的是向山谷中灌水的行为,当水位上涨时,两个相邻山谷中的水会在山脊处汇合,此时将汇合处山脊的这条曲线称之为分水岭。经过之前的平滑滤波处理,可以认为此时每个个体中有且仅有一个极小值点,也就是每个个体都可以形成一个可以灌水的山谷。分水岭可以明确地划分两个相邻个体的边界,从而分割相邻甚至堆叠的个体,该算法可以精确地分割排列相对密集局部区域内的个体,从而弥补之前步骤中难以分离的个体无法区分的现象。
3 实验验证
为了验证加入暗通道先验是否对图像分割的效果有所优化,本文选取易于反光的光伏板作为研究对象。光伏板因为表面具有一定的反光性,且一般情况下光伏板需要连接成片使用,十分容易发生大规模且不可避免的反光现象,是一种十分典型的反光材料。在成规模的光伏项目中,无论是统计数量,还是检测每一片组件表面的灰尘情况都不是容易的事情,因此,通过航拍技术,分析处理得到的照片,对于光伏场站的管理是很有必要的。为此使用MATLAB,编写一段检测光伏组件数量和位置的程序,观察暗通道先验能否克服物体反光,得到正确的组件数量,并将每一片组件所在区域单独画出。若计数所得数目与实际相符,则可以证明该算法分割的准确性。并且进行对比实验,一组直接使用传统的阈值法分割图像,一种使用暗通道-阈值法进行图像分割,比较两组的结果图,观察加入暗通道理论对分割效果产生的影响。
图1为某设施顶部的光伏发电项目航拍图,通过原始图像,可以看出,由于反光作用,左右两端的组件有明显的色差。经查看,左侧组件之间的缝隙颜色要深于右侧组件的本体,即左边缝隙之间的灰度值要高于右边组件本体的灰度值,如此在直接二值化的过程中,不可能找到一个合适的阈值满足要求。
如图2所示,暗通道图能够正确地反映图片各个位置的反光程度,暗通道呈白的位置表示反光严重,经多次的尝试,发现暗通道图均符合这一规律,如此可以明确判断暗通道先验理论不但适用于去雾,同样可以反映反光程度。
经过暗通道处理、灰度处理、平滑滤波处理的图像已经基本去除了干扰因素,已具备条件,可以像无反光的普通材料一样进行后续的分割处理。本测试目的为统计组件的准确数量,为此尽量加大腐蚀力度,使得二值化图像组件之间的界限分明。
如图4、图5所示,分别为暗通道先验加入前后的分割结果图,可以看出分割效果得以明显改善。在加入暗通道处理前,右端组件因反光问题,根本无法正常显现,其中左端的缝隙无法识别,导致组件黏连在一起,而右端的组件因二值化时低于阈值而被当作背景去掉。而使用暗通道做预处理的分割效果达到预期,左端个别粘连在一起的个体也在分水岭算法的作用下划分开,从而使得结果图“粒粒分明”、清晰可见。
如图6所示,为光伏组件计数程序结果局部区域的展示,该程序是一种图像分割的简单应用。程序结果显示原始图片范围内共有1 054个单体矩形区域,即527个光伏组件(图中两个相邻小矩形为一整块光伏板,完整图像中左下角少一块光伏板),与实际数量相同,由此可见此方法的准确度高。
4 结论与展望
本文将暗通道先验理论引入图像分割技术中,通过实验证明暗通道能够消除光、雾干扰对分割图片的影响,并且后续的分割操作中,图像形态学处理能够很好地规整区域范围,消除噪点;分水岭变换能够在其基础上精准地分割粘连在一起的个体。通过对比,发现使用暗通道先验论对分割效果有着显著的提升。随后使用此算法进行简单应用,统计图片中物体的数量,效果良好,充分证明该算法合理可靠。
对于本文的光伏组件分割识别,用于计数统计,后期还可以通过深度学习,训练神经网络,以此来判断每一块光伏组件上的灰尘、杂物状况,以方便针对性地清洗某一区域内的组件,或者可以配备自动清洗装置,实现远程检测、自动清洗,可以在减少人员巡视工作量的同时,及时清洗光伏板以提高发电效率。
参考文献:
[1] 赵仁和,王军锋.自适应尺度的局部强度聚类图像分割模型[J].计算机工程与科学,2020,42(6):1043-1048.
[2] 芶小珊,黄兴禄,王文杰.模板匹配下图像局部视觉背景分割方法仿真[J].计算机仿真,2022,39(12):235-239.
[3] 王秋萍,张志祥,朱旭芳.图像分割方法综述[J].信息记录材料,2019,20(7):12-14.
[4] 王怡,涂宇,罗斐,等.彩色图像分割方法综述[J].电脑知识与技术,2020,16(23):183-184,188.
[5] 林国宇.基于聚类的图像分割研究综述[J].电脑知识与技术,2022,18(26):17-18,24.