鲁鑫鑫，张荣芬，刘宇红，李 宽，韩云杰
（1.贵州大学大数据与信息工程学院，贵阳 550025；
2.贵阳信息技术研究院，贵阳 550081）
在室外目标检测过程中，环境光的影响给计算机视觉带来巨大挑战。例如在夜间进行室外目标检测任务时，由于环境光偏暗或光线亮暗不均，采集到的图片信息亮度不足、包含大量噪声，致使部分细节无法分辨。这种低照度图片不仅观赏质量不佳，也无法给计算机视觉系统提供有效信息，给后续进行的目标检测、目标追踪等计算机视觉领域关键技术的研究也造成阻碍。因此，对低照度图像增强技术的研究纷纷出现。目前常见的技术主要有空间域增强和频率域增强两种。空间域增强技术目前已较为成熟，其中的Retinex理论最为常见。Retinex是基于视网膜与大脑皮层的算法，该理论认为：人眼对于物体表面颜色的感知与物体表面的反射特性相关，不受场景中的光源变化而变化[1]。基于Retinex理论[2]的算法将原始图像分解为反射图和光照图[3]进行处理，将原始图片中的反射图作为描述图片实质的特征图像，分解后用于消除光照图像对原始图像的影响。Retinex算法分为不同种类，较为常见的有：单尺度算法SSR（Single-Scale Retinex)[4]，但其并不能同时兼顾图像的色彩和细节；
多尺度算法MSR（Multi-Scale Retinex)[5]，其在颜色上存在一定程度的失真。带有颜色恢复的多尺度算法MSRCR（Multi-Scale Retinex with Color Restoration)[6]，但它易于将图像亮度提升偏高，使结果图亮度失真。Retinex系列算法对图片处理是分别对R、G、B三个通道单独进行，会破坏RGB三通道间的联系，以致处理后的图片在颜色方面出现失真。针对存在的问题，基于基础理论，在此设计一套改进算法，利用HSV空间下V通道分解[7]提高增强图片的效果。
2.1 Retinex模型
Retinex一词由retina（视网膜）和cortex（皮层）合成而来。该理论认为人眼所观察到的图像物体的色彩具有常定性，物体的色彩是由物体自身确定的，与光照强度以及光照色彩无关。原始图像由反射图和光照图相乘所得，以公式表达如下：
式中，L(x,y)为太阳光照的照射分量；
R(x,y)为物体自身的反射分量；
S(x,y)为成像结果。这一过程对应的物理模型示意图如图1所示。
图1 Retinex物理模型图
在Retinex模型中，光照分量L是自然场景中光线对人眼观察物体时所产生的干扰；
反射分量R则是由受观察物体本身特质决定的。
2.2 改进模型
Retinex-Net[8]是一种端到端的可训练的低亮度图像增强网络。该网络框架由三部分构成，即：分解网络（Decom-Net）、增强网络（Enhance-Net）和图像重建（Reconstruction）。Decom-Net包含两条共享参数的网络，分别以低照度图像和正常光图像作为输入，得到低照度图像和正常光图像的反射图和光照图，最终根据Retinex理论重建正常光照下的图像。
对Retinex-Net网络进行改进的方案如下：将原始图片由RGB空间域转换到HSV（即色调H、饱和度S、明度V）空间域，对其中的V分量进行处理；
将V分量输入Retinex-Net的分解网络获得反射图和光照图，对光照图中光照不足的情况添加注意力机制进行提亮；
对反射图中噪声偏多的情况用Deam-Net网络进行去噪；
将分别处理过的光照图和反射图与原来的H分量和S分量进行图像融合，最后将融合后的图片的空间域从HSV转回RGB后输出，得到增强后的图片。改进算法流程如图2所示。
图2 改进算法流程图
3.1 分解网络改进
对Retinex-Net的分解网络进行改进，用Leaky ReLu激活函数对ReLU激活函数进行替换[9]。ReLU激活函数针对负数部分会直接将其置0，会造成梯度消失；
而Leaky ReLU函数针对负数部分会对其进行f(yi)=aiyi计算，可以杜绝梯度消失的发生。改进后的分解网络结构如图3所示。
图3 Retinex-Net分解网络改进图
分解网络对低照图与清晰图片同时进行分解，首先将图片由RGB空间域转化为HSV空间域，使用一层Conv从输入的V分量中提取特征，然后以Leaky ReLU激活函数的5层Conv卷积将提取到的特征映射到反射分量R和光照分量L，最后使用Sigmoid函数将R和L的范围约束在[0,1]之间。改进模型用Leaky ReLU激活函数替换原模型ReLU激活函数，有助于通过Leaky扩大ReLU函数的范围。Leaky ReLU激活函数公式表达为：
其中ai是一个固定值，通常为0.01左右。
3.2 增强网络改进
从分解网络分解出来的光照图亮度相对较低，信息量不够充足，细节也不够明显。为确保获得较为理想的光照图，需要对获得的分量图进行修正。在此对Retinex-Net中的Enhance-Net增强网络进行改进，在其中添加空间注意力机制以及通道注意力机制，进行细节增强并指导网络进行光照图的修正。将光照图输入空间注意力模块之后再输入通道注意力模块[10]，与直接将光照图分别输入这两个注意力模块后再融合相比，资源消耗更少。光照图通过注意力模块后生成新的注意力权重再分配特征图，接着指导修正网络对光照不足的光照分量图进行修正。改进后的结构如图4所示。
图4 添加注意力机制的改进
空间注意力模块如图4上方虚线框所示。假设输入特征图为F"，分别经过最大池化和平均池化后得到两个通道描述。最大池化和平均池化能够将特征映射的空间信息聚合，接着将两个通道描述通过一个7×7的卷积降维融合在一起，再通过激活函数得到空间注意力的权重系数MS。最后将输入的特征图F与权重系数相乘，即可得到经过空间注意力模块的输出，如下式所示：
通道注意力模块如图4下方虚线框所示。光照特征图从空间注意力模块输出后进入到通道注意力模块。输入特征先分别经过平均池化和最大池化，得到两个通道描述，再输入到一个有两层共享权重的神经网络。其中激活函数为Leaky ReLU。将输出的两个特征相加后再经过一个激活函数，便可得到通道注意力权重系数MC，将其与从空间注意力输出的特征图相乘即得到从通道注意力模块输出的光照图，如下式：
综上所述，空间注意力与通道注意力的总的处理流程可归纳如下式：
3.3 反射图去噪改进
由于采集设备或外界自然环境等因素的影响，低照度图像在暗光区域存在大量噪声，造成图像信息减少和图像质量下降。反射分量反映物体特征且包含大量细节信息，因此，为了对反射图进行更好的处理，更好地去噪和保持细节效果，用Deam-Net网络[11]对低照度图的反射图进行去噪处理。
Deam-Net网络是一种新颖的端到端可训练可解释的深度去噪网络，是通过可解释性来设计的网络。首先，在传统一致性先验中引入非线性滤波算子、可靠性矩阵和高维特征变换函数，使用了一种新的自适应一致性先验（ACP）算法；
其次，将ACP项引入最大后验框架，提出一种基于模型的去噪方法。Deam-Net的具体网络结构如图5所示。
图5 Deam-Net网络结构图
Deam-Net网络主要分为三个部分，分别为特征区域、去噪模型和重构模块。其中去噪模块由n个NLO+DEAM模块组成；
NLO由特征编码模块FED（Feature Encoding Part)、特征解码模块FDP（Feature Decording Part）、双元素注意力机制DEAM模块三部分构成。DEAM模块能起到加权平均的作用，主要作用于跨尺度特征重新校准和交互。
实验环境具体构建为：数据集选用LOL（Low-Light）；
CPU为AMD 3900X;GPU为NVIDIA GTX 3090；
内存为32GB；
操作系统为Ubuntu20.04；
编程语言选用Python3.6；
开源框架为Pytorch。
所选用LOL数据集[12]是一种能够满足网络对暗图片增强任务学习的具有正常光照图和低光照图成对训练的数据集。
为验证基于Retinex-Net改进的算法效果，选取MSRCR与Retinex-Net算法作为对比，从视觉主观效果与客观评价指标两个方面进行分析。为了更清晰的展示出算法效果，同时附上原始图。
首先从视觉主观效果方面进行评价，不同算法对比效果图如图6所示。选取5组不同场景图片，其中第一组为室外阳台场景；
第二、三组为室外小区场景；
第四、五组为人文街景。从左到右依次为原始低光照图片、MSRCR算法、Retinex-Net算法以及本改进算法的增强效果图。
图6 不同算法增强效果对比
从图中可以看出，MSRCR算法增强图像的整体清晰度不足，在图片颜色保留上也存在一定缺失，诸多物体的色泽泛白，有明显的褪色现象，视觉效果较差。虽然该算法亮度提升效果显著，但是由于缺少一致性的约束，增强输出后图片的亮度与原始图片的亮度分布特征无法保持一致，部分区域出现了亮度失真，如图片中的天空区域。
Retinex-Net算法并未考虑到RGB三通道之间的关联性，因此导致了算法增强过程中自然的色彩特性无法被保存，图像边缘部分阴影的存在即是算法进行细节增强过度所造成的。经过Retinex-Net算法增强的图片色彩失真显著，部分图像存在较为明显的油墨感。
本改进增强算法处理结果图整体轮廓清晰，噪点较少，说明反射图去噪的有效性，光亮提升也具有明显效果。与其他算法相比，本改进算法增强效果更加可靠，整体视觉效果也更为自然。
基于Retinex-Net改进的低照图增强算法借助了HSV色彩空间的优势，在保持结构的同时，保留了图像原本的大部分信息，最大程度避免了色彩失真，在亮度、颜色、对比度以及自然性方面都达到了更为良好的视觉效果。
为更加全面衡量改进算法的整体性能，在100对低照度图像集对上进行实验，采用NIQE（自然图像品质评价）[13]、SD（标准差）、SSIM（结构相似度）、IQA（图像质量评价)[14]这四个指标来作为图片增强效果的客观评价标准。其中NIQE值越小代表着图片拥有越好的视觉效果，越适合人眼视觉习惯；
SD是图片对比度的判定标准，主要针对光照强度，正常光照图片的对比度比光照不足图片的对比度更高；
SSIM为经过增强算法后输出的图片与原图的高亮图做对比，数值越高说明相似度越高；
IQA是针对输出后增强图片质量评价，指标越高说明图片质量越高，图片增强过程中对图片造成的损失越小。
不同算法在100张低照度图像上的各指标的平均值如表1所示。从数据可以看出，改进算法的NIQE平均值与原图相比降低2.09%，与MSRCR算法相比降低0.51%；
对于SD，改进算法较Retinex-Net算法提高17.25%。改进后模型输出的图片与原图的相似度指标提高大于10%，图片质量在原图的基础上也提高了21%。综上所述，通过四个客观指标数据的对比，能够证明，所提出的基于Retinex-Net算法改进的低照度图像增强算法在光照不足图片的自然特征属性、图像对比度以及保留自然增强的效果等方面均有较为明显的提高。
表1 各算法100张低照度图像指标平均值单位：%
研究是在Retinex-Net算法的基础上加以改进，通过将RGB图片转换到HSV色彩空间进行处理，重建后的图像亮度均匀、细节突出、色彩失真小且真实自然，实现了提高低光照图像增强效果以及对结果图像的色彩维护。通过实验分析，也证明了改进算法在光照不足图片的亮度增强与色彩恢复等方面的明显提升，具有很大的实用价值。在后续研究中还将继续优化算法，进一步提高算法对色彩增强等方面的保持能力。
猜你喜欢照度光照分量节能环保 光照万家(公益宣传)中国机械工程(2022年8期)2022-05-09当幻想的光照进童心世界儿童时代·幸福宝宝(2021年1期)2021-03-29天然光影响下的室内照明照度检测方法研究绿色建筑(2020年3期)2020-11-23隐蔽的力量小资CHIC！ELEGANCE(2019年40期)2019-12-10一斤生漆的“分量”——“漆农”刘照元的平常生活当代陕西(2019年19期)2019-11-23一物千斤智族GQ(2019年9期)2019-10-28春光照瑶乡音乐教育与创作(2019年8期)2019-05-16论《哈姆雷特》中良心的分量英美文学研究论丛(2018年1期)2018-08-16体育建筑照明设计中垂直照度问题的研究照明工程学报(2017年3期)2017-07-10基于FFT的航空发动机整机振动分量实时跟踪监视燃气涡轮试验与研究(2011年1期)2011-04-16