{"content": "目前国内外常见的低照度图像增强方法主要分为四种： ", "summary": "(1)基于直方图增强法(HistogramEqualization，HE).该方法通过整体调整图像直方图分布来增强图像亮度和对比度，此类方法精简快捷，但常出现颜色失真、细节丢失等问题."}
{"content": "目前国内外常见的低照度图像增强方法主要分为四种： ", "summary": "(2)基于Retinex增强法.Land提出人眼视觉亮度与颜色感知由实际物体自身的反射率决定，与环境光强度无关.根据Retinex理论提出带色彩恢复的多尺度Retinex(multi-scaleRetinexwithcolorrestora-tion，MSRCR)和LIME等多种经典算法.此类方法容易出现颜色失真，虽然有学者增加颜色校正模块，但仍无法完全克服颜色失真问题."}
{"content": "目前国内外常见的低照度图像增强方法主要分为四种： ", "summary": "(3)基于伪雾图增强法.该方法利用低照度图像的反转图像通过去雾算法进行增强.如Dong等提出增强方法取得较好的照度增强效果，但在应对复杂场景增强时容易出现块效应和噪声."}
{"content": "目前国内外常见的低照度图像增强方法主要分为四种： ", "summary": "(4)基于神经网络的增强法.此类方法利用神经网络学习低照度图像到正常照度图像的映射，如刘超等提出利用卷积自编码网络从低照度图像训练集中学习图像特征.此类方法能够有效的对低照度图像进行照度增强，但增强的图像在细节及色彩方面有所欠缺."}
{"content": "单纯地增加曝光量的问题 ", "summary": "相机的动态范围有限，如果增加相机曝光度来揭示曝光不足区域的信息，那么曝光良好的区域可能会出现过度曝光甚至饱和的现象。"}
{"content": "单纯地增加曝光量的问题 ", "summary": "在图像拍摄过程中可以通过提高感光度(ISO)增加亮度，但不可避免地会放大噪音。采用缩放或直方图拉伸等一系列后期处理方法可以减弱噪音的影响，但并不能有效解决信噪比低 的问题。在拍摄过程中采用打开光圈、延长曝光时间、使用闪光灯等物理方法虽然能达到在低光环境下增加信噪比的效果，但图像会因为相机抖动或物体的移动而变得模糊。"}
{"content": "说明别人方法不好 ", "summary": "为了解决这一问题，研究人员提出了一些有效的图像增强技术。采用这些方法虽然可以获到良好的主观质量，却不能准确地反映场景图像的真实亮度和对比度。"}
{"content": "说明别人方法不好 ", "summary": "LIME虽整体图片偏亮，但是却与原色彩模式相比，存在失真的问题"}
{"content": "深度学习算法的好处 ", "summary": "深度学习方法具有较高的 能力，同时可以通过训练样本的控制来提供较多的先验知识 来降低低照度图像重建问题的病态程度，可以针对特定的低照度数据集实现较好的增强效果。"}
{"content": "油茶果描述 ", "summary": "油茶Camelliaoleifera是我国最主要的经济树种之一，与油棕、油橄榄和椰子并称为世界四大木本食用油料树种。因其良好的适应性，油茶适宜种植在我国南方广大的红壤丘陵地区，主要分布在湖南、江西、浙江、海南、广东、广西、重庆、四川、贵州、湖北、安徽、福建等地。其中湖南、江西和广西三省(区)合计栽培面积占全国总面积的75%以上，常年产茶油量占全国总产量的80%以上。据初步统计，截至2011年，全国已选育出的油茶新品种共有365个，其中通过国家审定的油茶良种有73个，省级油茶良种292个。品种繁多、良莠不齐，优良品种经过长期嫁接繁殖逐步退化等问题给油茶产业的发展带来了严重的消极影响。"}
{"content": "油茶果描述 ", "summary": "油茶林主要分布于我国南方地区，其油茶果实经加工后，可广泛用于食品、工业、医药等重要领域，是重要的经济林树种之一。油茶树树叶繁茂，枝桠交叠，油茶果成熟时呈球形或椭圆形，颜色呈淡黄色或暗红色、或呈绿色，与树叶颜色相近。油茶果目标与背景成多元信息叠加，且受光照、摇晃等不稳定因素的影响，以上因素致使快速、准确地识别油茶果极其困难。在对林果采摘机器人视觉识别技术的相关研究中，目前主要集中于对目标的颜色。形态、纹理、光谱等单特征识别。在多特征识别研究中，Hayashi等人提出了基于形态学特征及颜色特征的茄子图像分割法，并采用网格模板获取完整的茄子目标;Zhao等人利用纹理特征和颜色特征识别树上苹果;Blasco等人结合多光谱特征和形态学特征，利用贝叶斯分类器检测柑橘表面;王津京等人利用支持向量机算法对待识别的目标苹果的颜色和形状特征进行了综合分类。"}
{"content": "油茶果描述 ", "summary": "卷积神经网络可以自动提取特征，并分类检测，精度高，实时性强，成为果蔬目标检测的主流框架。而Faster R-CNN 卷积神经网络经过RCNN、Fast-RCNN的不断改进，精度和检测效率都得到了进一步的提高。在卷积神经网络果蔬识别方面已经有大量的研究。西北农林科技大学冯亚利使用改进的DY3TNet模型实现了田间猕猴桃果实的检测。闫建伟等为了快速准确识别自然环境下刺梨果实，提出了一种基于改进的Faster-RCNN的刺梨果实识别方法。傅隆生等为了实现田间条件下快速、准确地识别多簇猕猴桃果实，提出了一种基于LeNet卷积神经网络的深度学习模型进行多簇猕猴桃果实图像的识别。程鸿芳等针对传统的基于内容的识别方法在特征提取方面存在的计算复杂、特征不可迁移等问题，对LeNet卷积神经网络结构进行改进，设计了一种基于改进LeNet卷积神经网络的苹果目标识别模型，并利用该模型对不同场景的苹果图像进行了识别与验证，综合识别率达到93.79%;与其他方法相比，该算法具有较强的抗干扰能力，图像识别速度快，识别率更高。中南林业科技大学张习之等提出了一种基于改进卷积自编码机神经网络的油茶果图像自动识别方法，该改进算法100次迭代所需时间为166s，平均识别准确率为90.4%。"}
{"content": "低光增强深度学习算法使用的数据集 ", "summary": "CHEN等在2018年首次采用SID(see in the dark)数据集，基于数据驱动方法训练一个端到端的网络，实现了极端低光情况下图像的增强，取得了良好的效果，但该方法设计的网络对物体细节的还原仍然有着很大的不足，增强之后的图像中物体的边缘存在模糊现象，且该方法只在其构建的数据集上表现良好。"}
{"content": "说明目前用的人很少 ", "summary": "目前在卷积神经网络识别油茶果方面的研究较少，尚无文献用Faster-RCNN卷积网络的方法识别油茶果。本文选用Faster-RCNN交替优化训练方法，并使用Faster-RCNN卷积神经网络对油茶果进行了识别。"}
{"content": "最后一段说明自己要干啥 ", "summary": "为了提高低照度图像的图像质量，本文利用生成对抗网络的学习能力，提出一种基于U-Net生成对抗网络的低照度图像增强方法.该方法利用U-Net结构和深度卷积结构构造生成对抗网络，实现利用低照度图像生成照度与正常照度图像拟合的增强图像.实验表明，该方法能够有效提高低照度图像的亮度、对比度."}
{"content": "低照度图像产生的硬件原因 ", "summary": "在低照度条件下拍摄的图像通常会出现不同程度的质量退化，虽然专业设备和先进的摄影技术可以在一定程度上缓解这些退化，但固有原因产生的噪声是不可避免的。由于没有足够的光，相机传感器的输出易受系统的固有噪声干扰，因此输出的图像可能会在曝光不足的区域丢失部分重要信息，从而加大了计算机视觉任务的难度。"}
{"content": "深度学习发展很快 ", "summary": "近年来，深度学习发展迅速，在高层次视觉任务中应用非常广泛，如图像识别、语义分割等。与此同时，也有一些研究人员尝试用深度学习算法去解决低层次图像领域问题，如图像去噪、图像去雾、图像超分辨率等，这些算法也取得了较好的成绩。相对于传统算法，深度学习算法具有不需要人工设计特征提取方法，可直接端到端地训练和输出结果等优势"}
{"content": "本文的贡献 ", "summary": "本文提出的基于多分支结构和U-net结合的低照度图像增强算法有以下三点贡献： ∑"}
{"content": "引出我们研究的问题  ", "summary": "针对低照度条件下的图像对比度不高、颜色失衡和存在噪声的问题，提出了一种基于卷积神经网络的低照度图像增强模型。"}
{"content": "引言中引出本研究的表述  ", "summary": "为了对低照度图像进行增强，本文利用卷积卷积神经网络的非线性映射能力，提出了一种基于U-Net网络的低照度图像增强方法。"}
{"content": "引言中引出本研究的表述  ", "summary": "利用数据驱动的方式，实现了对低照度的图像进行增强，实验表明，该方法能够有效提高低照度油茶果图像的亮度、对比度，且细节可以保持完整"}
{"content": "Dong的方法", "summary": "基于Dong的去雾算法增强。Dong等发现，低照度图像经过翻转后图像与雾天图像具有一定的相似性，因此可以采用图像去雾的思想对低照度图像进行增强，可以取得一定的增强效果。但由于Dong未考虑雾图中存在的白色区域所导致的暗通道理论失效的问题，在应对复杂场景增强时容易出现块效应和噪声等问题。基于伪雾图增强法。该方法利用低照度图像的反转图像通过去雾算法进行增强，如Dong等提出的增强方法取得了较好的照度增强效果，但在应对复杂场景增强时容易出现块效应和噪声等问题。"}
{"content": "将注意力机制引入CNN结构中有什么好处  ", "summary": "将注意力机制应用于UNet分割网络中，可以比较好的实现对显著性区域的关注，以及对无关背景区域的抑制。"}
{"content": "将注意力机制引入CNN结构中有什么好处  ", "summary": "注意力模型可以很好的嵌入到CNN框架中，而且不增加计算量的同时提高模型性能。"}
{"content": "将注意力机制引入CNN结构中有什么好处  ", "summary": "提出了Attention-U-Net算法，该算法将通道注意力及空间注意力机制加入低光增强网络之中"}
{"content": "CIL数据集的采集条件", "summary": "用于网络训练的低照度/正常图像对，于2020年10月25日-11月5日白天在湖南省天沃科技有限公司雷叔叔油茶果种植基地拍摄，拍摄的油茶果的品种为华顺203，205。图像采集设备为尼康D90数码相机，相机的光圈为F22，快门模式为M模式，ISO为200，拍摄设备如图1所示，尼康相机固定在三脚架上，三角架轴心到树干中心的距离为200cm，相机镜头到油茶树最外侧的距离为95cm，相机距离地面的高度为150cm；在对同一场景同一位置的油茶果采集不同曝光度的图像时，若采用手动按快门进行拍摄，会不可控地引起相机镜头的抖动，从而造成拍摄的不同曝光度的图像，无法达到像素级的对应，对后续网络的训练造成较大干扰，因此本研究在制作油茶果的低照度/正常光照图像的数据集CIL（Camellia oleifera Abel Image in low light）时，采用红外遥控的方式的进行图像的采集2021.01.25，其中红外遥控器的发射端由采集人员手持，红外遥控器的接收端置于单反相机的上方，两者通过热靴连接。"}
{"content": "注意力机制引入的区域  ", "summary": "attention模块用在了skip connection上，原始U-Net只是单纯的把同层的下采样层的特征直接concate到上采样层中，改进后的使用attention模块对下采样层同层和上采样层上一层的特征图进行处理后再和上采样后的特征图进行concate"}
{"content": "注意力机制引入的区域  ", "summary": "Attention coefficients（取值0~1）与feature map相乘，会让不相关的区域的值变小（抑制），target区域的值变大（Attention）。"}
{"content": "注意力机制引入的区域  ", "summary": "利用下采样层的结构化信息和当前层纹理信息的融合，利用sigmoid归一化，得到关联性强的区域，和当前层做乘积，从而强调本层的显著性区域的特征。"}
{"content": "注意力机制引入的区域  ", "summary": "在基础的UNet的基础上增加了attention 的机制，通过自动学习参数来调整激活值，attention的可视化效果还是主要部分，不像non-local的方式每一个像素点都要和其他像素点进行关联，可以视作一种隐式的注意力机制。"}
{"content": "我们的方法如何好 ", "summary": "通过大量的实验表明，运用深度残差网络和U-net，可以更好地进行特征提取，低照度图像增强的效果也更好，很大程度上优于现有的技术。提出的方法不仅在视觉上提高了亮度和对比度，色彩更真实，更加符合人眼视觉系统特性，而且PSNR、SSIM等七项客观图像质量指标在几种算法中都是最优的。"}
{"content": "我们的方法如何好 ", "summary": "3)本文使用大量的实验来证明所提出模型的有效性，且使用了很多"}
{"content": "我们的方法如何好 ", "summary": "其可对不同尺度的低照度图像进行增强"}
{"content": "我们的方法如何好 ", "summary": "通过在公开数据集（LOL，SID）上验证表明，RUNet方法在效果上有所改进，尤其是整体视觉效果。"}
{"content": "我们的方法如何好 ", "summary": "不仅在客观评价指标上的评分更高，PSNR、SSIM等七项客观图像质量指标在几种算法中都是最优的，而且在视觉上提高了亮度和对比度，色彩更真实，更符合人眼的视觉原理。"}
{"content": "合成数据集 ", "summary": "我们从RAISE收集了780张原始图像，700张用于生成训练对，80张用于网络的验证。使用Adobe Photoshop Lightroom调整对应的参数，包括曝光度、振动和对比度，具体参数为：曝光参数E设置为了[-5,0]，振动参数V设置为[-100,0]，对比度参数C设置为[-100,0]来合成低照度图像。为了防止颜色偏差的问题，在训练数据集中加入了700对灰度图像对。这些灰度图像对被转换为彩色图像对。为了使增强前后的黑白区域保持一致，我们添加了五对白-白训练对和五对黑-黑训练对。最后，将所有图像的大小调整为400x600，并转换为JPG格式。"}
{"content": "合成数据集 ", "summary": "通过伽玛校正来合成数据集，但对于伽玛校正，可能无法反映不同曝光级别之间的关系。"}
{"content": "CIL数据集的明细  ", "summary": "CIL数据集，分别拍摄了单果、多果、整树、花朵、花和果实、无果等多种油茶果图像场景的低照度/正常图像对，以确保算法对不同的场景的低照度图像的增强效果。CIL数据集用较短的快门时间拍摄的油茶果图像做为低照度图像，较长的快门时间拍摄的图像做为对应的参考图像，一共包含1200组不同曝光度的图像，各个场景下的具体图像数量如表1所示，曝光时间分别为1/1000s、1/500s、1/250s、1/60s、1/10s，其中做为低照度图像的曝光时间分别为1/1000s、1/500s、1/250s、1/60s，每组图像对应的参考图像的曝光时间为1/10s。"}
{"content": "为什么要使用U-Net", "summary": "在数据集规模较小的情况，使用U-Net进行烟尘分割。相比于其他语义分割网络，U-Net的优点在于能针对小型数据集进行端到端的快速、有效训练。"}
{"content": "存在的问题 ", "summary": "油茶果处于高山丘陵地区，因此山上多风，所以对在非同一时刻采集到的油茶果图像可能会存在轻微的晃动，"}
{"content": "U-Net的结构描述", "summary": "U-net网络结构因其对称结构与英文字母“U”相似而得此名，主要由下采样、上采样以及“桥”连接三部分组成，其网络结构见图2。左边称为下采样，也叫压缩路径或编码器(encoder)，主要作用是提取图像的浅层特征，如图像的位置信息;右边称为上采样，也叫扩展路径或解码器(decoder)，主要作用是提取图像的深层特征，如图像中像素的类别信息;中间的箭头表示“桥”连接，也叫跳跃连接(skipconnection，SC)，主要作用是把下采样得到的特征图与上采样得到的特征图进行复制拼接，形成一个同时具有深层次和浅层次信息的特征图，实现更为有效的分割。除此之外，上、下采样和“桥”连接部分由卷积层、池化层、反卷积层以及激励层组成。其中卷积层用于提取甲状腺图像的特征;池化层用于下采样部分，其将获取的特征数据和参数进行压缩，减少模型过拟合;反卷积层用来还原特征图的尺寸大小，使得最后输出大小与原图大小一致;激励层是将卷积所得的输出进行一个非线性映射，来保证模型能够更好地拟合图像。本研究所使用的激活函数为ReLU，最后输出层使用Sigmoid函数对像素点进行分类"}
{"content": "对U-Net增强效果的描述", "summary": "对单通道的图像进行伪彩色处理，可以直观地看到，经过U-Net增强后的图像，其整体照度得到了增强，而且，各个通道的轮廓和细节信息也得到了增强，变得更为突出。例如R通道，增强前的树叶、树枝等信息耦合在一起，无法区分，而增强后，两者的边界则变得非常显著，有利于后续图像的进一步分析。"}
{"content": "对U-Net增强效果的描述", "summary": "自己的U-Net代码是对图像进行了端对端 的处理，不仅仅是可以对图像进行低照度增强，还进行去噪，"}
{"content": "我们提出的网络", "summary": "受SID算法的启发，本文验证了利用神经网络对低照度图像进行端到端的增强，并提出了一个有连续的自网络组成的新型网络RV-UNet。"}
{"content": "我们提出的网络", "summary": "通常原始输入图像的比编码-解码网络的输出包含更多细节，因为可以为恢复细节提供信息。采用级联代替跳跃连接，将上一个上采样块的特征映射与输入图像相结合，使原始信息和照明估计都能完全保留并传输到下一步。级联层之后是带有ReLU的三个激活层，它将输入的图像信息与估计的全局光照信息想结合，最终生成细节更好的增强效果。"}
{"content": "多级", "summary": "在训练过程中，首先针对不同曝光时间的图像乘上对应的放大系数进行粗增强，，该系数不参与网络训练，由研究人员指定；而在网络测试时，模型先由输入图像的直方图进行亮度模式判定，根据先验知识分别乘上对应的放大因子，对图像进行粗调整后，再输入到A-UNet网络中进行端到端处理 。"}
{"content": "油茶果图像的采集", "summary": "本研究采集油茶果的试验地点为湖南省永州市雷叔叔油茶果种植基地，拍摄时间为2020年10月28日-2020年11月6日的白天，，"}
{"content": "油茶果图像的采集", "summary": "江西省林业科学院国家油茶林基地。拍摄相机为索尼相机，像素为640×480。于2019年9月14~23日的晴天拍摄，采集了典青、赣兴46、赣抚20等34个品种的油茶果图像并保存成JPG的格式。图1为拍摄的部分油茶果图像。环境下的油茶果图像，将训练集图像数量扩充到3820张，使卷积神经网络学习到各种情况下油茶果图像的特征(若训练数据集中没有包含多样化的样本，则会导致机器学习不足，识别结果置信度降低)。"}
{"content": "试验环境", "summary": "本试验在Windows图形工作站计算机上进行，处理器为Intel-i5-9400F，内存为32GB，操作系统Windows10(64位)。考虑到GPU算力的需要，选用显卡为RTX 2080Ti，显存11GB。Python的版本是3.6.4，在pycharmIDE上编译。深度学习框架选择PyTorch。同时为了提高训练速度，采用GPU加速方法，cuda版本是8.1，cudnn版本为7.6.0。"}
{"content": "U-Net的优点", "summary": "由于U型网络可以较好地保留图像的细节，为了学习低光图像和正常光照图像之间的映射关系，本文采用U型结构的卷积神经网络。如图3所示，该网络由编码器、解码器和跳跃连接构成。"}
{"content": "实验结果的图表", "summary": "各个算法对应多个评价指标，使用多个图表"}
{"content": "实验结果的图表", "summary": "在一个图表上对应上所有的方法和评价指标"}
{"content": "说明本文的做法好", "summary": "以上数据表明本文算法在低照度图像的增强效果以及运行效率上均有一个较好的表现，为自然环境下油茶果的检测和识别提供了保障。"}
{"content": "说明本文的做法好", "summary": "大量的实验表明，该方法不仅可以获得视觉上令人满意的低光增强效果，而且能够很好地表示图像的分解过程"}
{"content": "说明本文的做法好", "summary": "我们进行了大量的实验，以证明我们设计算法的有效性及相对于常见低照度增强算法的优越性。此外，我们算法在2080Ti GPU上花费不高50ms来处理VGA分辨率的图像，这些特性使得我们的产品具有是有价值。"}
{"content": "针对于本文不利的指标进行申辩", "summary": "本文所提的增强算法，尽管在时间效率上低于LIME和HE等传统算法，但是增强效果上，则远远高于这些算法。表明本文算法具有良好的实时性和准确性，为后续的计算机视觉的准确识别，有助于提高油茶果采摘机器人采摘作业的准确性和效率。"}
{"content": "我们算法的增强效果", "summary": "实验结果表明，与传统的低照度增强算法相比，本文所以提出的模型，不仅可以最大程度地还原图像的真实亮度，而且能够有效提高图像的对比度、调整颜色失衡已经去除噪声，客观图像质量评价指标也高手同类算法。"}
{"content": "我们算法的增强效果", "summary": "实验结果表明，本文所提算法不仅在主客观评价上有较好的表现，而且利用增强后的图像训练出来的YOLO v4网络比未经过增强处理的图像训练出来的YOLO  v4网络识别准确率更高。"}
{"content": "我们算法的增强效果", "summary": "该增强算法是利用神经网络进行端到端的训练，参数调整过程中没有任何人工参与，大大减少了人工设计的复杂性。"}
{"content": "我们算法的增强效果", "summary": "实验表明，本文算法，不仅在合成图像中表现出色，而且"}
{"content": "我们算法的增强效果", "summary": "本文分别从定性和定量的角度将RV-UNet与流行的低照度增强方法进行了比较，结果表明，本文算法不仅在各个增强指标上表现出了，而且也最符合人眼特性，xxx效果最好。"}
{"content": "我们算法的增强效果", "summary": "综上所述，RV-UNet的增强效果优于LIME等传统增强算法，而且与Retinex-Net等深度学习增强算法相比，图像的主客观增强效果均表现出色。但本文方法也存在一些问题，例如对一些区域进行处理时存在过度增强，从而引起亮斑问题。"}
{"content": "我们算法的增强效果", "summary": "与其他算法相比，本文提出的算法可以有更生动和自然的结果，由于RV-UNet对输入图像具有全局感知能力，并且可以按照语义信息对整个图像进行增强，因此可以避免在正常或者较亮区域的过度曝光或者在较暗区域的曝光不足。此外，低照度图像的细节了增强后仍然可以保持不变，得益于细节重构步骤。"}
{"content": "损失函数", "summary": "本文实验选择低照度增强公开基准数据集LOL进行训练的，该数据集包含1500组低光/亮光图像对。具体来说，有500对大小为400×600的真实场景图像和1000对大小为384×384的原始数据合成图像。本文使用1000对合成图像对和485对真实图像对进行训练，其余15对进行测试。由于LOL测试集的图像是在极弱光条件下拍摄的，图像的黑暗区域充满了强烈的噪声，因此通过这个数据集的结果可以很好地显示了本文算法在低光照条件下的增强性能。"}
{"content": "常见的图像去噪算法", "summary": "最流行的方法可以归纳为BM3D 和WNNM 。由于测试中优化过程的高度复杂性，以及参数需要人工进行精心设计，这些传统去噪算法在实际应用中往往表现不是很出色。"}
{"content": "人们对于图像去噪的态度", "summary": "在图像处理、多媒体、计算机视觉等领域，图像去噪一直是人们关注的热点，近几十年来提出了很多经典算法。"}
{"content": "数据驱动", "summary": "Retinex分解图像的方法是直接在输入图像上估计反射率和照度，但设计适合各种场景的适当约束函数并不容易。因此，尝试以数据驱动的方式解决此问题。DeNet每次都会获取成对的弱光/正常光图像，并在弱光和正常光图像的指导下学习弱光及其对应的正常光图像的分解。"}
{"content": "基于深度学习的去噪算法", "summary": "基于深度学习的去噪算法显示出了优越性，有代表性的工作，如使用堆叠稀疏去噪自动编码器的SSDA 、可训练非线性反应扩散的TNRD、具有残差学习和批处理归一化的DnCNN，由于"}
{"content": "编码-解码描述", "summary": "在编码-解码网络中，首先是由编码网络对图像进行编码，然后将图像的全部信息压缩为瓶颈层的细长向量，最后由解码网络解码进行解码。"}
{"content": "时间复杂度", "summary": "评价一个算法的优劣，一般主要从算法的执行时间（计算量）和所需要占用的存储空间（访问量）两方面进行衡量，但时间复杂度计算的不是程序具体运行的时间，而是算法执行语句的次数。"}
{"content": "评价增强效果", "summary": "客观评价方式是通过峰值信噪比、信息熵、标准差等参数对低照度图像的增强效果进行定量分析。"}
{"content": "评价增强效果", "summary": "使用PSNR评价指标，偶尔会出现评价结果与主观评价不一致的情况，这是由于该指标"}
{"content": "评价增强效果", "summary": "PSNR在对图像进行评价的时候，只是对图像的绝对质量进行数字打分，而忽略了人眼的主观感受，例如人眼对一个区域的感知结果会受到其周围邻近区域的影响，因此常常会出现PSNR分数与主观评价不一致的情况。"}
{"content": "评价增强效果", "summary": "，使用PSNR对图像进行评价，有时候会出现评价分数与主观评价不一致的情况，"}
{"content": "评价指标", "summary": "本文在测试数据集上对所提出的网络性能进行了评估，并分别将其与文献、文献和文献三种主流低照度图像增强的方法进行了定性和定量的比较。为了公平起见，本文应用了作者提供的带有推荐参数设置的代码。为了评价这些算法的性能，本文采用峰值信噪比(PSNR)、结构相似性指数(SSIM)和自然图像质量评估器(NIQE)来量化增强后图像的恢复质量。"}
{"content": "评价指标", "summary": "PSNR是一个绝对误差，使用像素相对于其最大可能值的均方误差来计算。在假设人类的视觉系统高度协调以提取结构信息的情况下，SSIM试图通过更紧密地与人类的感知保持一致来改进绝对误差度量。这两个客观评价指标的值越大，表明图像处理效果越好，而NIQE值越大说明与自然图像差距越大，质量越差。可以从表1中看出本文网络表现出最优的性能。"}
{"content": "空间复杂度", "summary": "空间复杂度是对一个算法在运行过程中临时占用存储空间大小的量度。在深度学习中，空间复杂度决定了模型的参数数量，模型的参数越多，训练模型所需的数据量就越大，而现实生活中的数据集通常不会太大，这会导致模型的训练容易过拟合"}
{"content": "使用Google Cloud Vision 进行检测", "summary": "这个东西相对来说会客观一点儿，大家都是认这个东西的"}
{"content": "使用Google Cloud Vision 进行检测", "summary": "图3为谷歌云识别低照度/正常光照图像对，原始图像来自于MEF数据集。由于光照较低，谷歌云视觉只能将图像标记为“天空”、“云”和“尖顶”，经过增强后，前景埃菲尔铁塔被成功地检测到，并用一个绿色的boundingbox精确地标记出来，表明了我们方法的有效性"}
{"content": "缺乏数据集", "summary": "由于在现实世界中，获取可以做到像素级匹配的低照度/正常图像对的难度较大，早期采用深度学习算法对低照度图像进行增强的研究中，多是采用人工合成过的低照度图像数据集。然而，这些低照度图像通常是由研究者们通过一些已知参数的具体算法，对正常光照条件下的图像进行随机变暗处理，以及增加随机噪声等方式获得。与真实场景下采集到低照度图像相比，这类人工合成的图像，往往过于简化，缺乏真实场景下的复杂的噪声与图像失真。"}
{"content": "基于深度学习的低光增强方法", "summary": "由于深度学习网络对非线性映射有较好的拟合作用，近年来研究者相继尝试了使用深度学习来对低照度图像进行增强的方式。"}
{"content": "基于深度学习的低光增强方法", "summary": "这类算法能够利用神经网络学习低照度图像到正常照度图像之间的非线性映射，例如Lore等人最早提出了将LLNet网络用于处理低照度图像的"}
{"content": "基于深度学习的低光增强方法", "summary": "基于伪雾图增强法。该方法利用低照度图像的反转图像通过去雾算法进行增强，如Dong等提出的增强方法取得了较好的照度增强效果，但在应对复杂场景增强时容易出现块效应和噪声等问题。"}
{"content": "基于深度学习的低光增强方法", "summary": "随着深度学习的出现，许多低级视觉任务都从中受益，例如[14]、[15]用于去噪，[16]用于超分辨率。"}
{"content": "基于深度学习的低光增强方法", "summary": "RetinexNet"}
{"content": "基于深度学习的低光增强方法", "summary": "最近出现的做法"}
{"content": "防止卷积后图像变小", "summary": "为了避免卷积时对图像边缘造成影响，丢失图像边缘，每个卷积层在进行卷积操作前都会对图像的边缘进行0填充，是的图像在卷积前与卷积后的大小可以保持一致。"}
{"content": "为什么不能直接对低照度图像进行亮度增强", "summary": "在低照度条件下拍摄的图像通常xxx质量很差，这是因为除了不理想的光照条件外，还存在着多种类型的图像退化，例如噪声和颜色失真，都一起被隐藏在图像中，因此仅仅提高低照度图像的亮度将不可避免地放到这些噪声，使图像产生伪影和失真。"}
{"content": "为什么不能直接对低照度图像进行亮度增强", "summary": "不同低照度区域具有不同程度的噪声，如果直接对低照度图像进行亮度增强的话，也会不可避免的放大这些噪声，使图像产生伪影和失真"}
{"content": "闪光灯", "summary": "闪光灯是点状光源，而自然光是平行光源，因此使用闪光灯辅助成像有可能会产生不自然的曝光，而且使用闪光灯可以在一定程度上使环境变得明亮，但也会了成像中引入高光和不平衡的照明，使图像在视觉上缺乏真实感。"}
{"content": "拍出低照度图像的场景", "summary": "由于油茶果生长环境的特殊性，油茶果采收机器人在作业时，视觉系统并不是在所有时刻和地点都可以获得良好的光照条件，例如黄昏、阴天、雾天等光照不足的情景下，甚至在晴天的一些背光处也会有欠曝光的现象。在这种光照条件下直接捕获的图像，往往具有较低的信噪比，容易对后续机器视觉的目标检测等工作造成较大干扰。"}
{"content": "拍出低照度图像的场景", "summary": "造成低照度图像的原因有很多，例如拍摄环境光照条件较差、摄影设备性能有限以及设备配置不当等。"}
{"content": "必要性", "summary": "油茶果采摘机器人的工作环境复杂，尤其是在阴天、傍晚，采集到的果实图像存在整体偏暗、模糊、对比度不高、细节不清晰、动态范围压缩有限等问题，给后续油茶果的自动化采收带来了较大困难。"}
{"content": "必要性", "summary": "从低光环境下采集的油茶果图像，经常存在对比度低、细节丢失、噪声污染严重等问题，不利于人眼的观察和计算机视觉的检测。"}
{"content": "必要性", "summary": "图像质量与很多计算机视觉相关的相关技术的效果息息相关，高质量的图像可以带来更多信息，方便后续的增强任务。油茶果机器人作业时的很多因素都会直接或者间接地影响图像质量，低光照便是其中之一。"}
{"content": "必要性", "summary": "低质量的图像会降低很多计算机视觉的性能，因为这些算法，通常是针对高质量输入图像设计的，因此对低照度图像进行增强，不仅可能图像的视觉效果，还可以提高相关视觉算法的作业效果。"}
{"content": "必要性", "summary": "在拍照成像中，光照不足，会非常明显的影响成像质量，使其对比度降低并且丢失细节信息，不仅影响视觉效果，而且会给后续为自然光照图像设计的计算机视觉系统的性能造成较大影响。为了使这些隐藏在低照度区域的细节清晰可见，提高计算机视觉系统的准确性，需要对低照度图像进行增强。"}
{"content": "延时摄影", "summary": "长时间曝光延长了拍摄时的曝光时间，可以让更多的光子到达成像设备的感光元件上，但是仅限于静态摄影，若是物体在拍摄过程中发生了位移，很可能导致成像结果模糊"}
{"content": "目的", "summary": "研究低照度增强的主要目的在于提升图像亮度的同时，降低图像噪声、减小色彩偏差、增强图像整体与局部的对比度，以增强图像的视觉效果与质量，例如锐化图像特征，使图像具有更高的视觉质量。低照度图像增强的目的是"}
{"content": "目的", "summary": "低照度图像增强的目的是改善低光照条件下的成像图像质量与视觉效果，同时减小对光照以及拍摄设备的依赖程度，具有广大的应用前景。"}
{"content": "发展水平", "summary": "国内外很多学者，对低照度图像增强技术进行了相关研究，取得了不错的效果，但大多是针对通用场景的增强，针对农业领域里面的低照度图像进行增强的研究相对较少。"}
{"content": "发展水平", "summary": "近年来，很多学者对低照度增强领域进行了研究，使低照度增强技术有了较大的发展，但是开发一种可以用于实际领域的低光增强策略仍然面临着较大挑战，因为常见的低光增强算法往往受限于特定的场景，增强效果只是限制在这个特定领域里面，换另外一个场景有可能就不再适用了。XXX"}
{"content": "目标", "summary": "理想的低照度图像增强算法，不仅应该可以对低照度图像进行增强，而且还可以有效地去除隐藏在暗区域中的图像，并且灵活地调整图像的增强等级。"}
{"content": "应用", "summary": "低照度图像增强的目的是改善低光照条件下的成像图像质量与视觉效果，同时减小对光照以及拍摄设备的依赖程度，具有广大的应用前景。"}
{"content": "应用", "summary": "RV-UNet主要应用场景为帮助提高其他计算机视觉任务的性能，比如物体检测和识别。由于大部分视觉识别模型都基于自然"}
{"content": "难度所在", "summary": "对于大部分低照度图像，对图像进行简单的调整，并不能同时提升图像的亮度与质量。xxxx（中间省略很多具体算法的做法）这些难以调和之处正是低照度增强算法的难点所在。"}
{"content": "难度所在", "summary": "很难确定精准的Ground Truth∑"}
{"content": "难度所在", "summary": "深度学习应用于低照度图像增强的难度所在∑"}
{"content": "深度学习应用于低照度图像增强的难度所在", "summary": "如何从单个图像中有效地估计出照明分量，并灵活地调整光照水平在对低照度区域进行增强后，如何消除之前隐藏在暗区域中的噪声和颜色失真等变换如何只通过少量的数据集训练一个没有Ground Truth的低照度增强网络？"}
{"content": "很难确定精准的Ground Truth", "summary": "从用户的角度考虑，不同的人、不同的需求场景可能需要不同的图像亮度值，对于研究人员而言，很难精准确定一个适用于所有人的Ground Truth。"}
{"content": "直方图均衡化 ", "summary": "在常规的图像增强任务中，直方图均衡化被广泛地应用到了各种图像增强任务中，通过对图像的直方图进行变换，得到从当前像素值。"}
{"content": "HSV颜色空间", "summary": "HSV色彩空间的H通道采用环形数据表示，在该通道上设计增强网络的损失函数难度较大，"}
{"content": "为什么要将低照度图像转换到不同的颜色空间中进行处理", "summary": "低光照图像与自然光照图像之间的主要区别为：图像的亮度和色彩的偏移，而亮度和色度则可以很好地反映出两者之间的差别。 因此将图像转换到YCbCr 颜色空间中，从而得到一个比在RGB颜色空间更适合改变图像亮度和色度的调整模型。"}
{"content": "YCbCr颜色空间", "summary": "图像在YCbCr颜色空间的数字矩阵，相比于在RGB颜色空间的数字矩阵，更适合进行低照度增强处理，可以帮助提升模型的性能。"}
{"content": "直方图的作用  ", "summary": "直方图可以统计数字图像中具有不同像素值的像素数量，图像直方图描绘了图像中像素值的分布情况。直方图被广泛应用于各种图像增强任务中，通过对图像的直方图进行变换，得到从当前像素值到新的像素值的直接映射。这类方法中最经典最常用的是直方图均衡化，但是直方图均衡化不会对图像的内容进行判断，只是在单纯地对所有的像素值进行计算映射，容易放大原始图像中的噪声。同时直方图均衡会使图像的平均亮度保持在像素值的动态范围中间，这会破坏一些场景的整体亮度。"}
{"content": "局部直方图  ", "summary": "一些方法使用局部直方图均衡来避免破坏图像整体的平均亮度，但容易导致一些边界问题，而使得图像出现Checkerboard效应 等伪像。"}
{"content": "传统算法", "summary": "LIME的色彩保持度较好，但是存在过度增强的问题，细节处会有损失。"}
{"content": "传统算法", "summary": "Wang等人提出了一种称为NPE的算法，这种算法可以在增强对比度的同时保持照度的自然性。"}
{"content": "传统算法", "summary": "FU等人提出了一种算法，该算法通过融合最初估计的光照图的多个导数来调整图像亮度，但这种方法往往会牺牲包含丰富纹理区域的真实感。"}
{"content": "传统算法", "summary": "Guo等考虑从最初的结构光照图估计结构光照图。这些方法通常假定图像无噪声和颜色失真，并且不明确考虑退化。"}
{"content": "SID ", "summary": "chen等人提出了一种可以用于处理低照度图像的算法，该算法是基于全卷积网络的端到端训练，可以同时处理噪声和颜色失真。但该算法受限于特定格式的数据集，如果修改网络以接收JPEG格式的数据（这个说法是原文自己说的），性能将会显著下降。"}
{"content": "伽马变换 ", "summary": "伽玛以非线性的方式对每个像素都进行非线性映射，虽然可以提高亮度，尤其是较暗区域的亮度，但是却没有考虑单个像素与其相邻像素之间的关系，因此增强效果往往会失真。"}
{"content": "Retinex", "summary": "Retinex理论的关键假设是图像可以分解为两个分量，即反射和照明。早期的算法包括单尺度的Retinex（SSR）和多尺度的Retinex（MSR），但是其结果通常看起来不自然，并且在某些地方存在过度增强。"}
{"content": "Retinex", "summary": "基于深度学习的算法∑"}
{"content": "基于深度学习的算法", "summary": "shen等人认为多尺度Retinex等价于具有不同高斯卷积核的前馈卷积神经网络，受此启发，他们构建了一个卷积神经网络（MSR网络）来学习低照度图像和正常光照图像之间的端到端映射。ΞWei等人设计了一个深度网络，称为RetinexNet，Retinex-NetΞKindling the Darkness"}
{"content": "传统Retinex算法的限制所在", "summary": "虽然这些算法在特定情况下会有较好的增强效果，但是对于不同场景的低照度图像增强，每个场景都需要进行人工进行精心的参数设计，费时费力，实际应用价值相对较弱。"}
{"content": "传统Retinex算法的限制所在", "summary": "现在大多数基于Retinex的方法都为这种高度不适定分解精心设计了约束和参数，而这些约束和参数在应用于其他场景时可能受到模型容量的限制，从而无法取得良好的效果。"}
{"content": "Retinex-Net", "summary": "在Retinex理论的指导下，我们设计了一个Deep Retinex-Net网络来一起完成反射/照明分解和弱光增强。网络由三个步骤组成：分解、调整和重建。在分解步骤中，Retinex网络通过Decom网络将输入图像分解为R和I。在训练阶段，同时将低光/正常光照图像输入到网络，而在测试阶段，则仅将低照度图像作为输入。在低/正常光图像具有相同反射率和照明平滑度的约束下，Decom网络通过数据驱动的方式，对反射图的分解参数进行学习，使得不同照明图像分解的反射图R保持一致。在调整步骤中，使用Enhance-Net来使照明变亮。Enhance-Net采用了编码-解码网络的总体框架。采用多尺度级联保持当对图像进行亮度调整时，使全局与局部之间保持语义上下文的连贯性。此外，如果需要，通常会将在弱光条件下产生的放大噪声从反射图中去除。然后，在重建阶段，我们将调整后的照明图和反射图通过元素的乘法结合起来，从而得到最终的低照度增强效果图。"}
{"content": "shen等人认为多尺度Retinex等价于具有不同高斯卷积核的前馈卷积神经网络，受此启发，他们构建了一个卷积神经网络（MSR网络）来学习低照度图像和正常光照图像之间的端到端映射。", "summary": "L. Shen, Z. Yue, F. Feng, Q. Chen, S. Liu, and J. Ma, “Msr-net:low-light image enhancement using deep convolutional network,”p. arXiv , 11 2017."}
{"content": "未来的研究方向", "summary": "本文未来的研究方向是：1.增加算法对不同场景的鲁棒性，将算法的应用场景扩展到雾天、雨天等背景中 2.对算法的增强效果进行合理化约束，避免对非低照度区域进行增强，从而导致增强效果过亮的问题。"}
{"content": "未来的研究方向", "summary": "反光部分，也会被放大"}
{"content": "批标准化", "summary": "当前实验实验使用的增强网络包含了6个卷积层，我们在其前5个卷积层的激活层后再加入批标准化层，使得目前的CNN结构由Conv-Relu变为Conv-Relu-BN结构。"}
{"content": "对网络图的描述", "summary": "图中的K表示卷积核的尺寸，K3即表示卷积核尺寸为3x3，Conv表示卷积层，Conv前的数字表示卷积层中卷积核的个数，"}
{"content": "低光照图像与正常光照图像的区别所在", "summary": "低光照图像与自然光照图像之间的主要区别为：图像的亮度和色彩的偏移，而亮度和色度则可以很好地反映出两者之间的差别。"}
{"content": "对颜色的影响", "summary": "在低光照条件下，亮度和色度受到的损耗程度是不同的，亮度通道相比于色度通道受到了更多的全局损耗。"}
{"content": "实验条件及参数设置", "summary": "本实验使用PyTorch 深度学习框架实现网络，在显存为11G的RTX 2080Ti上训练。使用的SID 数据集包含5094个原始的短曝光极低光图像，每个极低光图像均有对应的长曝光参考图像。长曝光参考图像I^{Hgt}高斯滤波 缩小4倍得到低分辨率图像I^{Lgt}，图像宽度W和高度H均为512，每批次输入1张图片。预训练中，转换子网络T-1采用Adam 优化算法，beta1设为0.900，beta2设为0.999，训练总批次为4000，学习率为10^–4，在批次大于2000后，学习率为10^–5。转换子网络T-2采用Adam优化算法，beta1设为0.500，beta2设为0.999，损失函数中λr设为1.000，λp设为0.006，λg设为0.001。训练总批次为2104，学习率为10–4，在104批次后将学习率慢慢衰减至10–6。转换网络T采用Adam优化算法，beta1设为0.500，beta2设为0.999，损失函数中λr设为1.000，λp设为0.006，λg设为0.001。训练总批次为2104，学习率为10^–4，在前100个批次将学习率线性衰减到10^–5，在10^4批次内将学习率线性衰减到10–6，之后再以学习率10–6训练104次。"}
{"content": "实验结果与分析", "summary": "为了评估本方法的性能，与近期已有的几种方法包括多通道融合的方法(BIMEF)、带色彩恢复多尺度Retinex算法(MSRCR)、自然保留增强算法(NPE)、基于光照估计的方法(LIME)、多偏差融合方法(MF)、反射光照估计方法(SRIE)进行比较。本文在两个公共数据集(LIME数据和DICM数据)的低照度图像上对上述方法进行了性能评估。"}
{"content": "结论", "summary": "本文提出了一种面向低照度图像增强的双曝光融合处理算法。首先，利用照度估计技术得到用于图像融合的权重矩阵;然后，通过摄像机响应模型合成双曝光图像。鉴于不同曝光量下图像颜色基本相同，定义低亮度像素和亮度分量找到最佳曝光率，使合成图像在原始图像曝光不足的区域得到更好的曝光;最后，根据权重矩阵将输入图像与合成图像进行融合，得到增强结果。和已有算法相比，本文方法能够获得较小的亮度失真，且具有合理的时间开销。由于实际环境的复杂性，对过度曝光进行优化建模仍是一个充满挑战性的问题，未来将对此展开进一步研究。"}
{"content": "结论", "summary": "本文针对极端低光情况下的图像增强问题，提出一种新的增强模型，引入残差网络和感知损失重构图片的高频信息，更好地还原了图像的细节，得到了更好的视觉效果，在PSNR和SSIM这2个定量指标上也有所提升。"}
{"content": "结论", "summary": "另一方面目前亮度放大倍数为人为输入，未来可以根据极低光图像的信息估算出亮度放大倍数。如何在进一步地提升增强后图像视觉效果的同时提高PSNR和SSIM定量指标的值，以及如何估算光度放大倍数，将是未来研究的方向。"}