文章地址

本文贡献:

  1. 发布低光照光场图片数据集:Low-Light Light Field (L3F)。
  2. 提出了一种新的网络 L3Fnet 解决光场图片的低光恢复任务。

Low-Light Light Field Dataset

光场相机没有遥控快门,所以就很原始的固定机位手动按快门拍摄,像素会不可避免的对不齐。

数据集采集方法是:在傍晚同一场景下,使用正常曝光,$1/20$ 的正常曝光,$1/50$ 的正常曝光,$1/100$ 的正常曝光拍摄。

同时,在很低光照条件下,拍摄了一系列图片。由于环境很暗,这些图片的曝光很低,没有 ground-truth。这些图片组成了 L3F-wild 数据集,仅用于测试网络效果。

Pipeline

low-light 的一个关键问题是,如何确定正确的 gain。如果手动指定 gain 的大小,那么对于不同曝光的 low-light 图片可能会出现不一致的问题,有的图片会恢复正常曝光,但有些会欠曝,有些会过曝。因此本文使用了 Histogram Module 来自适应的获得 gain。

Fig 4.

如图 Fig 4. 光场图片计算直方图后,经过几层 FC 后获得 $\gamma$,然后乘上原图。经过网络计算的 gain 能够正确的归一化原图。然后再经过下面的网络:

Fig 3.

如图 Fig 3. 网络分为两部分。

Stage I 将所有 SAIs 放在 channel 维,进行 2D 卷积,获得 Global Representation,帮助接下来的网络进行单张图片的恢复工作。

Stage II 每次对一张图片进行恢复,网络的输入是 Stage I 的输出和要恢复的 SAI 和它上下左右相邻的 SAI。进行 2D 卷积后输出一个恢复后的 SAI。这里对于每张 SAI 的网络,都是权重共享的。

Loss

本文的 loss 比较特别,由于数据集并不是像素级对齐的,所以 loss 设计时加入了 VGG loss。

Loss

第一行是 L1 loss,由于数据集没有像素级对齐,所以前 20k step $\alpha_1$ 设为 5,然后设为 1

第二行是 VGG feature 距离,取了 VGG 的 9,13,18 层,不取第一层,因为太像 L1 了。$\alpha_2 = 0.1$

第三行是权重衰减,防止过拟合,$\lambda = 10^{-6}$

Augmentation

训练时候裁剪每张 SAI 到 $180\times 180$。水平竖直 filp。

并且还 shuffle RGB 通道进行 color augmentation,这个真的没见过……

Experiment

Fig 9.

如图 Fig 9. 由于使用了 Histogram Module 获得了正确的 gain,可以在不同的欠曝条件下,恢复的图片都有一致的表现。而固定 gain 的网络,在不同曝光下会欠曝或过曝。这时 L3F-wild 的图片,没有 GT。

Tab 5.

如 Tab 5. 进行了不同 loss 的消融实验。

Fig 1.

如 Fig 1. 对比原图,直方图均衡化,L3Fnet 处理过的 low-light 图片,以及进行的深度估计。

文章目录