Paper Notes #

一些论文阅读笔记

  1. [PDF] Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems
  2. [PDF] Effective Snapshot Compressive-spectral Imaging via Deep Denoising and Total Varia-tion Priors
  3. [Draft] RAFT: Recurrent All-Pairs Field Transforms for Optical Flow
  4. [Draft] PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing

Simple Review #

Vision Transformer for Small-Size Datasets #

  • 提出了一个针对小数据集的Transformer。
  • 主要模块：Shifted Patch Tokenization, Locality Self-Attention。细节没看。

Functional Neural Networks for Parametric Image Restoration Problems #

  • 对于超分，去噪，JPEG Decompression，有不同的parameter（scale factor，noise level等），现有方法针对不同parameter单独训练模型，或不考虑不同parameter的差异，一起训练一个统一的模型。
  • 作者提出学习一个函数，输入paramter，输出针对这个parameter的模型参数。主要用点是不用单独训练每个parameter的模型，而是训练一个函数，输入parameter，输出模型参数。

Variational Image Restoration Network #

  • 用了Generative Model和Variational inference做Image Restoration。太长公式太多，没细看。

Designing a Practical Degradation Model for Deep Blind Image Super-Resolution #

Github

  • 提出了一个超分的Degradation Model用于真实图像超分。
  • 其实就是总结了常见的Blur，Downsample，Noise的种类，然后degradation就是这些的排列组合。

Revisiting RCAN: Improved Training for Image Super-Resolution #

  • 提出了一些训练策略，让RCAN的性能进一步提升。
  • 策略简单说：多GPU大Batch Size，SiLu替换ReLu，训练更长时间，Lamb Optimizer，48*48 patch训练，64*64 finetune，FP16加速训练，不要regularization，先训练x2，然后用x2参数训练x3，以此类推。

Enhancing Low-Light Images in Real World via Cross-Image Disentanglement #

arxiv 2022 | CIDN

  • 不需要配对数据训练的暗光增强网络
  • 核心思想，将一张图分成 content feature 和 brightness feature。使用低光图像的content feature，和正常光图像的brightness feature，然后使用normal-light decoder重构出来。正常光参考图像不必与低光图像对齐。
结构图

Illustration

  • 训练数据是参考图像粗对齐的正常光图，测试数据参考图像可以完全不一样。
  • 几个Loss：（1）低光和正常光的content feature应该类似。(2) 低光的content feature和brightness feature应该能够重构出低光图像。（3）正常光图像没有gt。（4）令光照特征符合正态分布，与结构无关。（5）VGG perceptual loss。

Disentangling Noise from Images: A Flow-Based Image Denoising Neural Network #

arxiv 2021 | Github

  • Invertible Denoising Network: A Light Solution for Real Noise Removal的期刊扩展。

Denoising Normalizing Flow #

NeurIPS 2021

  • 本文并不是用来去噪的Normalizing Flow。类似Denoising Autoencoder。

DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows #

CVPR 2021 | Github | Blog:Normalizing Flow

  • 提出了一个不需要配对数据训练的conditional flow网络用于合成训练数据。
  • 具体做法简介：需要先了解Normalizing Flow。TODO

Invertible Denoising Network: A Light Solution for Real Noise Removal #

Github | Blog:Invertible Network

  • 提出使用Invertible Network做真实噪声去噪。
  • 网络将noisy image编码成low resolution clean image和一个high frequency和noise信息的latent vector。
  • 逆过程把latent vector换成一个从标准正态分布取样的vector，然后逆回去，得到clean image。

问题（比较疑惑的地方）：为什么是随机取样，取出来的latent vector起的作用是什么，不同的vector，恢复出来的clean image不是是不一样的？

AdaDM: Enabling Normalization for Image Super-Resolution #

  • 传统超分网络一般不加Normalization，因为这会使得特征方差变小，对性能有很大影响。
  • 这篇文章文章提出了 Adaptive Deviation Modulator (AdaDM)，可以放大方差，使得Normalization又能加了。并且有性能提升。

IDR: Self-Supervised Image Denoising via Iterative Data Refinement #

Github

  • 提出了一个unsupervised denoising method，不用配对数据训练。
  • 基于在带噪图像上加noise model的合成噪声训练的网络，能够一定程度地对带噪图像降噪。noiser-noisy数据集和noisy-clean的domain gap越小，网络降噪性能越好。
  • 本文提出用noiser-noisy数据集训练一个网络，然后用网络去噪得到更干净的noisy图像，再合成noiser-nosiy数据集。迭代进行训练，不断缩小noiser-noisy数据集和noisy-clean的domain gap。

Rethinking Noise Synthesis and Modeling in Raw Denoising #

Github

  • 物理噪声模型对于真实场景去噪比DNN的好使，但是需要对不同相机，光照条件单独建模或者标定，毕竟麻烦。
  • 本文提出从相机噪声中随机取样作为合成噪声，因此不需要噪声模型，只需要拍摄多张带噪图像作为database即可。
  • 作者将噪声分为信号相关和信号无关的，信号无关采用随机取样，信号相关部分只考虑photo shot noise，从泊松分布采样使用，仍然需要标定。

On Efficient Transformer and Image Pre-training for Low-level Vision #

Github

  • 提出了一个Encoder-Decoder结构的Transformer。比IPT小10倍，只用200k（15.6%的ImageNet）数据预训练。GFLOPS只有SwinIR的8.4%, 38 vs 451。
  • 研究了预训练策略，发现多任务预训练比单任务和单纯增加数据量好。simply increasing the data scale may not be the op- timal option, and in contrast, multi-related-task pre-training is more effective and data-efficient.

TransWeather: Transformer-based Restoration of Images Degraded by Adverse Weather Conditions #

Github

  • Transformer结构，不同任务相同encoder，decoder，但是decoder，把任务类型作为query传进decoder。
Quick Review
Illustration
  • 用多个Encoder，一个Decoder做Image Restoration，具体是Bad Weather Removal。
  • Encoder后面接了一个NAS搜的网络，其他没有特别的设计。Feature Space也没什么约束。在去噪等传统领域效果感觉不一定好，很可能不好。
Quick Review
Illustration

PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing #

Sample Impl ｜ 知乎解读 | 本站 🌟

  • 图像匹配的典中典，基于匹配块周围的匹配也近似匹配的先验知识的随机化算法。
  • 原论文挺好读的，但是建议先看解读有一个insight之后再读。
Quick Review
  1. 随机初始化匹配关系。
  2. 基于正确的匹配关系进行修正，即正确匹配的Patch Pair周围的patch应该是匹配的。
  3. 加入扰动，在修正后匹配的匹配对周围搜索是否有更加匹配的patch。

Illustration of Algorithm

A ConvNet for the 2020s #

Offical Impl

  • CNN的大型Ablation Study，研究各种已有模块和训练技巧的有效性，基于此构建了一个超越现有Transformer的纯CNN模型。

Masked Autoencoders Are Scalable Vision Learners #

Offical Impl

  • 基于Transformer的（高层）视觉预训练模型，只用重构任务。
Calendar May 28, 2023