像感域（Raw域）底层视觉重建技术进展

岳焕景; 杨文瀚; 李重仪; 杨铀; 刘文予; 杨敬钰

doi:10.11834/jig.230794

图像重建与视频增强 | 浏览量 : 0 下载量: 1507 CSCD: 0

PDF
导出
分享
收藏
专辑

像感域（Raw域）底层视觉重建技术进展
Advances of low-level vision reconstruction in raw domain
2024年29卷第6期页码：1646-1666
收稿：2024-01-19，

修回：2024-02-29，

纸质出版：2024-06-16
DOI： 10.11834/jig.230794
稿件说明：

移动端阅览

岳焕景，杨文瀚，李重仪，杨铀，刘文予，杨敬钰. 2024. 像感域（Raw域）底层视觉重建技术进展. 中国图象图形学报， 29(06):1646-1666 DOI： 10.11834/jig.230794.

Yue Huanjing， Yang Wenhan， Li Chongyi， Yang You， Liu Wenyu， Yang Jingyu. 2024. Advances of low-level vision reconstruction in raw domain. Journal of Image and Graphics， 29(06):1646-1666 DOI： 10.11834/jig.230794.

摘要

底层视觉重建技术旨在在受限的成像条件下重建高质量图像/视频，对后续视觉处理与呈现具有重要意义。由于像感域数据（raw data）具有高位宽、与感光量成线性响应等特点，近年来基于像感域的视觉重建技术在学术界和工业界获得的关注日益提高。本文聚焦于6种代表性视觉重建任务，包括低光增强与去噪、超分辨率、高动态范围重建、去摩尔纹、多任务联合重建以及数据生成，重点综述了深度学习驱动的像感域视觉重建领域的进展：系统地总结了领域代表性方法，概述各类方法的优势与局限，分析了不同任务中像感域数据相较于颜色域数据（经降噪、去马赛克、白平衡、色调映射和颜色空间转换（如RGB、sRGB等）等处理之后的数据）的独特属性与优势；梳理了各个领域的开源数据集，包括图像数据集、快速连拍数据集以及视频数据集，总结了数据集的构造方法以及配对数据的空间/时间对齐策略，为后续研究的数据集创建提供了参考与指引；总结了现有方法存在的问题与困境，展望了像感域底层视觉重建的发展趋势。

Abstract

The low-level vision reconstruction technology aims to reconstruct high-quality images and videos under limited imaging conditions， which is important for subsequent visual analysis. The images （videos） in the raw domain have two advantageous features： wider bit depth （10， 12， 14 bits） and intensity linear to the irradiance. As a result， raw images contain the most original information and the noise statistics are also simpler than those in standard RGB （sRGB） domain. Therefore， low-level vision reconstruction with raw inputs has achieved an increasing attention from academic and industrial communities in recent years. This review focuses on the low-level vision reconstruction technology in the raw domain and mainly investigates the progress of deep learning-based vision reconstruction. Six representative vision reconstruction tasks in raw domain are selected， namely， low-light enhancement and denoising， super-resolution， high dynamic range （HDR） reconstruction， moiré removal， multi-task joint reconstruction， and raw image generation， for a comprehensive review. Representative methods in the six fields are systematically summarized， the advantages and problems of various methods are outlined， and the advantages and unique attributes of raw images （videos） compared with sRGB images （videos） are highlighted in different tasks. Thereafter， the currently open-source low-level vision reconstruction datasets in raw domain in various fields are summarized， including image， burst image， and video datasets. The dataset construction methods for each task are introduced. Different strategies to solve the key problems in dataset construction， namely， spatial alignment and temporal alignment， are also introduced. We hope these summarization and comparisons can provide references for the followers who construct their own datasets. This review would like to point out that the six tasks not only have unique problems but also have common issues. For example， for denoising and enhancement of videos captured in low light， constructing a supervised dataset with realistic motions and fine-scale textures is still difficult. For multi-frame super-resolution， the key problem is constructing the accurate alignment module. For HDR reconstruction， the deghosting performance still needs to be improved in dark and over-exposed areas. For demoiréing， balancing the performance between color recovery and moiré removal needs to be explored. For multi-task joint reconstruction， improving the adjustability and interpretability of the model is a key problem. Meanwhile， all the six tasks need to recover the correct colors while completing their own tasks. However， they have different optimization directions. Introducing special modules to ensure their similar optimization directions may be a good solution. In addition， achieving accurate alignment between degraded and ground truth images is difficult， and many datasets exhibit misalignment. Then， we review representative industrial applications of raw domain reconstruction， including intelligent image signal processing and night imaging in smartphones， low-light and HDR imaging in security monitoring cameras， and raw domain detection in driverless cars. Finally， based on the existing problems and challenges of raw domain vision reconstruction， we identify four possible development trends for raw domain vision reconstruction. First is exploiting the specific properties of raw images （videos） for a specific task. Current methods usually utilize the advantages of raw data in terms of wider bit depth and linearity to intensity. Only a few works utilize the specialized structures of raw data. For example， the moiré distribution in different channels differs， and the green channel usually has higher intensities than other channels. We expect more works exploring the special properties of raw data in popular denoising and super-resolution tasks. Second is improving the availability of large-scale raw data. Many cameras do not provide the raw outputs due to the large memory cost. Therefore， the current constructed raw domain datasets are usually smaller than those in sRGB domain. A feasible solution is to design the raw image compression method with sRGB image guidance for enabling raw domain decoding with a few meta data. Third is alleviating the data-bias problem. The model trained with the raw data captured with one camera may not work well when dealing with raw images captured with other cameras. Alleviating the data-bias is important for real applications. One feasible solution is to jointly utilize physics- and data-driven models. Fourth is further improving raw reconstruction performance with large models. The scale of data is important to improve the reconstruction quality. One solution is to first train a large model with a large-scale dataset and then distill the large model to a small one. Then， the small model can be deployed in various edge devices. In summary， we expect more works exploring low-level vision reconstruction in raw domain to improve the imaging quality of various vision systems.

关键词

Keywords

references

Abdelhamed A ， Brubaker M and Brown M . 2019 . Noise flow： noise modeling with conditional normalizing flows // Proceedings of 2019 IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE： 3165 - 3173 ［ DOI： 10.1109/ICCV.2019.00326 http://dx.doi.org/10.1109/ICCV.2019.00326 ］

Abdelhamed A ， Lin S and Brown M S . 2018 . A high-quality denoising dataset for smartphone cameras // Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， USA ： IEEE： 1692 - 1700 ［ DOI： 10.1109/CVPR.2018.00182 http://dx.doi.org/10.1109/CVPR.2018.00182 ］

Anaya J and Barbu A . 2018 . RENOIR——A dataset for real low-light image noise reduction . Journal of Visual Communication and Image Representation ， 51 ： 144 - 154 ［ DOI： 10.1016/j.jvcir.2018.01.012 http://dx.doi.org/10.1016/j.jvcir.2018.01.012 ］

Beiker S . 2023 . Next-Generation Sensors for Automated Road Vehicles. No. EPR2023003 . SAE International， USA ［ DOI： 10.4271/EPR2023003 http://dx.doi.org/10.4271/EPR2023003 ］

Bhat G ， Danelljan M ， Van Gool L and Timofte R . 2021a . Deep burst super-resolution // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville， USA ： IEEE： 9209 - 9214 ［ DOI： 10.1109/CVPR46437.2021.00909 http://dx.doi.org/10.1109/CVPR46437.2021.00909 ］

Bhat G ， Danelljan M ， Yu F ， Van Gool L and Timofte R . 2021b . Deep reparametrization of multi-frame super-resolution and denoising // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal， Canada ： IEEE： 2460 - 2470 ［ DOI： 10.1109/ICCV48922.2021.00246 http://dx.doi.org/10.1109/ICCV48922.2021.00246 ］

Brooks T ， Mildenhall B ， Xue T F ， Chen J W ， Sharlet D and Barron J T . 2019 . Unprocessing images for learned raw denoising // Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach， USA ： IEEE： 11028 - 11037 ［ DOI： 10.1109/CVPR.2019.01129 http://dx.doi.org/10.1109/CVPR.2019.01129 ］

Chang K C ， Wang R ， Lin H J ， Liu Y L ， Chen C P ， Chang Y L and Chen H T . 2020 . Learning camera-aware noise models // Proceedings of the 16th European Conference on Computer Vision . Glasgow， UK ： Springer： 343 - 358 ［ DOI： 10.1007/978-3-030-58586-0_21 http://dx.doi.org/10.1007/978-3-030-58586-0_21 ］

Chaudhari P ， Schirrmacher F ， Maier A ， Riess C and Köhler T . 2019 . Merging-ISP： multi-exposure high dynamic range image signal processing // Proceedings of the 43rd DAGM German Conference on Pattern Recognition . Bonn， Germany ： Springer ［ DOI： 10.1007/978-3-030-92659-5_21 http://dx.doi.org/10.1007/978-3-030-92659-5_21 ］

Chen C ， Chen Q F ， Do M and Koltun V . 2019 . Seeing motion in the dark // Proceedings of 2019 IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE： 3184 - 3193 ［ DOI： 10.1109/ICCV.2019.00328 http://dx.doi.org/10.1109/ICCV.2019.00328 ］

Chen C ， Chen Q F ， Xu J and Koltun V . 2018 . Learning to see in the dark // Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， USA ： IEEE： 3291 - 3300 ［ DOI： 10.1109/CVPR.2018.00347 http://dx.doi.org/10.1109/CVPR.2018.00347 ］

Chen G Y ， Chen C F ， Guo S ， Liang Z T ， Wong K Y K and Zhang L . 2021 . HDR video reconstruction： a coarse-to-fine network and a real-world benchmark dataset // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal， Canada ： IEEE： 2502 - 2511 ［ DOI： 10.1109/ICCV48922.2021.00250 http://dx.doi.org/10.1109/ICCV48922.2021.00250 ］

Conde M V ， McDonagh S ， Maggioni M ， Leonardis A and Pérez-Pellitero E . 2022 . Model-based image signal processors via learnable dictionaries // Proceedings of the 36th AAAI Conference on Artificial Intelligence . Virtual ： AAAI： 481 - 489 ［ DOI： 10.1609/aaai.v36i1.19926 http://dx.doi.org/10.1609/aaai.v36i1.19926 ］

Çoğalan U and Akyüz A O . 2020 . Deep joint deinterlacing and denoising for single shot dual-ISO HDR reconstruction . IEEE Transactions on Image Processing ， 29 ： 7511 - 7524 ［ DOI： 10.1109/tip.2020.3004014 http://dx.doi.org/10.1109/tip.2020.3004014 ］

Dai P ， Yu X ， Ma L ， Zhang B H ， Li J ， Li W B ， Shen J J and Qi X J . 2022 . Video demoiréing with relation-based temporal consistency // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， USA ： IEEE： 17622 - 17631 ［ DOI： 10.1109/CVPR52688.2022.01710 http://dx.doi.org/10.1109/CVPR52688.2022.01710 ］

Dai T H ， Wei L ， Cao X L ， Liu J Z ， Jia X ， Leonardis A ， Yan Y L and Yuan S X . 2024 . Wavelet-based network for high dynamic range imaging . Computer Vision and Image Understanding ， 238 ： # 103881 ［ DOI： 10.1016/j.cviu.2023.103881 http://dx.doi.org/10.1016/j.cviu.2023.103881 ］

Dong X B ， Xu W Y ， Miao Z H ， Ma L ， Zhang C ， Yang J W ， Jin Z ， Teoh A B J and Shen J J . 2022 . Abandoning the Bayer-filter to see in the dark // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New Orleans， USA ： 17410 - 17419 ［ DOI： 10.1109/CVPR52688.2022.01691 http://dx.doi.org/10.1109/CVPR52688.2022.01691 ］

Du S L ， Dang H ， Zhao M H and Shi Z H . 2023 . Low-light image enhancement and denoising with internal and external priors . Journal of Image and Graphics ， 28 （ 9 ）： 2844 - 2855

都双丽，党慧，赵明华，石争浩 . 2023 . 结合内外先验知识的低照度图像增强与去噪算法 . 中国图象图形学报， 28 （ 9 ）： 2844 - 2855 ［ DOI： 10.11834/jig.220707 http://dx.doi.org/10.11834/jig.220707 ］

Dudhane A ， Zamir S W ， Khan S ， Khan F S and Yang M H . 2022 . Burst image restoration and enhancement // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， USA ： IEEE： 5759 - 5768 ［ DOI： 10.1109/CVPR52688.2022.00567 http://dx.doi.org/10.1109/CVPR52688.2022.00567 ］

Dudhane A ， Zamir S W ， Khan S ， Khan F S and Yang M H . 2023 . Burstormer： burst image restoration and enhancement Transformer // Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Vancouver， Canada ： IEEE： 5703 - 5712 ［ DOI： 10.1109/CVPR52729.2023.00552 http://dx.doi.org/10.1109/CVPR52729.2023.00552 ］

Fan Z H ， Wu X ， Meng F Q ， Wu Y Q and Zhang F . 2023 . OTST： a two-phase framework for joint denoising and remosaicing in RGBW CFA // Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Vancouver， Canada ： IEEE： 2832 - 2841 ［ DOI： 10.1109/CVPRW59228.2023.00284 http://dx.doi.org/10.1109/CVPRW59228.2023.00284 ］

Feng H S ， Wang L Z ， Wang Y Z ， Fan H Q and Huang H . 2024 . Learnability enhancement for low-light raw image denoising： a data perspective . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 46 （ 1 ）： 370 - 387 ［ DOI： 10.1109/TPAMI.2023.3301502 http://dx.doi.org/10.1109/TPAMI.2023.3301502 ］

Foi A ， Trimeche M ， Katkovnik V and Egiazarian K . 2008 . Practical Poissonian-Gaussian noise modeling and fitting for single-image raw-data . IEEE Transactions on Image Processing ， 17 （ 10 ）： 1737 - 1754 ［ DOI： 10.1109/TIP.2008.2001399 http://dx.doi.org/10.1109/TIP.2008.2001399 ］

Froehlich J ， Grandinetti S ， Eberhardt B ， Walter S ， Schilling A and Brendel H . 2014 . Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays // Proceedings of SPIE 9023 ， Digital Photography X. San Francisco， USA ： SPIE ［ DOI： 10.1117/12.2040003 http://dx.doi.org/10.1117/12.2040003 ］

Fu Y ， Wang Z C ， Zhang T and Zhang J . 2023 . Low-light raw video denoising with a high-quality realistic motion dataset . IEEE Transactions on Multimedia ， 25 ： 8119 - 8131 ［ DOI： 10.1109/TMM.2022.3233247 http://dx.doi.org/10.1109/TMM.2022.3233247 ］

Guo S ， Liang Z T and Zhang L . 2021 . Joint denoising and demosaicking with green channel prior for real-world burst images . IEEE Transactions on Image Processing ， 30 ： 6930 - 6942 ［ DOI： 10.1109/TIP.2021.3100312 http://dx.doi.org/10.1109/TIP.2021.3100312 ］

Hanji P ， Mantiuk R ， Eilertsen G ， Hajisharif S and Unger J . 2022 . Comparison of single image HDR reconstruction methods——the caveats of quality assessment // Proceedings of 2022 ACM SIGGRAPH Conference Proceedings . Vancouver， Canadian ： ACM： #1 ［ DOI： 10.1145/3528233.3530729 http://dx.doi.org/10.1145/3528233.3530729 ］

He B ， Wang C ， Shi B X and Duan L Y . 2020 . FHDe 2 Net： full high definition demoiréing network // Proceedings of the 16th European Conference on European Conference on Computer Vision . Glasgow， UK ： Springer： 713 - 729 ［ DOI： 10.1007/978-3-030-58542-6_43 http://dx.doi.org/10.1007/978-3-030-58542-6_43 ］

Hu J ， Gallo O ， Pulli K and Sun X B . 2013 . HDR Deghosting： how to deal with saturation? // Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition . Portland， USA ： IEEE： 1163 - 1170 ［ DOI： 10.1109/cvpr.2013.154 http://dx.doi.org/10.1109/cvpr.2013.154 ］

Huang H F ， Yang W H ， Hu Y Y ， Liu J Y and Duan L Y . 2022 . Towards low light enhancement with RAW images . IEEE Transactions on Image Processing ， 31 ： 1391 - 1405 ［ DOI： 10.1109/TIP.2022.3140610 http://dx.doi.org/10.1109/TIP.2022.3140610 ］

Jiang H Y and Zheng Y Q . 2019 . Learning to see moving objects in the dark // Proceedings of 2019 IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE： 7323 - 7332 ［ DOI： 10.1109/ICCV.2019.00742 http://dx.doi.org/10.1109/ICCV.2019.00742 ］

Jiang J J ， Cheng H ， Li Z Y ， Liu X M and Wang Z Y . 2023 . Deep learning based video-related super-resolution technique： a survey . Journal of Image and Graphics ， 28 （ 7 ）： 1927 - 1964

江俊君，程豪，李震宇，刘贤明，王中元 . 2023 . 深度学习视频超分辨率技术综述 . 中国图象图形学报， 28 （ 7 ）： 1927 - 1964 ［ DOI： 10.11834/jig.220130 http://dx.doi.org/10.11834/jig.220130 ］

Jiang Y T ， Choi I ， Jiang J and Gu J W . 2021 . HDR video reconstruction with tri-exposure Quad-Bayer sensors ［EB/OL］. ［ 2024-01-19 ］. https://arxiv.org/pdf/2103.10982.pdf https://arxiv.org/pdf/2103.10982.pdf

Jin X ， Han L H ， Li Z ， Guo C L ， Chai Z and Li C Y . 2023a . DNF： decouple and feedback network for seeing in the dark // Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver， Canada ： 18135 - 18144 ［ DOI： 10.1109/CVPR52729.2023.01739 http://dx.doi.org/10.1109/CVPR52729.2023.01739 ］

Jin X ， Xiao J W ， Han L H ， Guo C L ， Zhang R X ， Liu X L and Li C Y . 2023b . Lighting every darkness in two pairs： a calibration-free pipeline for RAW denoising // Proceedings of 2023 IEEE/CVF International Conference on Computer Vision . Paris， France ： IEEE： 13229 - 13238 ［ DOI： 10.1109/ICCV51070.2023.01221 http://dx.doi.org/10.1109/ICCV51070.2023.01221 ］

Joze H R V ， Zharkov I ， Powell K ， Ringler C ， Liang L M ， Roulston A ， Lutz M and Pradeep V . 2020 . ImagePairs： realistic super resolution dataset via beam splitter camera rig // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops . Seattle， USA ： IEEE： 2190 - 2200 ［ DOI： 10.1109/CVPRW50498.2020.00267 http://dx.doi.org/10.1109/CVPRW50498.2020.00267 ］

Kronander J ， Gustavson S ， Bonnet G and Unger J . 2013 . Unified HDR reconstruction from raw CFA data // Proceedings of 2013 IEEE International Conference on Computational Photography （ICCP） . Cambridge， USA ： IEEE： 1 - 9 ［ DOI： 10.1109/iccphot.2013.6528315 http://dx.doi.org/10.1109/iccphot.2013.6528315 ］

Lamba M and Mitra K . 2021 . Restoring extremely dark images in real time // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Nashville， USA ： IEEE： 3486 - 3496 ［ DOI： 10.1109/CVPR46437.2021.00349 http://dx.doi.org/10.1109/CVPR46437.2021.00349 ］

Lecouat B ， Eboli T ， Ponce J and Mairal J . 2022 . High dynamic range and super-resolution from raw image bursts . ACM Transactions on Graphics ， 41 （ 4 ）： # 38 ［ DOI： 10.1145/3528223.3530180 http://dx.doi.org/10.1145/3528223.3530180 ］

Lecouat B ， Ponce J and Mairal J . 2021 . Lucas-Kanade reloaded： end-to-end super-resolution from raw image bursts // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal， Canada ： IEEE： 2350 - 2359 ［ DOI： 10.1109/ICCV48922.2021.00237 http://dx.doi.org/10.1109/ICCV48922.2021.00237 ］

Li Y W ， Zhang K ， Liang J Y ， Cao J Z ， Liu C ， Gong R ， Zhang Y L ， Tang H ， Liu Y ， Demandolx D and Ranjan R . 2023 . LSDIR： a large scale dataset for image restoration // Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW） . Vancouver， Canada ： IEEE： 1775 - 1787 ［ DOI： 10.1109/CVPRW59228.2023.00178 http://dx.doi.org/10.1109/CVPRW59228.2023.00178 ］

Liang Z T ， Guo S ， Gu H ， Zhang H Q and Zhang L . 2020 . A decoupled learning scheme for real-world burst denoising from raw images // Proceedings of the 16th European Conference on Computer Vision . Glasgow， UK ： Springer： 150 - 166 ［ DOI： 10.1007/978-3-030-58595-2_10 http://dx.doi.org/10.1007/978-3-030-58595-2_10 ］

Liu J M ， Wu C H ， Wang Y Z ， Xu Q ， Zhou Y Q ， Huang H B ， Wang C ， Cai S F ， Ding Y F ， Fan H Q and Wang J . 2019 . Learning raw image denoising with Bayer pattern unification and Bayer preserving augmentation // Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops . Long Beach， USA ： IEEE： 2070 - 2077 ［ DOI： 10.1109/CVPRW.2019.00259 http://dx.doi.org/10.1109/CVPRW.2019.00259 ］

Liu L ， Jia X ， Liu J Z and Tian Q . 2020 . Joint demosaicing and denoising with self guidance // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， USA ： IEEE： 2237 - 2246 ［ DOI： 10.1109/CVPR42600.2020.00231 http://dx.doi.org/10.1109/CVPR42600.2020.00231 ］

Liu S Z ， Zhang X D ， Sun L C ， Liang Z T ， Zeng H and Zhang L . 2023 . Joint HDR Denoising and fusion： a real-world mobile HDR image dataset // Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Vancouver， Canada ： IEEE： 13966 - 13975 ［ DOI： 10.1109/CVPR52729.2023.01342 http://dx.doi.org/10.1109/CVPR52729.2023.01342 ］

Liu X H ， Shi K D ， Wang Z and Chen J . 2021 . Exploit camera raw data for video super-resolution via hidden Markov model inference . IEEE Transactions on Image Processing ， 30 ： 2127 - 2140 ［ DOI： 10.1109/TIP.2021.3049974 http://dx.doi.org/10.1109/TIP.2021.3049974 ］

Ma L ， Ma T Y and Liu R S . 2022 . A comprehensive review of low-light image enhancement algorithms . Journal of Image and Graphics ， 27 （ 5 ）： 1392 - 1409

马龙，马腾宇，刘日升 . 2022 . 低光照图像增强算法综述 . 中国图象图形学报， 27 （ 5 ）： 1392 - 1409 ［ DOI： 10.11834/jig.210852 http://dx.doi.org/10.11834/jig.210852 ］

Maggioni M ， Huang Y B ， Li C ， Xiao S ， Fu Z Q and Song F L . 2021 . Efficient multi-stage video denoising with recurrent spatio-temporal fusion // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville， USA ： IEEE： 3465 - 3474 ［ DOI： 10.1109/CVPR46437.2021.00347 http://dx.doi.org/10.1109/CVPR46437.2021.00347 ］

Mehta N ， Dudhane A ， Murala S ， Zamir S W ， Khan S and Khan F S . 2023 . Gated multi-resolution transfer network for burst restoration and enhancement // Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Vancouver， Canada ： IEEE： 22201 - 22210 ［ DOI： 10.1109/CVPR52729.2023.02126 http://dx.doi.org/10.1109/CVPR52729.2023.02126 ］

Plotz T ， Roth S . 2017 . Benchmarking denoising algorithms with real photographs // Proceedings of 2017 IEEE conference on computer vision and pattern recognition . Honolulu， USA ： IEEE： 1586 - 1595 ［ DOI： 10.1109/cvpr.2017.294 http://dx.doi.org/10.1109/cvpr.2017.294 ］

Qian G C ， Wang Y H ， Gu J J ， Dong C ， Heidrich W ， Ghanem B and Ren J S . 2022 . Rethinking learning-based demosaicing ， denoising， and super-resolution pipeline// Proceedings of 2022 IEEE International Conference on Computational Photography （ICCP） . Pasadena， USA ： IEEE： 1 - 12 ［ DOI： 10.1109/ICCP54855.2022.9887682 http://dx.doi.org/10.1109/ICCP54855.2022.9887682 ］

Sun Y J ， Yu Y Z and Wang W P . 2018 . Moiré photo restoration using multiresolution convolutional neural networks . IEEE Transactions on Image Processing ， 27 （ 8 ）： 4160 - 4172 ［ DOI： 10.1109/TIP.2018.2834737 http://dx.doi.org/10.1109/TIP.2018.2834737 ］

Tang C Z ， Yang Y Q ， Zeng B ， Tan P and Liu S C . 2022 . Learning to zoom inside camera imaging pipeline // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， USA ： IEEE： 17531 - 17540 ［ DOI： 10.1109/CVPR52688.2022.01703 http://dx.doi.org/10.1109/CVPR52688.2022.01703 ］

Tang L F ， Huang H ， Zhang Y F and Li F . 2022 . Spatial aware channel attention guided high dynamic image reconstruction . Journal of Image and Graphics ， 27 （ 12 ）： 3581 - 3595

唐凌峰，黄欢，张亚飞，李凡 . 2022 . 空间感知通道注意力引导的高动态图像重建 . 中国图象图形学报， 27 （ 12 ）： 3581 - 3595 ［ DOI： 10.11834/jig.211039 http://dx.doi.org/10.11834/jig.211039 ］

Tseng E ， Yu F L ， Yang Y T ， Mannan F ， Arnaud K S T ， Nowrouzezahrai D ， Lalonde J F and Heide F . 2019 . Hyperparameter optimization in black-box image processing using differentiable proxies . ACM Transactions on Graphics ， 38 （ 4 ）： # 27 ［ DOI： 10.1145/3306346.3322996 http://dx.doi.org/10.1145/3306346.3322996 ］

Unger J ， Hajisharif S and Kronander J . 2016 . Unified reconstruction of RAW HDR video data //Dufaux F， Le CalletP， Mantiuk R K， Mrak M， eds. High Dynamic Range Video： From Acquisition to Display and Applications . Amsterdam ： Academic Press： 63 - 83 ［ DOI： 10.1016/b978-0-08-100412-8.00002-4 http://dx.doi.org/10.1016/b978-0-08-100412-8.00002-4 ］

Wang R X ， Xu X G ， Fu C W ， Lu J B ， Yu B and Jia J Y . 2021 . Seeing dynamic scene in the dark： a high-quality video dataset with mechatronic alignment // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal， Canada ： IEEE： 9680 - 9689 ［ DOI： 10.1109/ICCV48922.2021.00956 http://dx.doi.org/10.1109/ICCV48922.2021.00956 ］

Wang X T ， Chan K C K ， Yu K ， Dong C and Loy C C . 2019 . EDVR： video restoration with enhanced deformable convolutional networks // Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops . Long Beach， USA ： IEEE： 1954 - 1963 ［ DOI： 10.1109/cvprw.2019.00247 http://dx.doi.org/10.1109/cvprw.2019.00247 ］

Wang Y F ， Yu Y ， Yang W H ， Guo L Q ， Chau L P ， Kot A C and Wen B H . 2023 . Raw image reconstruction with learned compact metadata // Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Vancouver， Canada ： IEEE： 18206 - 18215 ［ DOI： 10.1109/CVPR52729.2023.01746 http://dx.doi.org/10.1109/CVPR52729.2023.01746 ］

Wang Y Z ， Huang H B ， Xu Q ， Liu J M ， Liu Y Q and Wang J . 2020 . Practical deep raw image denoising on mobile devices // Proceedings of the 16th European Conference on Computer Vision . Glasgow， UK ： Springer： 1 - 16 ［ DOI： 10.1007/978-3-030-58539-6_1 http://dx.doi.org/10.1007/978-3-030-58539-6_1 ］

Wei K X ， Fu Y ， Yang J L and Huang H . 2020 . A physics-based noise formation model for extreme low-light raw denoising // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Virtual Conference ： IEEE： 2758 - 2767 ［ DOI： 10.1109/cvpr42600.2020.00283 http://dx.doi.org/10.1109/cvpr42600.2020.00283 ］

Wei K X ， Fu Y ， Zheng Y Q and Yang J L . 2022 . Physics-based noise modeling for extreme low-light photography . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 44 （ 11 ）： 8520 - 8537 ［ DOI： 10.1109/TPAMI.2021.3103114 http://dx.doi.org/10.1109/TPAMI.2021.3103114 ］

Wei L Y and Sun B Y . 2022 . The review of demosaicing methods for Bayer color filter array image . Journal of Image and Graphics ， 27 （ 9 ）： 2683 - 2696

魏凌云，孙帮勇 . 2022 . Bayer阵列图像去马赛克算法综述 . 中国图象图形学报， 27 （ 9 ）： 2683 - 2696 ［ DOI： 10.11834/jig.211059 http://dx.doi.org/10.11834/jig.211059 ］

Wei P X ， Sun Y J ， Guo X B ， Liu C ， Li G B ， Chen J ， Ji X Y and Lin L . 2023 . Towards real-world burst image super-resolution： benchmark and method // Proceedings of 2023 IEEE/CVF International Conference on Computer Vision . Paris， France ： IEEE： 13187 - 13196 ［ DOI： 10.1109/ICCV51070.2023.01217 http://dx.doi.org/10.1109/ICCV51070.2023.01217 ］

Xing Y Z ， Qian Z A and Chen Q F . 2021 . Invertible image signal processing // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville， USA ： IEEE： 6283 - 6292 ［ DOI： 10.1109/CVPR46437.2021.00622 http://dx.doi.org/10.1109/CVPR46437.2021.00622 ］

Xu K ， Yang X ， Yin B C and Lau R W H . 2020a . Learning to restore low-light images via decomposition-and-enhancement // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . Seattle， USA ： IEEE： 2278 - 2287 ［ DOI： 10.1109/CVPR42600.2020.00235 http://dx.doi.org/10.1109/CVPR42600.2020.00235 ］

Xu S N ， Song B B ， Chen X Y and Zhou J T . 2023b . Image demoireing in RAW and sRGB domains ［EB/OL］. ［ 2024-01-19 ］. https://arxiv.org/pdf/2312.09063.pdf https://arxiv.org/pdf/2312.09063.pdf

Xu X ， Ye Y F and Li X . 2020b . Joint demosaicing and super-resolution （JDSR）： network design and perceptual optimization . IEEE Transactions on Computational Imaging ， 6 ： 968 - 980 ［ DOI： 10.1109/TCI.2020.2999819 http://dx.doi.org/10.1109/TCI.2020.2999819 ］

Xu X Y ， Ma Y R and Sun W X . 2019 . Towards real scene super-resolution with raw images // Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach， USA ： IEEE： 1723 - 1731 ［ DOI： 10.1109/CVPR.2019.00182 http://dx.doi.org/10.1109/CVPR.2019.00182 ］

Yuan S X ， Timofte R ， Leonardis A ， Slabaugh G ， Luo X T ， Zhang J T ， Qu Y Y ， Hong M ， Xie Y ， Li C H ， Xu D J ， Chu Y H ， Sun Q Y ， Liu S ， Zong Z Y ， Nan N ， Li C H ， Kim S ， Nam H ， Kim J ， Jeong J ， Cheon M ， Yoon S J ， Kang B ， Lee J ， Zheng B L ， Liu X H ， Dai L H ， Chen J ， Cheng X ， Fu Z Y ， Yang J ， Lee C ， Vien A G ， Park H ， Nathan S ， Beham M P ， Roomi S M M ， Lemarchand F ， Pelcat M ， Nogues E ， Puthussery D ， Hrishikesh P S ， Jiji C V ， Sinha A and Zhao X . 2020 . NTIRE 2020 challenge on image demoiréing： methods and results // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW） . Seattle， USA ： IEEE： 1882 - 1893 ［ DOI： 10.1109/CVPRW50498.2020.00238 http://dx.doi.org/10.1109/CVPRW50498.2020.00238 ］

Yuan S X ， Timofte R ， Slabaugh G ， Leonardis A ， Zheng B L ， Ye X ， Tian X ， Chen Y W ， Cheng X ， Fu Z Y ， Yang J ， Hong M ， Lin W Y ， Yang W J ， Qu Y Y ， Shin H K ， Kim J Y ， Ko S J ， Dong H ， Guo Y ， Wang J ， Ding X ， Han Z Y ， Das S D ， Purohit K ， Kandula P ， Suin M and Rajagopalan A N . 2019 . AIM 2019 challenge on image demoiréing： methods and results // Proceedings of 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW） . Seoul， Korea （South）： IEEE： 3534 - 3545 ［ DOI： 10.1109/ICCVW.2019.00438 http://dx.doi.org/10.1109/ICCVW.2019.00438 ］

Yue H J ， Cao C ， Liao L ， Chu R H and Yang J Y . 2020 . Supervised raw video denoising with a benchmark dataset on dynamic scenes // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， USA ： IEEE： 2298 - 2307 ［ DOI： 10.1109/CVPR42600.2020.00237 http://dx.doi.org/10.1109/CVPR42600.2020.00237 ］

Yue H J ， Cheng Y J ， Liu X and Yang J Y . 2023a . Recaptured Raw Screen Image and Video Demoiréing via Channel and Spatial Modulations // Proceedings of the 37th Conference on Neural Information Processing Systems . New Orleans， USA ： NeurIPS： 1 - 12

Yue H J ， Cheng Y J ， Mao Y ， Cao C and Yang J Y . 2023b . Recaptured screen image demoiréing in raw domain . IEEE Transactions on Multimedia ， 25 ： 5589 - 5600 ［ DOI： 10.1109/TMM.2022.3198333 http://dx.doi.org/10.1109/TMM.2022.3198333 ］

Yue H J ， Mao Y ， Liang L P ， Xu H T ， Hou C P and Yang J Y . 2021 . Recaptured screen image demoiréing . IEEE Transactions on Circuits and Systems for Video Technology ， 31 （ 1 ）： 49 - 60 ［ DOI： 10.1109/TCSVT.2020.2969984 http://dx.doi.org/10.1109/TCSVT.2020.2969984 ］

Yue H J ， Peng Y B ， Yu B T ， Yin X W ， Zhou Z Y and Yang J Y . 2023c . HDR video reconstruction with a large dynamic dataset in raw and sRGB domains ［EB/OL］. ［ 2024-01-19 ］. https://arxiv.org/pdf/2304.04773.pdf https://arxiv.org/pdf/2304.04773.pdf

Yue H J ， Zhang Z M and Yang J Y . 2022 . Real-RawVSR： real-world raw video super-resolution with a benchmark dataset // Proceedings of the 17th European Conference on Computer Vision . Tel Aviv， Israel ： Springer： 608 - 624 ［ DOI： 10.1007/978-3-031-20068-7_35 http://dx.doi.org/10.1007/978-3-031-20068-7_35 ］

Zamir S W ， Arora A ， Khan S ， Hayat M ， Khan F S ， Yang M H and Shao L . 2020 . CycleISP： real image restoration via improved data synthesis // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， USA ： IEEE： 2693 - 2702 ［ DOI： 10.1109/CVPR42600.2020.00277 http://dx.doi.org/10.1109/CVPR42600.2020.00277 ］

Zamir S W ， Arora A ， Khan S ， Khan F S and Shao L . 2021 . Learning digital camera pipeline for extreme low-light imaging . Neurocomputing ， 452 ： 37 - 47 ［ DOI： 10.1016/j.neucom.2021.04.076 http://dx.doi.org/10.1016/j.neucom.2021.04.076 ］

Zhang F ， Xu B ， Li Z Q ， Liu X R ， Lu Q B ， Gao C X and Sang N . 2023 . Towards General Low-Light Raw Noise Synthesis and Modeling // Proceedings of 2023 IEEE/CVF International Conference on Computer Vision . Paris， France ： IEEE： 10820 - 10830 ［ DOI： 10.1109/ICCV51070.2023.00993 http://dx.doi.org/10.1109/ICCV51070.2023.00993 ］

Zhang X E ， Chen Q F ， Ng R and Koltun V . 2019 . Zoom to learn， learn to zoom // Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach， USA ： IEEE： 3762 - 3770 ［ DOI： 10.1109/CVPR.2019.00388 http://dx.doi.org/10.1109/CVPR.2019.00388 ］

Zhang Y ， Li D S ， Law K L ， Wang X G ， Qin H W and Li H S . 2022 . IDR： self-supervised image denoising via iterative data refinement // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， USA ： IEEE： 2088 - 2097 ［ DOI： 10.1109/CVPR52688.2022.00214 http://dx.doi.org/10.1109/CVPR52688.2022.00214 ］

Zhang Y ， Qin H W ， Wang X G ， Li H S . 2021 . Rethinking noise synthesis and modeling in raw denoising // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision ， Virtual ： IEEE： 4593 - 4601 ［ DOI： 10.1109/iccv48922.2021.00455 http://dx.doi.org/10.1109/iccv48922.2021.00455 ］

Zou Y H and Fu Y . 2022 . Estimating fine-grained noise model via contrastive learning // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， USA ： IEEE： 12672 - 12681 ［ DOI： 10.1109/CVPR52688.2022.01235 http://dx.doi.org/10.1109/CVPR52688.2022.01235 ］

Zou Y H ， Yan C G and Fu Y . 2023 . RawHDR： high dynamic range image reconstruction from a single raw image // Proceedings of 2023 IEEE/CVF International Conference on Computer Vision . Paris， France ： IEEE： 12300 - 12310 ［ DOI： 10.1109/ICCV51070.2023.01133 http://dx.doi.org/10.1109/ICCV51070.2023.01133 ］

文章被引用时，请邮件提醒。

提交

暂无数据