深度学习点云质量增强方法综述

陈建文; 赵丽丽; 任蓝草; 孙卓群; 张新峰; 马思伟

doi:10.11834/jig.221076

综述 | 浏览量 : 0 下载量: 2645 CSCD: 0

PDF
导出
分享
收藏
专辑

深度学习点云质量增强方法综述
Deep learning-based quality enhancement for 3D point clouds： a survey
2023年28卷第11期页码：3295-3319
收稿：2022-11-11，

修回：2023-02-02，

纸质出版：2023-11-16
DOI： 10.11834/jig.221076
稿件说明：

移动端阅览

陈建文，赵丽丽，任蓝草，孙卓群，张新峰，马思伟. 2023. 深度学习点云质量增强方法综述. 中国图象图形学报， 28(11):3295-3319 DOI： 10.11834/jig.221076.

Chen Jianwen， Zhao Lili， Ren Lancao， Sun Zhuoqun， Zhang Xinfeng， Ma Siwei. 2023. Deep learning-based quality enhancement for 3D point clouds： a survey. Journal of Image and Graphics， 28(11):3295-3319 DOI： 10.11834/jig.221076.

摘要

随着三维探测技术的发展，点云逐渐成为最常用的三维物体/场景表征数据类型之一，广泛应用于自动驾驶、增强现实及虚拟现实等领域。然而，受限于硬件设备、采集环境以及遮挡等因素，采集的原始点云通常是不完整、稀疏、嘈杂的，为点云的处理和分析带来了巨大挑战。在此背景下，点云质量增强技术旨在对原始点云进行处理以获得结构完整、密集且接近无噪的点云，具有重要意义。本文对现阶段深度学习点云质量增强方法进行了系统综述，为后续研究者提供研究基础。首先，简要介绍了点云数据处理中通用的关键技术；分别介绍了补全、上采样和去噪3类点云质量增强方法，并对3类方法中的现有算法进行了分类、梳理及总结。其中，点云补全与点云去噪算法均可根据是否采用编码器—解码器结构分为两大类，点云上采样算法可根据网络主要结构分为基于卷积神经网络的方法、基于生成对抗网络的方法和基于图卷积神经网络的方法。其次，总结了质量增强任务中常用的数据集与评价指标，并分别对比分析了现阶段点云补全、上采样和去噪中主流算法的性能。最后，通过系统的梳理，凝练出点云质量增强方向所面临的挑战，并对未来的研究趋势进行了展望。此外，本文汇总了涉及的文献及其开源代码，详见链接

https://github.com/LilydotEE/Point_cloud_quality_enhancement

。

Abstract

With the development of 3D detection technologies， point clouds have gradually become one of the most common data representations of 3D objects or scenes that are widely used in many applications， such as autonomous driving， augmented reality （AR）， and virtual reality （VR）. However， due to limitations in hardware， environment， and occlusion， the acquired point clouds are usually sparse， noisy， and uneven， hence imposing great challenges to the processing and analysis of point clouds. Therefore， point cloud quality enhancement techniques， which aim to process the original point cloud to obtain a dense， clean， and structurally complete point cloud， are of great significance. In recent years， with the development of hardware and machine learning technologies， deep-learning-based point cloud quality enhancement methods， which have great potential to extract the features of point clouds， have attracted the attention of scholars at home and abroad. Related works mainly focus on point cloud completion， point cloud upsampling （also known as super-resolution）， and point cloud denoising. Point cloud completion fills the incomplete point clouds to restore the complete point cloud information， while point cloud upsampling increases the point number of the original point cloud to obtain a denser point cloud， and point cloud denoising removes the noisy points in the point cloud to obtain a cleaner point cloud. This paper systematically reviews the existing point cloud quality enhancement methods based on deep learning to offer a basis for subsequent research. First， this study briefly introduces the fundamentals and key technologies that are widely used in point cloud analysis. Second， three types of point cloud quality enhancement technologies， namely， upsampling， completion， and denoising， are introduced， classified， and summarized. According to the types of input data， point cloud completion methods can be divided into voxel- and point-based algorithms， with the latter being further sub-divided into two types depending on whether the encoder-decoder structure is exploited or not. The encoder-decoder-structure-based algorithms can be further divided according to whether the generative adversarial network （GAN） structure is used. Point cloud upsampling methods can be classified into convolutional neural network （CNN）-based algorithms， GAN-based algorithms， and graph convolutional network （GCN）-based algorithms. Point cloud denoising methods can also be divided into two types based on whether the encoder-decoder structure is exploited or not. Third， the commonly used datasets and evaluation metrics in point cloud quality enhancement tasks are summarized. The performance evaluation metrics for geometry reconstruction mainly include chamfer distance， earth mover’s distance， Hausdorff distance， and point-to-surface distance. This paper then compares the state-of-the-art algorithms of point cloud completion and upsampling on common datasets and identifies the reasons for the differences in their performance. The recent progress and challenges in the field are then summarized， and future research trends are proposed. The findings are summarized as follows： 1） the point cloud features extracted by existing deep learning-based algorithms are highly global， which means that the local features related to the detailed structure cannot be captured well， thus resulting in poor detail reconstruction. Traditional geometric algorithms are known to effectively represent data features based on geometric information. Therefore， how to combine geometric algorithms with deep learning for point cloud quality enhancement is worth exploring. 2） Most algorithms are for dense point clouds of single objects， and only a few studies have focused on sparse LiDAR point clouds containing large-scale outdoor scenes. 3） Most of the related studies only consider the point cloud processing of a single frame and ignore the temporal correlation of point cloud sequences. Therefore， how to utilize the spatial-temporal correlation to improve quality enhancement performance warrants further investigation. 4） In existing methods， the proposed network models are often complex and the inference speed is relatively slow， which fail to meet the real-time requirements of several applications. Therefore， how to further reduce the scale of the model parameters and improve the inference speed is a research direction worth exploring. 5） Most of the existing methods only process the geometric information （3D coordinates） of point clouds and ignore the attribute information （e.g.， color and intensity）. Therefore， how to simultaneously enhance the quality of geometric and attribute information needs to be explored. Project page：

https://github.com/LilydotEE/Point_cloud_quality_enhancement

关键词

Keywords

references

Alexa M ， Behr J ， Cohen-Or D ， Fleishman S ， Levin D and Silva C T . 2003 . Computing and rendering point set surfaces . IEEE Transactions on Visualization and Computer Graphics ， 9 （ 1 ）： 3 - 15 ［ DOI： 10.1109/TVCG.2003.1175093 http://dx.doi.org/10.1109/TVCG.2003.1175093 ］

Bai Y C ， Wang X G ， Ang M H Jr and Rus D . 2022 . BIMS-PU： bi-directional and multi-scale point cloud upsampling . IEEE Robotics and Automation Letters ， 7 （ 3 ）： 7447 - 7454 ［ DOI： 10.1109/LRA.2022.3183932 http://dx.doi.org/10.1109/LRA.2022.3183932 ］

Bao R ， Ren Y R ， Li G ， Gao W and Liu S . 2022 . Flow-based point cloud completion network with adversarial refinement // Proceedings of 2022 IEEE International Conference on Acoustics， Speech and Signal Processing . Singapore， Singapore ： IEEE： 2559 - 2563 ［ DOI： 10.1109/ICASSP43922.2022.9747024 http://dx.doi.org/10.1109/ICASSP43922.2022.9747024 ］

Berger M ， Levine J A ， Nonato L G ， Taubin G and Silva C T . 2013 . A benchmark for surface reconstruction . ACM Transactions on Graphics ， 32 （ 2 ）： # 20 ［ DOI： 10.1145/2451236.2451246 http://dx.doi.org/10.1145/2451236.2451246 ］

Caesar H ， Bankiti V ， Lang A H ， Vora S ， Liong V E ， Xu Q ， Krishnan A ， Pan Y ， Baldan G and Beijbom O . 2020 . nuScenes： a multimodal dataset for autonomous driving // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， USA ： IEEE： 11618 - 11628 ［ DOI： 10.1109/CVPR42600.2020.01164 http://dx.doi.org/10.1109/CVPR42600.2020.01164 ］

Cai Y J ， Lin K Y ， Zhang C ， Wang Q ， Wang X G and Li H S . 2022 . Learning a structured latent space for unsupervised point cloud completion // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， USA ： IEEE： 5533 - 5543 ［ DOI： 10.1109/CVPR52688.2022.00546 http://dx.doi.org/10.1109/CVPR52688.2022.00546 ］

Casajus P H ， Ritschel T and Ropinski T . 2019 . Total denoising： unsupervised learning of 3D point cloud cleaning // Proceedings of 2019 IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE： 52 - 60 ［ DOI： 10.1109/ICCV.2019.00014 http://dx.doi.org/10.1109/ICCV.2019.00014 ］

Chang A X ， Funkhouser T ， Guibas L ， Hanrahan P ， Huang Q X ， Li Z M ， Savarese S ， Savva M ， Song S R ， Su H ， Xiao J X ， Yi L and Yu F . 2015 . ShapeNet： an information-rich 3D model repository ［EB/OL］. ［ 2022-11-11 ］. https://arxiv.org/pdf/1512.03012.pdf https://arxiv.org/pdf/1512.03012.pdf

Chang Y K ， Jung C and Xu Y Q . 2021 . FinerPCN： high fidelity point cloud completion network using pointwise convolution . Neurocomputing ， 460 ： 266 - 276 ［ DOI： 10.1016/j.neucom.2021.06.080 http://dx.doi.org/10.1016/j.neucom.2021.06.080 ］

Chen H H ， Wei Z Y ， Li X Z ， Xu Y B ， Wei M Q and Wang J . 2022a . RePCD-Net： feature-aware recurrent point cloud denoising network . International Journal of Computer Vision ， 130 （ 3 ）： 615 - 629 ［ DOI： 10.1007/s11263-021-01564-7 http://dx.doi.org/10.1007/s11263-021-01564-7 ］

Chen H L ， Du B A ， Luo S T and Hu W . 2023a . Deep point set resampling via gradient fields . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 45 （ 3 ）： 2913 - 2930 ［ DOI： 10.1109/TPAMI.2022.3175183 http://dx.doi.org/10.1109/TPAMI.2022.3175183 ］

Chen T Y ， Hsiao C C and Huang C C . 2023b . Density-imbalance-eased LiDAR point cloud upsampling via feature consistency learning . IEEE Transactions on Intelligent Vehicles ， 8 （ 4 ）： 2875 - 2887 ［ DOI： 10.1109/TIV.2022.3162672 http://dx.doi.org/10.1109/TIV.2022.3162672 ］

Chen X L ， Chen B Q and Mitra N J . 2020 . Unpaired point cloud completion on real scans using adversarial training // Proceedings of 2019 International Conference on Learning Representation . New Orleans， USA ： OpenReview.net

Chen X ， Li Y J and Li Y . 2022b . Multi-feature fusion point cloud completion network . World Wide Web ， 25 （ 4 ）： 1551 - 1564 ［ DOI： 10.1007/s11280-021-00938-8 http://dx.doi.org/10.1007/s11280-021-00938-8 ］

Cheng M ， Li G Y ， Chen Y P ， Chen J ， Wang C and Li J . 2021 . Dense point cloud completion based on generative adversarial network . IEEE Transactions on Geoscience and Remote Sensing ， 60 ： 1 - 10 ［ DOI： 10.1109/TGRS.2021.3105551 http://dx.doi.org/10.1109/TGRS.2021.3105551 ］

Dai A ， Qi C R and Nießner M . 2017 . Shape completion using 3D-encoder-predictor CNNs and shape synthesis // Proceedings of 2017 IEEE Conference on Computer vision and Pattern Recognition . Honolulu， USA ： IEEE： 6545 - 6554 ［ DOI： 10.1109/CVPR.2017.693 http://dx.doi.org/10.1109/CVPR.2017.693 ］

Dosovitskiy A ， Ros G ， Codevilla F ， Lopez A and Koltun V . 2017 . CARLA： an open urban driving simulator // Proceedings of the 1st Annual Conference on Robot Learning . Mountain View， USA ： PMLR： 1 - 16

Duan C J ， Chen S H and Kovacevic J . 2019 . 3D point cloud denoising via deep neural network based local surface estimation // Proceedings of 2019 IEEE International Conference on Acoustics， Speech and Signal Processing . Brighton， UK ： IEEE： 8553 - 8557 ［ DOI： 10.1109/ICASSP.2019.8682812 http://dx.doi.org/10.1109/ICASSP.2019.8682812 ］

Fan H Q ， Su H and Guibas L . 2017 . A point set generation network for 3D object reconstruction from a single image // Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， USA ： IEEE： 2463 - 2471 ［ DOI： 10.1109/CVPR.2017.264 http://dx.doi.org/10.1109/CVPR.2017.264 ］

Feng W Q ， Li J ， Cai H R ， Luo X N and Zhang J Y . 2022 . Neural points： point cloud representation with neural fields for arbitrary upsampling // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， USA ： IEEE： 18612 - 18621 ［ DOI： 10.1109/CVPR52688.2022.01808 http://dx.doi.org/10.1109/CVPR52688.2022.01808 ］

Gao R ， Li M Y ， Yang S J and Cho K . 2022 . Reflective noise filtering of large-scale point cloud using Transformer . Remote Sensing ， 14 （ 3 ）： # 577 ［ DOI： 10.3390/rs14030577 http://dx.doi.org/10.3390/rs14030577 ］

Geiger A ， Lenz P ， Stiller C and Urtasun R . 2013 . Vision meets robotics： the KITTI dataset . The International Journal of Robotics Research ， 32 （ 11 ）： 1231 - 1237 ［ DOI： 10.1177/0278364913491297 http://dx.doi.org/10.1177/0278364913491297 ］

Guerrero P ， Kleiman Y ， Ovsjanikov M and Mitra N J . 2018 . PCPNET learning local shape properties from raw point clouds . Computer Graphics Forum ， 37 （ 2 ）： 75 - 85 ［ DOI： 10.1111/cgf.13343 http://dx.doi.org/10.1111/cgf.13343 ］

Han X G ， Li Z ， Huang H B ， Kalogerakis E and Yu Y Z . 2017 . High-resolution shape completion using deep neural networks for global structure and local geometry inference // Proceedings of 2017 IEEE International Conference on Computer Vision . Venice， Italy ： IEEE： 85 - 93 ［ DOI： 10.1109/ICCV.2017.19 http://dx.doi.org/10.1109/ICCV.2017.19 ］

Hermosilla P ， Ritschel T ， V􀅡zquez P P ， Vinacua À and Ropinski T . 2018 . Monte carlo convolution for learning on non-uniformly sampled point clouds . ACM Transactions on Graphics ， 37 （ 6 ）： # 235 ［ DOI： 10.1145/3272127.3275110 http://dx.doi.org/10.1145/3272127.3275110 ］

Huang H ， Wu S H ， Gong M L ， Cohen-Or D ， Ascher U and Zhang H . 2013 . Edge-aware point set resampling . ACM Transactions on Graphics ， 32 （ 1 ）： # 9 ［ DOI： 10.1145/2421636.2421645 http://dx.doi.org/10.1145/2421636.2421645 ］

Huang T X ， Zou H ， Cui J H ， Yang X M ， Wang M M ， Zhao X R ， Zhang J N ， Yuan Y ， Xu Y F and Liu Y . 2021 . RFNet： recurrent forward network for dense point cloud completion // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal， Canada ： IEEE： 12488 - 12497 ［ DOI： 10.1109/ICCV48922.2021.01228 http://dx.doi.org/10.1109/ICCV48922.2021.01228 ］

Huang Z T ， Yu Y K ， Xu J W ， Ni F and Le X Y . 2020 . PF-Net： point fractal network for 3D point cloud completion // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， USA ： IEEE： 7659 - 7667 ［ DOI： 10.1109/CVPR42600.2020.00768 http://dx.doi.org/10.1109/CVPR42600.2020.00768 ］

Li G H ， Müller M ， Thabet A and Ghanem B . 2019a . DeepGCNs： can GCNs go as deep as CNNs? // Proceedings of 2019 IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE： 9266 - 9275 ［ DOI： 10.1109/ICCV.2019.00936 http://dx.doi.org/10.1109/ICCV.2019.00936 ］

Li R H ， Li X Z ， Fu C W ， Cohen-Or D and Heng P A . 2019b . PU-GAN： a point cloud upsampling adversarial network // Proceedings of 2019 IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE： 7202 - 7211 ［ DOI： 10.1109/ICCV.2019.00730 http://dx.doi.org/10.1109/ICCV.2019.00730 ］

Li R H ， Li X Z ， Heng P A and Fu C W . 2021 . Point cloud upsampling via disentangled refinement // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville， USA ： IEEE： 344 - 353 ［ DOI： 10.1109/CVPR46437.2021.00041 http://dx.doi.org/10.1109/CVPR46437.2021.00041 ］

Li Z Z ， Li G ， Li T H ， Liu S and Gao W . 2022 . Semantic point cloud upsampling . IEEE Transactions on Multimedia ： # 1 ［ DOI： 10.1109/tmm.2022.3160604 http://dx.doi.org/10.1109/tmm.2022.3160604 ］

Lian Z H ， Zhang J ， Choi S ， ElNaghy H ， El-Sana J ， Furuya T ， Giachetti A ， Guler R A ， Lai L ， Li C Y ， Li H S ， Limberger F A ， Martin R R ， Nakanishi R U ， Neto A P ， Nonato L G ， Ohbuchi R ， Pevzner K ， Pickup D ， Rosin P L ， Sharf A ， Sun L ， Sun X F ， Tari S ， Ünal G and Wilson R C . 2015 . Non-rigid 3D shape retrieval // Proceedings of 2015 Eurographics Workshop on 3D Object Retrieval . Zurich， Switzerland ： Eurographics Association： 107 - 120

Lin J J ， Rickert M ， Perzylo A and Knoll A . 2021 . PCTMA-Net： point cloud Transformer with morphing atlas-based point generation network for dense point cloud completion // Proceedings of 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems . Prague， Czech Republic ： IEEE： 5657 - 5663 ［ DOI： 10.1109/IROS51168.2021.9636483 http://dx.doi.org/10.1109/IROS51168.2021.9636483 ］

Liu H ， Yuan H ， Hamzaoui R ， Gao W and Li S . 2022a . PU-Refiner： a geometry refiner with adversarial learning for point cloud upsampling // Proceedings of 2022 IEEE International Conference on Acoustics， Speech and Signal Processing . Singapore， Singapore ： IEEE： 2270 - 2274 ［ DOI： 10.1109/ICASSP43922.2022.9746373 http://dx.doi.org/10.1109/ICASSP43922.2022.9746373 ］

Liu M H ， Sheng L ， Yang S ， Shao J and Hu S M . 2020 . Morphing and sampling network for dense point cloud completion // Proceedings of 2020 AAAI Conference on Artificial Intelligence . New York， USA ： AAAI Press： 11596 - 11603

Liu X H ， Liu X C ， Liu Y S and Han Z Z . 2022b . SPU-Net： self-supervised point cloud upsampling by coarse-to-fine reconstruction with self-projection optimization . IEEE Transactions on Image Processing ， 31 ： 4213 - 4226 ［ DOI： 10.1109/TIP.2022.3182266 http://dx.doi.org/10.1109/TIP.2022.3182266 ］

Liu X P ， Ma Y X ， Xu K ， Wan J W and Guo Y L . 2022 . Multi-scale Transformer based point cloud completion network . Journal of Image and Graphics ， 27 （ 2 ）： 538 - 549

刘心溥，马燕新，许可，万建伟，郭裕兰 . 2022 . 嵌入Transformer结构的多尺度点云补全 . 中国图象图形学报， 27 （ 2 ）： 538 - 549 ［ DOI： 10.11834/jig.210510 http://dx.doi.org/10.11834/jig.210510 ］

Liu Z J ， Tang H T ， Lin Y J and Han S . 2019 . Point-voxel CNN for efficient 3D deep learning // Proceedings of the 33rd International Conference on Neural Information Processing Systems . Vancouver， Canada ： Curran Associates Inc.： #87

Luo K Q ， Zhu J P ， Zhou P ， Duan Z J and Jing H L . 2020 . Point cloud completion network based on multibranch structure . Laser and Optoelectronics Progress ， 57 （ 24 ）： #241019

罗开乾，朱江平，周佩，段智涓，荆海龙 . 2020 . 基于多分支结构的点云补全网络 . 激光与光电子学进展， 57 （ 24 ）： # 241019 ［ DOI： 10.3788/LOP57.241019 http://dx.doi.org/10.3788/LOP57.241019 ］

Luo S T and Hu W . 2020 . Differentiable manifold reconstruction for point cloud denoising // Proceedings of the 28th ACM International Conference on Multimedia . Seattle， USA ： ACM： 1330 - 1338 ［ DOI： 10.1145/3394171.3413727 http://dx.doi.org/10.1145/3394171.3413727 ］

Luo S T and Hu W . 2021 . Score-based point cloud denoising // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal， Canada ： IEEE： 4563 - 4572 ［ DOI： 10.1109/ICCV48922.2021.00454 http://dx.doi.org/10.1109/ICCV48922.2021.00454 ］

Mao A H ， Du Z H ， Hou J H ， Duan Y Q ， Liu Y J and He Y . 2022 . PU-Flow： a point cloud upsampling network with normalizing flows . IEEE Transactions on Visualization and Computer Graphics ： 1 - 14 ［ DOI： 10.1109/TVCG.2022.3196334 http://dx.doi.org/10.1109/TVCG.2022.3196334 ］

Mitra N J ， Guibas L J and Pauly M . 2006 . Partial and approximate symmetry detection for 3D geometry . ACM Transactions on Graphics ， 25 （ 3 ）： 560 - 568 ［ DOI： 10.1145/1141911.1141924 http://dx.doi.org/10.1145/1141911.1141924 ］

Nie Y Y ， Lin Y Q ， Han X G ， Guo S H ， Chang J ， Cui S G and Zhang J J . 2020 . Skeleton-bridged point completion： from global inference to local adjustment // Proceedings of the 34th International Conference on Neural Information Processing Systems . Vancouver， Canada ： Curran Associates Inc.： #1352

Pan L . 2020 . ECG： edge-aware point cloud completion with graph convolution . IEEE Robotics and Automation Letters ， 5 （ 3 ）： 4392 - 4398 ［ DOI： 10.1109/LRA.2020.2994483 http://dx.doi.org/10.1109/LRA.2020.2994483 ］

Pan L ， Chen X Y ， Cai Z G ， Zhang J Z ， Zhao H Y ， Yi S and Liu Z W . 2021 . Variational relational point completion network // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville， USA ： IEEE： 8520 - 8529 ［ DOI： 10.1109/CVPR46437.2021.00842 http://dx.doi.org/10.1109/CVPR46437.2021.00842 ］

Pistilli F ， Fracastoro G ， Valsesia D and Magli E . 2020 . Learning graph-convolutional representations for point cloud denoising // Proceedings of the 16th European Conference on Computer Vision . Glasgow， UK ： Springer： 103 - 118 ［ DOI： 10.1007/978-3-030-58565-5_7 http://dx.doi.org/10.1007/978-3-030-58565-5_7 ］

Pistilli F ， Fracastoro G ， Valsesia D and Magli E . 2021 . Learning robust graph-convolutional representations for point cloud denoising . IEEE Journal of Selected Topics in Signal Processing ， 15 （ 2 ）： 402 - 414 ［ DOI： 10.1109/JSTSP.2020.3047471 http://dx.doi.org/10.1109/JSTSP.2020.3047471 ］

Qi C R ， Su H ， Mo K C and Guibas L J . 2017a . PointNet： deep learning on point sets for 3D classification and segmentation // Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition . Honolulu， USA ： IEEE： 77 - 85 ［ DOI： 10.1109/CVPR.2017.16 http://dx.doi.org/10.1109/CVPR.2017.16 ］

Qi C R ， Yi L ， Su H and Guibas L J . 2017b . PointNet++： deep hierarchical feature learning on point sets in a metric space // Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach， USA ： Curran Associates Inc.： 5105 - 5114 .

Qian G C ， Abualshour A ， Li G H ， Thabet A and Ghanem B . 2021a . PU-GCN： point cloud upsampling using graph convolutional networks // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville， USA ： IEEE： 11678 - 11687 ［ DOI： 10.1109/CVPR46437.2021.01151 http://dx.doi.org/10.1109/CVPR46437.2021.01151 ］

Qian Y ， Hou J H ， Kwong S and He Y . 2020 . PUGeo-Net： a geometry-centric network for 3D point cloud upsampling // Proceedings of the 16th European Conference on Computer Vision . Glasgow， UK ： Springer： 752 - 769 ［ DOI： 10.1007/978-3-030-58529-7_44 http://dx.doi.org/10.1007/978-3-030-58529-7_44 ］

Qian Y ， Hou J H ， Kwong S and He Y . 2021b . Deep magnification-flexible upsampling over 3D point clouds . IEEE Transactions on Image Processing ， 30 ： 8354 - 8367 ［ DOI： 10.1109/TIP.2021.3115385 http://dx.doi.org/10.1109/TIP.2021.3115385 ］

Rakotosaona M J ， Barbera V L ， Guerrero P ， Mitra N J and Ovsjanikov M . 2020 . PointCleanNet： learning to denoise and remove outliers from dense point clouds . Computer Graphics Forum ， 39 （ 1 ）： 185 - 203 ［ DOI： 10.1111/cgf.13753 http://dx.doi.org/10.1111/cgf.13753 ］

Ronneberger O ， Fischer P and Brox T . 2015 . U-Net： convolutional networks for biomedical image segmentation // Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention . Munich， Germany ： Springer： 231 - 241 ［ DOI： 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 ］

Sarmad M ， Lee H J and Kim Y M . 2019 . RL-GAN-Net： a reinforcement learning agent controlled gan network for real-time point cloud shape completion // Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach， USA ： IEEE： 5891 - 5900 ［ DOI： 10.1109/CVPR.2019.00605 http://dx.doi.org/10.1109/CVPR.2019.00605 ］

Sharma A ， Grau O and Fritz M . 2016 . VConv-DAE： deep volumetric shape learning without object labels // Proceedings of 2016 European Conference on Computer Vision . Amsterdam， the Netherlands ： Springer： 236 - 250 ［ DOI： 10.1007/978-3-319-49409-8_20 http://dx.doi.org/10.1007/978-3-319-49409-8_20 ］

Shi J Q ， Xu L Y ， Li P L ， Chen X Z and Shen S J . 2022 . Temporal point cloud completion with pose disturbance . IEEE Robotics and Automation Letters ， 7 （ 2 ）： 4165 - 4172 ［ DOI： 10.1109/LRA.2022.3146585 http://dx.doi.org/10.1109/LRA.2022.3146585 ］

Son H and Kim Y M . 2021 . SAUM： symmetry-aware upsampling module for consistent point cloud completion // Proceedings of the 15th Asian Conference on Computer Vision . Kyoto， Japan ： Springer： 158 - 174 ［ DOI： 10.1007/978-3-030-69525-5_10 http://dx.doi.org/10.1007/978-3-030-69525-5_10 ］

Song W ， Cai W Y ， He S Q and Li W J . 2021 . Dynamic graph convolution with spatial attention for point cloud classification and segmentation . Journal of Image and Graphics ， 26 （ 11 ）： 2691 - 2702

宋巍，蔡万源，何盛琪，李文俊 . 2021 . 结合动态图卷积和空间注意力的点云分类与分割 . 中国图象图形学报， 26 （ 11 ）： 2691 - 2702 ［ DOI： 10.11834/jig.200550 http://dx.doi.org/10.11834/jig.200550 ］

Stutz D and Geiger A . 2018 . Learning 3D shape completion from laser scan data with weak supervision // Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， USA ： IEEE： 1955 - 1964 ［ DOI： 10.1109/CVPR.2018.00209 http://dx.doi.org/10.1109/CVPR.2018.00209 ］

Tang J S ， Gong Z J ， Yi R ， Xie Y and Ma L Z . 2022 . LAKe-Net： topology-aware point cloud completion by localizing aligned key-points // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， USA ： IEEE： 1716 - 1725 ［ DOI： 10.1109/CVPR52688.2022.00177 http://dx.doi.org/10.1109/CVPR52688.2022.00177 ］

Tchapmi L P ， Kosaraju V ， Rezatofighi H ， Reid I and Savarese S . 2019 . TopNet： structural point cloud decoder // Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach， USA ： IEEE： 383 - 392 ［ DOI： 10.1109/CVPR.2019.00047 http://dx.doi.org/10.1109/CVPR.2019.00047 ］

Varley J ， Dechant C ， Richardson A ， Ruales J and Allen P . 2017 . Shape completion enabled robotic grasping // Proceedings of 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems . Vancouver， Canada ： IEEE： 2442 - 2447 ［ DOI： 10.1109/IROS.2017.8206060 http://dx.doi.org/10.1109/IROS.2017.8206060 ］

Vaswani A ， Shazeer N ， Parmar N ， Uszkoreit J ， Jones L ， Gomez A N ， Kaiser Ł and Polosukhin I . 2017 . Attention is all you need // Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach， USA ： Curran Associates Inc.： 6000 - 6010

Wang D ， Tang L L ， Zhu L and Yang Z X . 2022a . Mutual information maximization based similarity operation for 3D point cloud completion network . IEEE Signal Processing Letters ， 29 ： 1217 - 1221 ［ DOI： 10.1109/LSP.2022.3162139 http://dx.doi.org/10.1109/LSP.2022.3162139 ］

Wang K S Y ， Sheng L ， Gu S H and Xu D . 2021a . Sequential point cloud upsampling by exploiting multi-scale temporal dependency . IEEE Transactions on Circuits and Systems for Video Technology ， 31 （ 12 ）： 4686 - 4696 ［ DOI： 10.1109/TCSVT.2021.3104304 http://dx.doi.org/10.1109/TCSVT.2021.3104304 ］

Wang K S Y ， Sheng L ， Gu S H and Xu D . 2022b . VPU： a video-based point cloud upsampling framework . IEEE Transactions on Image Processing ， 31 ： 4062 - 4075 ［ DOI： 10.1109/TIP.2022.3166627 http://dx.doi.org/10.1109/TIP.2022.3166627 ］

Wang X G ， Ang M H and Lee G H . 2020a . Cascaded refinement network for point cloud completion // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， USA ： IEEE： 797 - 796 ［ DOI： 10.1109/CVPR42600.2020.00087 http://dx.doi.org/10.1109/CVPR42600.2020.00087 ］

Wang X G ， Ang M H and Lee G H . 2020b . Point cloud completion by learning shape priors // Proceedings of 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems . Las Vegas， USA ： IEEE： 10719 - 10726 ［ DOI： 10.1109/IROS45743.2020.9340862 http://dx.doi.org/10.1109/IROS45743.2020.9340862 ］

Wang X G ， Ang M H and Lee G H . 2021b . Voxel-based network for shape completion by leveraging edge generation // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal， Canada ： IEEE： 13169 - 13178 ［ DOI： 10.1109/ICCV48922.2021.01294 http://dx.doi.org/10.1109/ICCV48922.2021.01294 ］

Wang X G ， Ang M H and Lee G H . 2022c . Cascaded refinement network for point cloud completion with self-supervision . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 44 （ 11 ）： 8139 - 8150 ［ DOI： 10.1109/TPAMI.2021.3108410 http://dx.doi.org/10.1109/TPAMI.2021.3108410 ］

Wang Y ， Sun Y B ， Liu Z W ， Sarma S E ， Bronstein M M and Solomon J M . 2019a . Dynamic graph CNN for learning on point clouds . ACM Transactions on Graphics ， 38 （ 5 ）： # 146 ［ DOI： 10.1145/3326362 http://dx.doi.org/10.1145/3326362 ］

Wang Y D ， Tan D J ， Navab N and Tombari F . 2020c . SoftPoolNet： shape descriptor for point cloud completion and classification // Proceedings of the 16th European Conference on Computer Vision . Glasgow， UK ： Springer： 70 - 85 ［ DOI： 10.1007/978-3-030-58580-8_5 http://dx.doi.org/10.1007/978-3-030-58580-8_5 ］

Wang Y D ， Tan D J ， Navab N and Tombari F . 2022d . Learning local displacements for point cloud completion // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， USA ： IEEE： 1558 - 1567 ［ DOI： 10.1109/CVPR52688.2022.00162 http://dx.doi.org/10.1109/CVPR52688.2022.00162 ］

Wang Y F ， Wu S H ， Huang H ， Cohen-Or D and Sorkine-Hornung O . 2019b . Patch-based progressive 3D point set upsampling // Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Long Beach， USA ： IEEE： 5951 - 5960 ［ DOI： 10.1109/CVPR.2019.00611 http://dx.doi.org/10.1109/CVPR.2019.00611 ］

Wen X ， Han Z Z ， Cao Y P ， Wan P F ， Zheng W and Liu Y S . 2021a . Cycle4Completion： unpaired point cloud completion using cycle transformation with missing region coding // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville， USA ： IEEE： 13075 - 13084 ［ DOI： 10.1109/CVPR46437.2021.01288 http://dx.doi.org/10.1109/CVPR46437.2021.01288 ］

Wen X ， Li T Y ， Han Z Z and Liu Y S . 2020 . Point cloud completion by skip-attention network with hierarchical folding // Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle， USA ： IEEE： 1936 - 1945 ［ DOI： 10.1109/CVPR42600.2020.00201 http://dx.doi.org/10.1109/CVPR42600.2020.00201 ］

Wen X ， Xiang P ， Han Z Z ， Cao Y P ， Wan P F ， Zheng W and Liu Y S . 2021b . PMP-Net： point cloud completion by learning multi-step point moving paths // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Re-cognition . Nashville， USA ： IEEE： 7439 - 7448 ［ DOI： 10.1109/CVPR46437.2021.00736 http://dx.doi.org/10.1109/CVPR46437.2021.00736 ］

Wen X ， Xiang P ， Han Z Z ， Cao Y P ， Wan P F ， Zheng W and Liu Y S . 2023 . PMP-Net++： point cloud completion by Transformer-enhanced multi-step point moving paths . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 45 （ 1 ）： 852 - 867 ［ DOI： 10.1109/TPAMI.2022.3159003 http://dx.doi.org/10.1109/TPAMI.2022.3159003 ］

Wu H and Miao Y B . 2021 . Cross-regional attention network for point cloud completion // Proceedings of the 25th International Conference on Pattern Recognition . Milan， Italy ： IEEE： 10274 - 10280 ［ DOI： 10.1109/ICPR48806.2021.9413104 http://dx.doi.org/10.1109/ICPR48806.2021.9413104 ］

Wu Z R ， Song S R ， Khosla A ， Yu F ， Zhang L G ， Tang X O and Xiao J X . 2015 . 3D ShapeNets： a deep representation for volumetric shapes // Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition . Boston， USA ： IEEE： 1912 - 1920 ［ DOI： 10.1109/CVPR.2015.7298801 http://dx.doi.org/10.1109/CVPR.2015.7298801 ］

Xia Y Q ， Xia Y ， Li W ， Song R ， Cao K L and Stilla U . 2021 . ASFM-Net： asymmetrical siamese feature matching network for point completion // Proceedings of the 29th ACM International Conference on Multimedia . Chengdu， China ： ACM： 1938 - 1947 ［ DOI： 10.1145/3474085.3475348 http://dx.doi.org/10.1145/3474085.3475348 ］

Xiang P ， Wen X ， Liu Y S ， Cao Y P ， Wan P F ， Zheng W and Han Z Z . 2021 . SnowFlakeNet： point cloud completion by snowflake point deconvolution with skip-Transformer // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal， Canada ： IEEE： 5479 - 5489 ［ DOI： 10.1109/ICCV48922.2021.00545 http://dx.doi.org/10.1109/ICCV48922.2021.00545 ］

Xie C L ， Wang C X ， Zhang B ， Yang H ， Chen D and Wen F . 2021 . Style-based point generator with adversarial rendering for point cloud completion // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville， USA ： IEEE： 4619 - 4628 ［ DOI： 10.1109/CVPR46437.2021.00459 http://dx.doi.org/10.1109/CVPR46437.2021.00459 ］

Xie H Z ， Yao H X ， Zhou S C ， Mao J G ， Zhang S P and Sun W X . 2020 . GRNet： gridding residual network for dense point cloud completion // Proceedings of the 16th European Conference on Computer Vision . Glasgow， UK ： Springer： 365 - 381 ［ DOI： 10.1007/978-3-030-58545-7_21 http://dx.doi.org/10.1007/978-3-030-58545-7_21 ］

Yan W ， Zhang R N ， Wang J ， Liu S ， Li T H and Li G . 2020 . Vaccine-style-net： point cloud completion in implicit continuous function space // Proceedings of the 28th ACM International Conference on Multimedia . Seattle， USA ： ACM： 2067 - 2075 ［ DOI： 10.1145/3394171.3413648 http://dx.doi.org/10.1145/3394171.3413648 ］

Yang Y Q ， Feng C ， Shen Y R and Tian D . 2018 . FoldingNet： point cloud auto-encoder via deep grid deformation // Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Salt Lake City， USA ： IEEE： 206 - 215 ［ DOI： 10.1109/CVPR.2018.00029 http://dx.doi.org/10.1109/CVPR.2018.00029 ］

Ye S Q ， Chen D D ， Han S F ， Wan Z Y ， Liao J . 2022 . Meta-PU： an arbitrary-scale upsampling network for point cloud . IEEE Transactions on Visualization Computer Graphics ， 28 （ 9 ）： 3206 - 3218 ［ DOI： 10.1109/TVCG.2021.3058311 http://dx.doi.org/10.1109/TVCG.2021.3058311 ］

Yu L Q ， Li X Z ， Fu C W ， Cohen-Or D and Heng P A . 2018 . EC-Net： an edge-aware point set consolidation network // Proceedings of the 15th European Conference on Computer Vision . Munich， Germany ： Springer： 398 - 414 ［ DOI： 10.1007/978-3-030-01234-2_24 http://dx.doi.org/10.1007/978-3-030-01234-2_24 ］

Yu X M ， Rao Y M ， Wang Z Y ， Liu Z Y ， Lu J W and Zhou J . 2021 . PoinTr： diverse point cloud completion with geometry-aware transformers // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal， Canada ： IEEE： 12498 - 12507 ［ DOI： 10.1109/ICCV48922.2021.01227 http://dx.doi.org/10.1109/ICCV48922.2021.01227 ］

Yuan W T ， Khot T ， Held D ， Mertz C and Hebert M . 2018 . PCN： point completion network // Proceedings of 2018 International Conference on 3D Vision . Verona， Italy ： IEEE： 728 - 737 ［ DOI： 10.1109/3DV.2018.00088 http://dx.doi.org/10.1109/3DV.2018.00088 ］

Zhang D B ， Lu X Q ， Qin H and He Y . 2021a . Pointfilter： point cloud filtering via encoder-decoder modeling . IEEE Transactions on Visualization and Computer Graphics ， 27 （ 3 ）： 2015 - 2027 ［ DOI： 10.1109/TVCG.2020.3027069 http://dx.doi.org/10.1109/TVCG.2020.3027069 ］

Zhang J Z ， Chen X Y ， Cai Z ， Pan L ， Zhao H Y ， Yi S ， Yeo C K ， Dai B and Loy C C . 2021b . Unsupervised 3D shape completion through GAN inversion // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville， USA ： IEEE： 1768 - 1777 ［ DOI： 10.1109/CVPR46437.2021.00181 http://dx.doi.org/10.1109/CVPR46437.2021.00181 ］

Zhang J J ， Zheng C and Gao R Z . 2022 . Learn the 3D object shape completion of point cloud neighborhood information . Application Research of Computers ， 39 （ 5 ）： 1586 - 1589

张京军，郑灿，高瑞贞 . 2022 . 学习点云邻域信息的三维物体形状补全 . 计算机应用研究， 39 （ 5 ）： 1586 - 1589 ［ DOI： 10.19734/j.issn.1001-3695.2021.09.0383 http://dx.doi.org/10.19734/j.issn.1001-3695.2021.09.0383 ］

Zhang P P ， Wang X ， Ma L ， Wang S Q ， Kwong S and Jiang J M . 2021c . Progressive point cloud upsampling via differentiable rendering . IEEE Transactions on Circuits and Systems for Video Technology ， 31 （ 12 ）： 4673 - 4685 ［ DOI： 10.1109/tcsvt.2021.3100134 http://dx.doi.org/10.1109/tcsvt.2021.3100134 ］

Zhang W X ， Long C J ， Yan Q A ， Chow A L H and Xiao C X . 2020a . Multi-stage point completion network with critical set supervision . Computer Aided Geometric Design ， 82 ： # 101925 ［ DOI： 10.1016/j.cagd.2020.101925 http://dx.doi.org/10.1016/j.cagd.2020.101925 ］

Zhang W X ， Yan Q A and Xiao C X . 2020b . Detail preserved point cloud completion via separated feature aggregation // Proceedings of the 16th European Conference on Computer Vision . Glasgow， UK ： Springer： 512 - 528 ［ DOI： 10.1007/978-3-030-58595-2_31 http://dx.doi.org/10.1007/978-3-030-58595-2_31 ］

Zhang X L ， Fu P F ， Zhao Y J ， Xie H and Wang W R . 2020 . Point cloud data classification and segmentation model using graph CNN and different pooling functions . Journal of Image and Graphics ， 25 （ 6 ）： 1201 - 1208

张新良，付鹏飞，赵运基，谢恒，王琬如 . 2020 . 融合图卷积和差异性池化函数的点云数据分类分割模型 . 中国图象图形学报， 25 （ 6 ）： 1201 - 1208 ［ DOI： 10.11834/jig.190367 http://dx.doi.org/10.11834/jig.190367 ］

Zhao W B ， Liu X M ， Zhong Z W ， Jiang J J ， Gao W ， Li G and Ji X Y . 2022a . Self-supervised arbitrary-scale point clouds upsampling via implicit neural representation // Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New Orleans， USA ： IEEE： 1989 - 1997 ［ DOI： 10.1109/CVPR52688.2022.00204 http://dx.doi.org/10.1109/CVPR52688.2022.00204 ］

Zhao X ， Zhang B W ， Wu J J ， Hu R Z and Komura T . 2022b . Relationship-based point cloud completion . IEEE Transactions on Visualization and Computer Graphics ， 28 （ 12 ）： 4940 - 4950 ［ DOI： 10.1109/TVCG.2021.3109392 http://dx.doi.org/10.1109/TVCG.2021.3109392 ］

Zhao X C ， Chang H X and Jin R B . 2021a . 3D point cloud shape completion GAN . Computer Science ， 48 （ 4 ）： 192 - 196

赵新灿，常寒星，金仁标 . 2021 . 3D点云形状补全GAN . 计算机科学， 48 （ 4 ）： 192 - 196 ［ DOI： 10.11896/jsjkx.200100048 http://dx.doi.org/10.11896/jsjkx.200100048 ］

Zhao Y F ， Hui L and Xie J . 2021b . SSPU-Net： self-supervised point cloud upsampling via differentiable rendering // Proceedings of the 29th ACM International Conference on Multimedia . Chengdu， China ： ACM： 2214 - 2223 ［ DOI： 10.1145/3474085.3475381 http://dx.doi.org/10.1145/3474085.3475381 ］

Zhou H R ， Cao Y ， Chu W Q ， Zhu J W ， Lu T ， Tai Y and Wang C J . 2022a . SeedFormer： patch seeds based point cloud completion with upsample Transformer // Proceedings of the 17th European Conference on Computer Vision . Tel Aviv， Israel ： Springer： 416 - 432 ［ DOI： 10.1007/978-3-031-20062-5_24 http://dx.doi.org/10.1007/978-3-031-20062-5_24 ］

Zhou K Y ， Dong M and Arslanturk S . 2022b . “Zero-Shot” point cloud upsampling // Proceedings of 2022 IEEE International Conference on Multimedia and Expo . Taipei， China ： IEEE： 1 - 6 ［ DOI： 10.1109/ICME52920.2022.9859662 http://dx.doi.org/10.1109/ICME52920.2022.9859662 ］

Zhu L P ， Wang B Y ， Tian G Y ， Wang W J and Li C Y . 2021 . Towards point cloud completion： point rank sampling and cross-cascade graph CNN . Neurocomputing ， 461 ： 1 - 16 ［ DOI： 10.1016/j.neucom.2021.07.035 http://dx.doi.org/10.1016/j.neucom.2021.07.035 ］

Zong D M ， Sun S L and Zhao J . 2021 . ASHF-Net： adaptive sampling and hierarchical folding network for robust point cloud completion // Proceedings of the 37th AAAI Conference on Artificial Intelligence . Washington， USA ： AAAI Press： 3625 - 3632 ［ DOI： 10.1609/aaai.v35i4.16478 http://dx.doi.org/10.1609/aaai.v35i4.16478 ］