Print

发布时间: 2019-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190112
2019 | Volume 24 | Number 9




    学者观点    




  <<上一篇 




  下一篇>> 




城市视频实景地图构建初探
expand article info 吴军, 刘祺昌, 黄明益
桂林电子科技大学电子工程与自动化学院, 桂林 541004
收稿日期: 2019-04-19; 修回日期: 2019-04-30
基金项目: 国家自然科学基金项目（41761087）；广西自然科学基金项目（2015GXNSFDA139030，2017GXNSFAA198162）；桂林电子科技大学研究生教育创新计划资助项目（2018YJCXB62）
第一作者简介: 吴军, 男, 教授, 博士生导师, 主要研究方向为数字摄影测量、计算机视觉及光电信息处理。E-mail:wujun93161@163.com;
刘祺昌, 男, 硕士研究生, 主要研究方向为影像拼接、视频融合。E-mail:583692970@qq.com;
黄明益, 男, 博士研究生, 主要研究方向为摄像机标定、影像地理配准。E-mail:1240409615@qq.com.
中图法分类号: TP391
文献标识码: A
文章编号: 1006-8961(2019)09-1409-07

摘要

城市视频实景地图兼具地图立体空间、视频时间4维度层面信息统一表达能力，对于我国城市立体监控系统构建、互联网地图产品发展，以及未来实景3维中国建设战略实施具有重要意义和应用价值。为引起更多研究者进行探索，对城市视频实景地图构建方法、技术及其应用前景进行讨论。从增强虚拟环境技术（AVE）角度出发，对融合全景视频与地理3维模型构建城市视频实景地图涉及的全景摄像机标定、全景视频空间配准及视频纹理映射、实时渲染系列技术、方法进行了梳理。经过分析得出：1）适合传统“针孔”模型的摄像机标定、影像空间配准理论和方法，需根据全景摄像机球面投影模型进行拓展；2）适合静态纹理的大规模3D场景渲染LOD（levels of detail）技术和策略，需结合视频传输带宽限制、高帧率特点进行技术创新。城市视频实景地图构建是一项值得重视的崭新课题，将有力促进互联网、人工智能前沿技术发展，有望给相关行业带来万亿级市场机遇。

关键词

视频实景地图; 3维地图; 虚拟现实; 全景摄像机标定; 视频空间配准; 视频纹理映射; 实时渲染

Preliminary exploration on the construction of urban video real-scene map
expand article info Wu Jun, Liu Qichang, Huang Mingyi
School of Electronic Engineering and Automation, Guilin University of Electronic Technology, Guilin 541004, China
Supported by: National Natural Science Foundation of China (41761087)

Abstract

UVRSM (urban video real-scene map) has important significance for construction of urban monitoring system, the development of Internet map products, and the implementation of future "real-scene China construction" strategy given the ability of unified information expression in three-dimensional space and time dimension. This paper presents a preliminary exploration on the construction of UVRSM for the convenience of researchers in related fields. From the point of view of augmented virtual environment (AVE) technology, this work proposes to construct the UVRSM by integrating panoramic video and geographic three-dimensional models. To this end, the technologies and methods involved in panoramic camera calibration, panoramic video geo-registration, automatic video texture mapping, and real-time rendering are comprehensively discussed. Some valuable research ideas and schemes are given. The theory and method of camera calibration and image geo-registration suitable for traditional pinhole model need to be expanded according to the spherical projection model of panoramic camera. The LOD (level of detail) technology and strategy for large-scale 3D scene rendering suitable for static texture need to be innovated to obtain the characteristics of video transmission bandwidth limitation and high frame rate. The construction of UVRSM is a new topic and will strongly promote the development of Internet and AI (artificial intelliqence) frontier technology. This field is expected to bring trillions of market opportunities to UVRSM-related domains or industries.

Key words

video real-scene map; 3D map; virtual reality; panoramic camera calibration; video geo-registration; video texture mapping; real-time rendering

0 引言

近年来，随着经济全球化的快速发展，影响国家安全、公共安全、环境安全的不稳定因素日益增多，城市社会治安形势也变得越来越错综复杂，有效预防、快速处置突发事件，保障人民群众生命财产安全，正在成为各级城市管理政府部门面临的重要课题[1]。

作为有效的监控手段，监控摄像机早已在城市安防、管理以及生产控制中发挥了不可替代的作用[2]。一方面，单个摄像机只能采集有限位置、视角的视频信息，其空间信息割裂、碎片化, 整体联动困难，不利于全面了解目标在区域内的行为状态；另一方面, 地图发展和应用历经纸制、电子、互联网3个阶段, 早已渗透到国民政治、经济、社会、军事发展及日常生活的方方面面。

具有统一地理框架的互联网地图可集成各类政治、经济、文化及公民个人行为信息。因此，将城市监控视频与互联网地图相结合不仅有助于在宏观上把握监控区域整体安全态势, 克服传统监控画面相互孤立、缺乏关联性的应用局限，还能借助成熟地理信息技术如商业GIS软件强大的空间查询、统计、分析功能，大幅提高视频监控信息的综合管理、分析利用及决策水平，安防行业应用价值巨大。

与3D建模、图形渲染技术相结合的城市3维地图, 其空间表达更完整、细节更丰富、更易于视觉信息传递，是研究和解决人口、资源、环境、灾害等城市可持续发展规律、重大社会问题的重要信息源，将有力促进我国地理信息基础框架建设及“数字城市”、“智慧城市”发展战略实施[3-4], 但现有3D建模方法、更新技术手段在生产成本、效率方面仍难以满足城市高速建设与科学管理对3维地图数据现势性迫切需要。

一方面，广泛分布于城市不同区域(位置)的监控摄像机, 无疑为城市3维地图构建提供了理想的影像数据源—实时视频，可用于实现城市重点区域(目标)空间信息的持续、实时更新且实施成本低；另一方面，随着大数据处理、人工智能技术的发展与成熟，普通用户对视频信息深度分析与应用需求与日俱增，融合监控视频信息获得的城市实景3维地图可实现传统地图立体空间和视频时间4个维度层面的信息统一表达，将极大程度拓展互联网地图应用空间、市场，有望形成新一代的互联网视频实景地图产品及服务标准，并能以之为基础创新视频结构化分析、智能预警技术，实现大场景下的跨相机目标检测与持续跟踪、人群异常聚集预警及趋势预测等应用目的，具有重要理论意义与研究价值。

1 城市视频实景地图构建

城市视频实景地图的构建属于虚拟现实技术中的一种，称之为“增强虚拟环境技术(AVE)”[5]。与传统的“增强现实技术(AR)”不同，AVE倾向于在虚拟3维场景中加入现实成分，其最直接的想法是利用相机捕捉真实对象的图像或3维模型，并将其注册到虚拟环境中以呈现“虚中有实”的视觉效果。美国Sarnoff公司发展了这种想法，不用视频创建虚拟模型而是用视频去增强已有虚拟模型，使得用户能够以一个全局视角统一观察模型和视频，既扩展用户视域又增强了视频的空间表现力[6]。

构建城市视频实景地图的关键在于视频与地图3维模型的精确、实时融合，一种简单、有效的方式是将视频注册到地图虚拟环境并以纹理方式无失真绘制到模型表面[7]，难点在于如何精确恢复视频瞬时摄影姿态，涉及摄像机内、外参数精确标定计算。城市公共安全区域一般为广域场景，如车站、机场、港口等，大规模安装摄像机成本高且不能保证每一处位置监控不留死角，针对这一应用问题，当前安防市场上推出了具有360°/180°视野的新型全景网络摄像机[8-9]，可大幅减少同一覆盖区域摄像机数量并降低成本支出，但与传统“针孔”成像模型不同，全景摄像机通常采用球面投影模型以获得超宽视角，其全景视频图像因镜头焦距短、视场大特点及光学原理约束而存在严重桶形畸变。

目前安防市场上主要有鱼眼、多拼两类全景摄像机，本文结合全景摄像机类型，就其参数标定、视频空间配准及模型实时融合、渲染等视频实景地图构建关键技术进行简要回顾和分析。

鱼眼全景摄像机具有视角广阔(接近甚至超过180°)、体积小、价格低廉等优点，适合于小范围区域全景视频信息采集。从球面投影原理出发，现有鱼眼相机标定方法主要利用空间直线在球面上投影为一个大圆(或在鱼眼图像上的投影为椭圆弧)的几何特性来求解模型参数，如文献[10-11]引用单位视球概念并以平面棋盘格为2维靶标，综合利用空间直线位置特性及其投影特性优化模型参数，但全局优化中外部参数数量多，不准确的外部参数初始值极易使优化陷入局部最优。文献[12]利用直接线性变换DLT(direct linear transformation)迭代求解球面变换半径，鱼眼图像上较多的标定控制点使得参数空间关系恢复计算更稳健，但高精度3维标定场建造较复杂且需不断维护；文献[13]建立了统一的特征值最小化计算框架以综合利用平面网格直线特性精确估计鱼眼相机内部参数，但联合利用网格直线的共线、平行、正交特性存在较高的限制且初值的合理选取有待解决；文献[14]以单位视球上设定网格(点)的经、纬度表征鱼眼相机内部参数，利用共线方程同时求解内、外部参数并进行光束法平差，潜在的问题在于如何优化网格设置以使网格(点)与3D控制点相对应，从而避免计算矩阵的降秩退化。需要强调的是，监控摄像机一旦安装完成后就进入长期、连续工作状态，而鱼眼摄像机出厂时，其鱼眼镜头彼此间质量不仅存在明显差异[15]，长期使用也会导致镜头光学参数发生变化，这就对鱼眼摄像机标定方法的灵活性、易实施性提出了更高要求，无需拆卸监控设备的现场标定、不依赖于特定参照物模式及量测信息的自标定方法将更具应用价值，也是利用鱼眼全景视频生成实景地图亟待解决的问题。

多拼全景摄像机通常由多个不同视角、物理独立的传统CCD摄像机固定于特定机械结构上得到，分辨率高、景深远，被广泛应用于室内、外大范围场所监控环境，目前商用主要有美国360Heros系列、Surround360系列、国内Insta360系列等。多拼全景摄像机中各子摄像机一般为传统“针孔”摄像机，故包括单相机标定和组合相机标定两部分内容，前者研究开展已较深入，困难在于如何通过简单的组合标定过程获得子摄像机间的相对外参(旋转矩阵、平移矢量)，以确保利用该标定参数能将子摄像机采集的多路视频像素投影到设定球面(或柱面)生成高清全景视频[16-17]。

为节约硬件成本，多拼全景摄像机尽可能利用较少数量的子摄像机来获得360°视角，这就意味着，相邻子摄像机间的重叠视角将非常小，难以有效利用影像内在约束求解、优化相对外参，不得不在大型标定场内完成，如文献[18]采用的室内标定场四周墙壁、顶部及地面上不同景深位置密集布设的人工标志点多达1 000个，且需不同位置多次摄影以获得符合重叠度要求的全景相机标定影像，这种完全依赖大型3维标定场地的标定方式无疑限制了多拼全景摄像机应用的灵活性；文献[19]将数码相机固定于旋转平台上，通过匀速旋转平台实现单相机全景成像目的，并利用可旋转拍摄获得的高重叠度序列影像内在约束解算平台旋转中心坐标、起始方位角及每幅图像外方位元素，对于多拼全景摄像机相对外参标定具有借鉴意义。

城市中的监控摄像机因安装位置、高度及视角设置不同导致采集视频存在空间不一致性，可通过空间配准过程将其纳入3维地图所在地理坐标框架，本质上是一个求解监控摄像机的绝对外部参数(平移、旋转)并属于经典的摄影测量后方交会问题。

文献[20-21]以具有地理坐标的影像地图为依据, 对无人机视频影像实施配准, 取得了合理精度及较高自动化程度, 但两种异源影像存在显著尺度差异、视角变换及几何、辐射畸变, 难以保障获得有效同名特征点用于配准参数估计；文献[22]以无人机导航数据作初值，通过连接点匹配、地面控制点量测以及光束法平差求得无人机视频序列影像外方位元素参数；文献[23]利用单应性矩阵内在约束条件将后方交会问题转换为一个二元二次方程组求解问题，可在多个控制点共面情况下获得外方位元素精确解。

传统后方交会(“点”摄影测量)以共线方程为基础，对3D空间点与2D影像点对应关系有严格要求，文献[24]采用共面条件下的“直线”摄影测量方式求解外方位元素，优点在于无需考虑直线上点在3D空间和2D影像空间是否为同名点；文献[25]提出的广义点摄影测量理论，成功将摄影测量研究对象从物理意义上的点扩展到数学意义上的点，可在共线方程中引入更多类型的空间特征，从而使外方位元素求解、建筑3维重建更灵活[26]。需要指出的是，传统摄影测量相机广泛采用“针孔”模型，而全景摄像机一般采用球面投影模型，这是全景视频地图空间配准借鉴现有方法应注意的问题，一种简单、有效的拓展是利用已标定的摄像机内参将全景视频像素映射到其理想投影球面，从而能间接利用投影球心、像素球面映射点以及对应空间点间的共线(或共面)条件。此外，城市中监控摄像机的观测区域多为具有大量直线特征的人工场景，据此特性设计全景视频空间配准方法、过程也将有助于提高其配准精度、自动化程度，关键在于如何准确、稳健地从全景视频中提取出与场景空间直线相对应的椭圆弧段。

目前大规模3D场景的构建及其计算机显示普遍采用纹理映射和层次细节LOD(levels of detail)技术，前者旨在形成一种实景效果并通过细节替代一定程度上简化3D模型制作[27-29]，后者则能将模型数据管理、细节表达层次与当前视点绘制范围、深度相联系以实现计算机屏幕快速显示并符合视觉体验[30-31]，但现有LOD技术对带纹理的大规模3D场景进行渲染绘制时，其纹理源于静态影像，并未考虑视频纹理实时生成、高效存储及渲染[32]，以LOD技术为基础的成熟商用3维地图软件如NASA的WorldWind、微软的VlrtualEarth等，也均不支持实时视频流的管理与加载。

广域(大范围)环境下的全景视频与3维地图实时融合，涉及大规模3维空间模型和不同类型全景摄像机视频流两方面数据的管理与加载，全景摄像机属于新一代的网络摄像机IPC(IP camera)[33]，其采集视频信号编码压缩后通过网络传输，故全景视频与3维地图融合实现以下两方面的问题：

1) 视频传输效率与3D场景LOD渲染视觉质量、流畅效果间的平衡；

2) 如何从高帧率全景视频中快速生成纠正的纹理影像。

针对以上两方面问题，建议分别采用以下解决方案：

方案1)   目前视频进入IPC后可编码提供两种码流——主码流和子码流[34]:主码流画质高，但对带宽要求也高，画面拖屏(如3D交互渲染)涉及多路视频时将由于网络传输不及时而易出现卡顿现象；子码流因码率降低会导致画质模糊，但可保障多路视频网络同时浏览的流畅性。故结合IPC视频主/子码流传输特点，可将全景视频主/子码流与3维地图模型LOD细节层次、当前视点观察范围相联系，仅当全景视频位于观察视野范围内且相应地图空间数据LOD层次较高(分辨率高)时才进行主码流加载，否则进行子码流加载，从而在获得高清晰度全景视频的同时减轻3D场景LOD渲染时的视频实时传输、加载压力；另外从融合整体效率及未来应用出发考虑，可考虑建立面向城市视频实景地图服务的视频统一接入平台, 构建流媒体服务器[35]从不同类型、不同编码的IPC全景摄像机中获取视频并经统一编码后再发送，从而使用户无需考虑摄像机具体型号和驱动。

方案2)  利用GPU并行处理能力及其查找表计算特点[36]，将全景视频动态纹理影像生成过程分为离线、在线计算两个阶段，以大幅提高全景视频纹理生成及映射效率。纹理映射实施的前提是具有纹理影像并提供绘制所需的目标模型表面顶点物体坐标和纹理坐标，借助于全景摄像机标定、空间配准计算精确恢复的摄影几何模型及其空间映射关系，一方面利用3维地图模型表面在全景视频中的投影自动给出对应顶点、纹理坐标并对模型表面对应视频区域进行纠正以获得无失真视频纹理；另一方面，当全景摄像机安装完毕且不发生移动，由于其摄影几何模型保持不变，且视频主/子码流解码影像的区别仅在于像素辐射信息，两者空间映射关系一致，故可利用恢复的全景摄影几何模型参数预先(离线计算)生成一个表征视频像素与其对应空间位置关系的映射查找表，3D场景LOD渲染(在线、离线)时则结合该查找表和LOD策略下加载的全景视频像素数据，利用GPU强大的并行计算能力实时生成纹理影像并映射到地图目标区域表面，从而确保带动态视频纹理的大规模3维地图场景具有良好的浏览和观赏体验。

2 结论与展望

本文从AVE角度出发，就融合全景视频与地理3维模型构建城市视频实景地图系列技术、方法进行了梳理，分析指出：1)适合传统“针孔”模型的摄像机标定、影像空间配准理论和方法，需根据全景摄像机球面投影模型进行拓展；2)适合静态纹理的大规模3D场景渲染LOD技术和策略，需结合视频传输带宽限制、高帧率特点进行技术创新。

5G时代即将到来，制约城市实景地图应用的网络带宽问题有望基本解决，笔者认为，未来城市视频实景地图发展将得益于其巨大的行业应用、工程实践价值，并有力促进互联网、人工智能前沿技术发展：

1) 实景3维地图的直观性、信息量和精确性远非传统地图可比，我国自然资源部将于今年启动“十四五”基础测绘规划编制工作，推动在实景3维中国建设、海洋测绘等方向凝练形成大项目、大工程。近十年来，相当一部分城市已试点3维地图构建(建模)工作，但实际应用价值不高，多限于3维演示，究其原因在于生产成本高、更新难度大、数据现势性有限。融合已有监控视频和3维城市模型构建视频实景地图，将是最大化利用现有数据资源获得实景3维地图的有效途径，且能以一种低成本方式实现地图数据的自动、持续更新，对于实景3维中国建设推动作用不言而喻，并有望给相关行业带来万亿级市场机遇。

另外，中国安防行业“十三五”发展规划指出，未来我国安防行业机遇、挑战并存，需重点攻克安防系统与其他信息系统融合的关键技术，城市视频实景地图可认为是安防行业和地理信息行业在基础数据信息层面的一种有机融合，以之为基础不仅能服务于城市安防立体监控及其应用开展，还将积极推动与导航、电力、勘探设计等众多地理信息相关行业、企业的相互合作和融合，具有广阔的市场前景与应用价值。

2) 人工智能是引领未来的战略性技术，我国已制订并实施《新一代人工智能发展规划》，以之作为新一轮科技革命和产业变革的重要驱动力，加快建设创新型国家和世界科技强国。目前深度学习[37]作为人工智能主流算法获得广泛关注并将继续引领人工智能算法发展方向，但深度学习模型主要是数据驱动的, 依赖于大规模多样性的标记数据集[38]，从这一角度而言，分别作为典型“空间大数据”、“时间大数据”的静态3维地图和动态视频，两者“深度”融合构成的城市视频实景地图及互联网地图长期应用中积累、集成的各类信息，无疑为更多纬度、更大(空间、时间)尺度、更多领域(行业)的深度学习研究开展提供了理想数据支撑与保障，同时这些具有统一地理参考框架、时间基准及内在逻辑关系的有序大数据，也必将推动深度学习在模型构建、训练机制、效率提升等各方面的新探索，对人工智能算法发展以及新一代互联网地图产品、服务标准的形成产生深远影响，是一项值得研究重视的崭新课题。

参考文献

  • [1] Wang H W. Reform of public crisis management mode in the perspective of holistic approach to national security[J]. Administrative Tribune, 2018, 25(4): 20–26. [王宏伟. 总体国家安全观视角下公共危机管理模式的变革[J]. 行政论坛, 2018, 25(4): 20–26. ] [DOI:10.16637/j.cnki23-1360/d.2018.04.003]
  • [2] Wang Y S, Xing G L. Research on evaluation index system of networked application for public security video surveillance construction[J]. China Security & Protection, 2018(4): 96–101. [王永升, 邢更力. 公共安全视频监控建设联网应用评价指标体系研究[J]. 中国安防, 2018(4): 96–101. ] [DOI:10.3969/j.issn.1673-7873.2018.04.023]
  • [3] Li D R. New mission for surveying, mapping and geomatics in Smart Earth era[J]. Geomatics World, 2013, 37(1): 6–7. [李德仁. 智慧地球时代测绘地理信息学的新使命[J]. 地理信息世界, 2013, 37(1): 6–7. ] [DOI:10.3969/j.issn.1672-1586.2013.01.003]
  • [4] Li D R, Shao Z F. Research on physical city, digital city and smart city[J]. Geospatial Information, 2018, 16(9): 1–4. [李德仁, 邵振峰. 论物理城市、数字城市和智慧城市[J]. 地理空间信息, 2018, 16(9): 1–4. ] [DOI:10.3969/j.issn.1672-4623.2018.09.001]
  • [5] Zhou Z, Zhou Y, Xiao J J. Survey on augmented virtual environment and augmented reality[J]. Scientia Sinica Informationis, 2015, 45(2): 157–1804. [周忠, 周颐, 肖江剑. 虚拟现实增强技术综述[J]. 中国科学, 2015, 45(2): 157–1804. ] [DOI:10.1360/N112014-00076]
  • [6] Sawhney H S, Arpa A, Kumar R, et al. Video flashlights: real time rendering of multiple videos for immersive model visualization[C]//Proceedings of the 13th Eurographics Workshop on Rendering. Pisa, Italy: Eurographics Association, 2002, 28: 157-168.
  • [7] Rossi D, Petrucci E, Fazzini S. A framework to increase the video-mapping accuracy of an architectural heritage mock-up[C]//Proceedings of ACM Press the 2014 Virtual Reality International Conference. Laval, France: ACM, 2014: 1-4.[ DOI:10.1145/2617841.2617844]
  • [8] [闫阿奇, 杨建峰, 曹剑中, 等. 航天鱼眼相机光学系统设计的研究[J]. 光学学报, 2011, 31(10): 1022004. ]
  • [9] Wu X J, Guo Y X. A 360° panoramic imaging design method for cylindrical object[J]. Acta Optica Sinica, 2015, 35(9): #0923002. [吴晓军, 郭亚雪. 一种圆柱物体360°全景成像装置设计方法[J]. 光学学报, 2015, 35(9): #0923002. ]
  • [10] Wu Z J, Wu Q Y, Zhang B C. A new calibration method for fisheye lens based on spherical model[J]. Chinese Journal of Lasers, 2015(5): 226–233. [吴泽俊, 吴庆阳, 张佰春. 一种新的基于球面模型的鱼眼镜头标定方法[J]. 中国激光, 2015(5): 226–233. ]
  • [11] Wu J, Wang L R, Huang M Y, et al. High precision calibration of fisheye camera with single image under multiple geometric constraints[J]. Acta Optica Sinica, 2018, 38(11): 1115001. [吴军, 王玲容, 黄明益, 等. 多几何约束下的鱼眼相机单像高精度标定[J]. 光学学报, 2018, 38(11): 1115001. ]
  • [12] Pi Y D, Li X, Chen Z Y, et al. Calibration and rectification of fisheye images based on three-dimensional control field[J]. Acta Optica Sinica, 2017, 37(1): 0115001. [皮英冬, 李欣, 陈智勇, 等. 基于3维控制场的鱼眼影像检校和纠正方法[J]. 光学学报, 2017, 37(1): 0115001. ]
  • [13] Kanatani K. Calibration of ultrawide fisheye lens cameras by eigenvalue minimization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(4): 813–822. [DOI:10.1109/TPAMI.2012.146]
  • [14] Aghayari S, Saadatseresht M, Omidalizarandi M, et al. Geometric calibration of full spherical panoramic Ricoh-theta camera[C]//ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, Ⅳ-1/W1: 237-245.
  • [15] Gurtner A, Greer D G, Glassock R, et al. Investigation of fish-eye lenses for small-UAV aerial photography[J]. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(3): 709–721. [DOI:10.1109/TGRS.2008.2009763]
  • [16] Ji S P, Shi Y. Comparison of two sensor models for multi-camera rig system in measurements[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(12): 1252–1258. [季顺平, 史云. 多镜头组合型全景相机两种成像模型的定位精度比较[J]. 测绘学报, 2014, 43(12): 1252–1258. ] [DOI:10.13485/j.cnki.11-2089.2014.0169]
  • [17] Lee J, Kim B, Kim K, et al. Rich360: optimized spherical representation from structured panoramic camera arrays[J] ACM Transactions on Graphics, 2016, 35(4), Article 63: 1-11.[ DOI:10.1145/2897824.2925983]
  • [18] Wang D, Liu F Y, Chen T E, et al. The method of cylinder panoramic image mosaic based on camera calibration parameters[J]. Science of Surveying and Mapping, 2016, 41(7): 150–154, 143. [王冬, 刘凤英, 陈天恩, 等. 一种相机标定参数的柱面全景影像拼接方法[J]. 测绘科学, 2016, 41(7): 150–154, 143. ] [DOI:10.16251/j.cnki.1009-2307.2016.07.027]
  • [19] Mei W S, Hu S P, Li M S, et al. Rotation panorama photogrammetry method based on digital camera[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2): 243–249. [梅文胜, 胡帅朋, 李谋思, 等. 基于普通数码相机的旋转全景摄影测量方法[J]. 武汉大学学报·信息科学版, 2017, 42(2): 243–249. ] [DOI:10.13203/j.whugis20140994]
  • [20] Kumar R, Samarasekera S, Hsu S C, et al. Registration of highly-oblique and zoomed in aerial video to reference imagery[C]//Proceedings of the 15th International Conference on Pattern Recognition. Barcelona, Spain: IEEE, 2000.[ DOI:10.1109/ICPR.2000.902919]
  • [21] Xu D J, Kasparis T. Video registration to geo-referenced imagery[C]//Proceedings of SPIE 5428, Signal and Data Processing of Small Targets 2004. Orlando, Florida, USA: SPIE, 2004: 569-576.[ DOI:10.1117/12.541734]
  • [22] Zhou G. Geo-referencing of video flow from small low-cost civilian UAV[J]. IEEE Transactions on Automation Science & Engineering, 2009, 7(1): 156–166. [DOI:10.1109/TASE.2008.2010948]
  • [23] Huang X, Zhang Y J, Yang J L, et al. Closed-form solution to space resection based on homography matrix[J]. Journal of Remote Sensing, 2016, 20(3): 431–440. [黄旭, 张永军, 杨璟林, 等. 单应性几何下的后方交会直接解法[J]. 遥感学报, 2016, 20(3): 431–440. ] [DOI:10.11834/jrs.20165182]
  • [24] Zhang H W, Zhang Z X, Zhang J Q. Analysis for the redundancy and relativity of the observation in line photogrammetry[J]. Geomatics and Information Science of Wuhan University, 2005, 30(9): 775–777, 824. [张宏伟, 张祖勋, 张剑清. 直线摄影测量观测值的冗余度和相关性分析[J]. 武汉大学学报·信息科学版, 2005, 30(9): 775–777, 824. ] [DOI:10.3969/j.issn.1671-8860.2005.09.006]
  • [25] Zhang Z X, Zhang J Q. Generalized point photogrammetry and its application[J]. Geomatics and Information Science of Wuhan University, 2005, 30(1): 1–5. [张祖勋, 张剑清. 广义点摄影测量及其应用[J]. 武汉大学学报·信息科学版, 2005, 30(1): 1–5. ]
  • [26] Zheng S Y, Guo B Y, Li C L. 3D reconstruction and inspection of cylinder based on geometric model and generalized point photogrammetry[J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(4): 477–482. [郑顺义, 郭宝云, 李彩林. 基于模型和广义点摄影测量的圆柱体自动3维重建与检测[J]. 测绘学报, 2011, 40(4): 477–482. ]
  • [27] Wu J. Research on rapidly reconstructing texture for facades in 3D city modeling[J]. Acta Geodaetica et Cartographica Sinica, 2005, 34(4): 317–323. [吴军. 3维城市建模中的建筑墙面纹理快速重建研究[J]. 测绘学报, 2005, 34(4): 317–323. ] [DOI:10.3321/j.issn:1001-1595.2005.04.007]
  • [28] Liu G, Peng Q S, Bao H J. Texture mapping on real world models from multiple photographic images[J]. Journal of Software, 2005, 16(11): 2014–2020. [刘钢, 彭群生, 鲍虎军. 基于多幅实拍照片为真实景物模型添加纹理[J]. 软件学报, 2005, 16(11): 2014–2020. ]
  • [29] Guo L, Wang J Y, Huang Y Y. On texture mapping for realistic 3D reconstruction[J]. Journal of Image and Graphics, 2018, 12(10): 1881–1884. [郭玲, 王建宇, 黄炎焱. 真实感3D重建中的纹理映射技术[J]. 中国图象图形学报, 2018, 12(10): 1881–1884. ] [DOI:10.3969/j.issn.1006-8961.2007.10.045]
  • [30] Li Q, Dai S L, Zhao Y J, et al. A block LOD real-time rendering algorithm for large scale terrain[J]. Journal of Computer-Aided Design & Computer Graphics, 2013, 25(5): 708–713. [李钦, 戴树岭, 赵永嘉, 等. 分块LOD大规模地形实时渲染算法[J]. 计算机辅助设计与图形学学报, 2013, 25(5): 708–713. ] [DOI:10.3969/j.issn.1003-9775.2013.05.015]
  • [31] Kim J S, Li K J. Simplification of geometric objects in an indoor space[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 147: 146–162. [DOI:10.1016/j.isprsjprs.2018.11.017]
  • [32] Volino M, Hilton A. Layered view-dependent texture maps[C]//Proceedings of the 10th European Conference on Visual Media Production. London, UK: ACM, 2013.
  • [33] Qu H G. Market status and development direction of network video surveillance[J]. China Security & Protection, 2015(5): 32–35. [瞿洪桂. 网络视频监控的市场现状及发展方向[J]. 中国安防, 2015(5): 32–35. ] [DOI:10.3969/j.issn.1673-7873.2015.05.007]
  • [34] Guo H J, Mao Y Q, Shen S B. Implementation mechanism of dual stream network video transport technology[J]. Journal of System Simulation, 2013, 25(11): 2693–2698. [郭洪健, 毛燕琴, 沈苏彬. 一种双码流网络视频传送技术的实现机制[J]. 系统仿真学报, 2013, 25(11): 2693–2698. ]
  • [35] Zhong Y Z, Xiang Z, Shen H. Media Streaming and Video Server[M]. Beijing: Tsinghua University Press, 2003. [ 钟玉琢, 向哲, 沈洪. 流媒体和视频服务器[M]. 北京: 清华大学出版社, 2003.]
  • [36] Lee C A, Gasster S D, Plaza A, et al. Recent developments in high performance computing for remote sensing: a review[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2011, 4(3): 508–527. [DOI:10.1109/JSTARS.2011.2162643]
  • [37] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527–1554. [DOI:10.1162/neco.2006.18.7.1527]
  • [38] Zhang H, Wang K F, Wang F Y. Advances and perspectives on applications of deep learning in visual object detection[J]. Acta Automatica Sinica, 2017, 43(8): 1289–1305. [张慧, 王坤峰, 王飞跃. 深度学习在目标视觉检测中的应用进展与展望[J]. 自动化学报, 2017, 43(8): 1289–1305. ] [DOI:10.16383/j.aas.2017.c160822]