2021, Vol. 53
2. 寒地城乡人居环境科学与技术工业和信息化部重点实验室(哈尔滨工业大学)，哈尔滨 150001
2. Key Laboratory of Cold Region Urban and Rural Human Settlement Environment Science and Technology (Harbin Institute of Technology), Ministry of Industry and Information Technology, Harbin 150001, China
建筑环境信息建模技术在城市与建筑能耗分析、日照辐射利用潜力评估、历史文化建筑遗产保护、城市风貌控制等方面具有广泛应用.随着生态文明城市建设的不断深入，既有建筑文脉与历史风貌的传承与保护日益受到关注，对建筑环境信息建模技术提出了更高的建模精度和效率要求.
工业用计算机断层成像技术、激光雷达扫描、低空摄影测量等技术逐步引入建筑环境信息建模过程[1]，其中工业用计算机断层成像技术和激光雷达扫描虽然能够获得较高精度的三维信息，但其价格昂贵，操作流程繁琐，设备不易携带，很难进行推广；而低空摄影测量技术凭借其采集成本低、操作简单，不易受环境、地形、天气因素影响的技术优势[2]，可高效地获取建筑与环境信息数据，在城市规划、农业植保、施工监测、工程测算等领域得到了更为广泛的应用.
尽管低空摄影测量技术在近几年取得了迅猛发展，但限于无人机飞行轨迹、高度等因素限制，其对建筑檐下、局部悬挑等建筑细部信息的采集仍存在较大局限，其采集难度高、耗时长、精度差[3]，影响了建筑环境信息建模精度和效率.针对上述问题，本文旨在探索融合多视角图像的建筑环境信息建模方法与技术，突破既有单一数据源建筑环境信息建模精度和效率瓶颈，并结合实践案例对所提出方法进行应用效果验证.
1 国内外研究现状随着文物保护日益受到关注，越来越多的学者开始投入到文物的三维重建与保护工作中.高超等[4]利用三维激光扫描仪对近地面处和古塔内部信息进行采集，利用无人机对塔身和塔顶信息进行补充采集，实现了对古塔的数字化重建.闫宇等[3]利用激光扫描仪和无人机等工具对古建筑进行了测绘方法的创新，避免了传统手工测绘中人工操作危险、效率低的问题，但是利用激光雷达与航空影像结合，在内业处理方面比较复杂，花费时间长.于丙辰、孙运豪、刘建国等[1, 5-7]利用倾斜摄影测量对大型不可移动建筑文物进行了三维重建.屠大维等[8]利用三维扫描仪对花瓶进行扫描，可满足对小型文物的快速数字化重建.石力文等[9]将激光雷达扫描的点云数据与BIM数据结合，提出一种三维激光扫描技术与BIM相结合的古建筑测绘方法.Ragia等[10]利用全站仪对克里特岛一栋历史建筑进行测绘，利用内插法将建筑细部进行细分，得到了较好的真三维模型，但该方法自动化程度低，不能满足大规模建模需要.Alidoost等[11]通过对无人机多视角影像的内外参数修改，提高了对遮挡区域的建模精度.Lingua等[12]分别应用激光雷达与无人机倾斜摄影进行了瓦拉洛修道院的三维重建，比较分析表明激光雷达建模精度略高，但无人机具有快速、操作简单的优点，更利于权衡建模过程中的精度和效率需求.
在上述研究中，国内外学者根据采测对象特征以及建模精度要求，通过倾斜摄影测量、激光雷达扫描以及多种工具的结合等不同的技术和方法完成了采测对象的三维重建.整体来说，通过激光雷达和倾斜摄影测量均可以获得精确的几何模型.其中通过无人机低空摄影测量进行三维重建，自动化程度高，操作简单，但是对部分建筑构件的细节建模精度有限；通过雷达点云进行三维重建，获得的模型精度高，但是其后期需要处理大量的点云数据，操作复杂，不利于进行大规模的三维重建.
基于低空摄影测量的建筑环境信息建模方法虽然具有操作简单快捷的优势，但其在复杂建筑形态建模过程中，例如相对于构件繁琐的中国传统建筑，仅通过单一的无人机低空摄影图像很难满足建模精度要求，亟待探索更为精确的建筑环境信息建模方法.
2 模型建构方法与过程本文以某历史保护建筑为例，探索融合低空摄影测量与地面拍摄图像的建筑环境信息建模方法.以近景摄影测量为基础，将无人机影像与相机影像相结合，通过数据采集、影像处理、空三处理、空三合并、生成TIN模型、纹理映射、模型修复等步骤，建立实践案例的真三维数字模型.
2.1 实践案例概况实践案例为寒地城市哈尔滨的2栋历史保护建筑，编号为1号楼和2号楼，其总平面布局见图 1，其中1号楼位于基地中央，建筑入口面向基地主入口，2号楼紧邻兆麟街.
|
图 1 建筑总平面 Fig. 1 Layout of building site |
1号楼为折衷主义建筑风格，建筑主立面呈对称布局，建筑装饰和建筑结构融为一体，装饰线条更加理性，屋顶为红色，为帐篷式屋顶，檐口为砖砌线脚，凹凸多变，塑造了丰富的光影变化.
2号楼则具有中国传统建筑风格特征，其主体为砖混结构，建筑屋顶为歇山顶形式，建筑立面饰有柱体、栏杆、雕花，并绘有彩画，具有很高的艺术价值，是历史保护建筑[13].
在本次对建筑采测的要求中，需要对建筑的外观做出精确的测量，包括建筑外观的色彩、构件的尺寸以及位置、各种转角线条的变化.
2.2 建筑环境信息采集流程实践项目依托的数据源包括低空摄影测量图像和近地面处的相机拍摄图像数据.将无人机采集影像的pos数据与数码相机影像的同名点坐标进行2组数据源的影像匹配，并通过设置连接点和控制点坐标，建立纠偏方程，提高影像匹配精度.建模过程将自动匹配各位置不同角度的最佳影像，对其进行特征点匹配，构建不规则三角网格，创建白模，并自动进行纹理映射.
通过采用SMF算法进行特征点匹配[14]，以F(I)表示图像I周围的特征点，对于各图像对I和J，考虑每一个特征f∈F(I)找到最近邻的特征向量
| $ {\mathit{\boldsymbol{f}}_{nn}} = {\rm{argmin}}{\left\| {{f_d} - f_d^\prime } \right\|_2},{f^\prime } \in F\left( J \right). $ | (1) |
式中：fd为图像I中的1个特征点与图像J特征点的距离，fd′为图像J中的1个特征点与图像I特征点的距离，fnn为2个图像之间最为邻近的特征向量.
优化匹配特征点，建立DSM模型，将建筑环境图像数据中的颜色和纹理信息映射到模型中，建立真三维模型.实验流程见图 2.
|
图 2 流程图 Fig. 2 Flow chart of the research |
数据采集的方式决定了后期建模的准确性，应用Mavic 2 Pro无人机以及尼康D5300相机进行数据采集.通过采用Altizure软件设计无人机飞行路线，确定图像数据采集范围，最后生成了5次航程路线，包括1条正射影像路线和4条倾斜影像路线，无人机飞行姿态与航线布置见图 3、4.
|
图 3 无人机飞行示意 Fig. 3 Flight attitude of UAV |
|
图 4 无人机航线布置方案 Fig. 4 UAV route arrangement scheme |
根据CH/Z 3005—2010《低空数字航空摄影规范》中的规定，需要在飞行前设置无人机飞行的高度以满足拍摄物体的精度要求.地面航高和地面分辨率[14]的关系式为
| $ H = \frac{{{\rm{ }}f*{G_{{\rm{G - GSD}}}}}}{{a}}. $ | (2) |
式中：H为摄影航高，单位为m；f为镜头焦距，单位为mm；GG-GSD为地面分辨率，单位为m；a为像元尺寸，单位为mm.
在设计中，确定了地面分辨率要高于0.03 m，以此计算出航高约为130 m.通过无人机试飞观察航行地块及周围建筑在130 m高度对飞行高度没有影响，因此确定130 m飞行高度为安全飞行高度.同时设定在低空摄影测量中，航向重叠度在60%~80%之间，旁向重叠度在15%~60%之间.在本项目中，由于项目的精度要求较高，设置旁向重叠度和航向重叠度都为80%.相机的倾斜角为30°，无人机航程设置参数见表 1.
|
表 1 无人机飞行参数 Tab. 1 UAV flight parameters |
同时，利用数码相机对2号楼正立面进行数据采集，在采集前需要设置采集点，采集点与拍摄的建筑立面平行设置.由于采集照片图幅较小，为了同时满足精度和图像精准匹配的需求，设置距离建筑沿街主立面25 m、34 m的2排图像采集点.相邻采集点照片的重叠率约为80%，每个采集点拍摄2~3张照片，相机采集点设置见图 5.
|
图 5 相机采集点设置 Fig. 5 Settings of camera acquisition points |
为了避免相机拍摄的影像与无人机拍摄的影像角度差别过大而导致重建失败，在地面进行图像采集时，拍摄的影像中心法线应与地面保持平行或者向下微倾，影像不宜向上倾斜，不宜与地面有较大的角度.同时，空中拍摄的影像与地面影像颜色均匀度、光照情况应相似，避免在三维重建过程中出现位置点识别错误或者纹理映射混乱的问题[15].
2.4 数据模拟加工 2.4.1 图像数据预处理在采集图像的过程中，图像色彩的均匀度、亮度、清晰程度对后期的重建效果影响很大，所以在重建之前，要对影像的质量进行处理.处理时利用多尺度Retinex滤波算法(MSR)[16]对采集的图像进行增强处理.该算法在彩色图像增强、去雾、彩色图像恢复方面都有很好的效果，其数学模型为
| $ {m_{in}}\left( {x, y} \right) = \sum\limits_{{\rm{ }}i = 1}^n {{w_n}{r_{in}}\left( {x, y} \right)} {\rm{ }}. $ | (3) |
式中：
在对采测图像处理完成后，需要对其进行三维重建.本次三维重建使用ContextCapture软件.首先在ContextCapture Master软件中创建2个独立区块，分别为单独导入相机拍摄影像的block1和单独导入无人机拍摄影像的block2.对block1和block2进行空三处理，生成结果为block1-AT、block2-AT.空三处理可以将无序的影像重新排列，还原影像的真实空间位置，恢复其初步的三维点云模型.初步空三完成后，在block1中设置连接点，设置的连接点需要在block2中清晰可见.同时，每个连接点至少有3张以上清晰的影像，连接点的数量要多于3个.当连接点设置完成后，将连接点空间位置信息导入到block2中，匹配连接点，检查连接点匹配是否正确.然后对block2-AT进行空中三角测量，生成block2-AT-AT，合并block1-AT和block2-AT-AT，对合并结果进行三维重建[17].
在进行相机的影像数据与无人机影像数据融合的过程中，如果连接点的位置设置不准确，会导致影像匹配失败.在连接点的设置过程中，匹配该位置的图像不宜过多，要求图像对于该连接点的位置要清晰可见，图片过多可能会导致空三过程中计算位置失败的情况发生.经过实验证明，各位置匹配的图像在10~15张时成功率比较高.
根据计算机的性能和内存的大小，将任务分解成一定数量的瓦片，保证每个瓦片重建的任务所需的内存小于计算机的可用内存.计算机会对每个瓦片单独重建，重建包括密集点云生成、TIN三角网格建立、纹理映射3个步骤[18].通过对进一步空三测量得到的密集点云数据切分处理后，再进行不同层次的TIN三角网格生成，将三角网格模型进行简化.然后经过纹理自动映射，生成该区域的真三维模型.模型的格式设为OBJ格式，以便后期对模型进行修整.
在无人机影像和相机影像融合的过程中，可能会出现融合失败的现象.当出现这种状况时，要检查连接点的设置是否准确，重新设置连接点，重复上述步骤.
2.5 模型后期处理重建完成的建筑环境信息模型由于部分区域被遮挡、照片数量不足或者特征点匹配错误等原因会出现模型破面现象.为了提高整个模型的质量，需要对模型进行修复.将Smart 3D软件中生成的OBJ格式模型瓦片导入Meshmixer软件中进行检查修复，同时对模型曲面优化，修补模型破面，进行地面平整以及对悬浮物进行删除等.最后将修复好的模型瓦片导入到Smart 3D中，进行纹理的重新映射.映射完成后根据后期设计与保护需要可以将建筑进行单体化处理、构件力学分析、建筑环境性能模拟以及建筑病害检测等[19].为修复、保护等后续工作提供技术支持.
3 信息模型的生成结果上述模型的生成过程见图 6，通过对多视角图像数据融合的三维重建，得到了精度较高的真三维模型，清晰地呈现了历史建筑立面的细小纹理、雕花以及屋檐下的斗拱构件关系.在应用单一无人机拍摄数据进行三维重建时，会发现建筑的檐下空间由于没有充足的数据而导致重建缺失的现象，同时重建的精度低于无人机与相机融合数据进行重建的结果，2种重建模型的对比见图 7.为分析三维重建精度，在实践案例上选择了7个实测点，采集其建筑形态数据来计算模型精度，见表 2.
|
图 6 数据重建过程 Fig. 6 Multi-source data reconstruction process |
|
图 7 重建模型对比 Fig. 7 Comparison of reconstruction models |
|
|
表 2 三维模型精度测试 Tab. 2 Comparison of model accuracy |
由表 2计算可知，经过重建的三维模型误差为0.067 m, 较好地满足了后期建筑改造与文物保护要求.对其中5个等级的模型网格数量进行对比，结果见表 3和图 8.随着模型精度的提高，模型的三角面数量会大大提高，同时经多视角图像重建后的模型三角网格面数量相比单一数据源模型的网格面数量有了很大提高，尤其在模型的转折处(窗户、墙裙线脚)，三角网格面会细致很多，见图 9、图 10.
|
|
表 3 模型三角网格面数量对比 Tab. 3 Comparison of the number of model triangular mesh faces |
|
图 8 模型网格面数量对比 Fig. 8 Comparison of the number of model triangular mesh faces |
|
图 9 单一数据L21模型 Fig. 9 Single data of L21 model |
|
图 10 多视角图像数据L21模型 Fig. 10 Multi-view image data of L21 model |
以哈尔滨某历史保护建筑的三维建模为例，探索了基于多视角图像的建筑环境信息建模方法.该方法能够较为精细地建立建筑真三维模型，能够准确重建檐下等建筑细部.解决了单一无人机影像数据建模方法易导致部分建筑信息缺失、细节不足的问题，实现了建筑环境信息的精确获取和建模，为大规模不可移动文物三维信息模型构建提供技术支撑.同时，为建筑遗产精细化测量成果的纵向应用发展提供了巨大发展潜力.
基于多视角图像数据进行三维重建，仍然存在着一定的不足：重建模型的精度受照片质量影响较大；重建效果受光照影响较大，较长的拍摄时间导致的阴影变化会导致建筑环境信息模型表面不平整、阴影不均匀等现象的出现.在今后的研究中，将会进一步改善不足，从而获得更为精确的真三维模型.
| [1] |
于丙辰, 陈刚, 段淼然, 等. 无人机遥感在大型不可移动文物三维重建中的应用[J]. 测绘通报, 2017(5): 43. YU Bingchen, CHEN Gang, DUAN Miaoran, et al. UAV RS applied in 3D reconstruction of huge immovable cultural relics[J]. Bulletin of Surveying and Mapping, 2017(5): 43. |
| [2] |
王柳, 黄鹤, 李若鹏, 等. 消费级无人机倾斜影像采集关键技术研究[J]. 测绘通报, 2017, 增刊1: 41. WANG Liu, HUANG He, LI Ruopeng, et al. Study on key technology of oblique image acquisition for consumer unmanned aerial vehicle[J]. Bulletin of Surveying and Mapping, 2017, 增刊1(S1): 41. DOI:10.13474/j.cnki.11-2246.2017.0612 |
| [3] |
闫宇, 李哲, 张玉坤, 等. "空地协同"的古建筑测绘方法初探——北京寿皇殿建筑群实施案例分析和总结[J]. 古建园林技术, 2015(4): 81. YAN Yu, LI Zhe, ZHANG Yukun, et al. A probe into the air-ground coordination method for historic building surveying and mapping—Analysis and summary of Beijing Shouhuang Palace Complex Surveying Project[J]. Traditional Chinese Architecture and Gardens, 2015(4): 81. |
| [4] |
高超, 王国利, 李群, 等. 基于多源数据的古塔三维精细化建模[J]. 工程勘察, 2018, 46(4): 36. GAO Chao, WANG Guoli, LI Qun, et al. Precise 3D reconstruction of ancient pagoda based on multi-source data[J]. Geotechnical Investigation & Surveying, 2018, 46(4): 36. |
| [5] |
孙运豪, 高洪, 胡朵朵, 等. 无人机倾斜摄影在文物修复中的应用[J]. 北京测绘, 2017(5): 92. SUN Yunhao, GAO Hong, HU Duoduo, et al. Application of the UAV oblique photography technology in the restoration[J]. Beijing Surveying and Mapping, 2017(5): 92. DOI:10.19580/j.cnki.1007-3000.2017.05.021 |
| [6] |
刘建国. 考古遗址的超低空拍摄与数据处理[J]. 考古, 2015(11): 98. LIU Jianguo. The low-altitude photography and data processing of the archaeological sites[J]. Archaeology, 2015(11): 98. |
| [7] |
刘建国. 三维重建在文物考古工作中的应用[J]. 中国文化遗产, 2015(5): 43. LIU Jianguo. The application of 3D reconstruction in cultural relic archaeology[J]. China Cultural Heritage, 2015(5): 43. |
| [8] |
屠大维, 兰浩, 张曦. 文物数字化三维重建技术研究[J]. 激光与光电子学进展, 2019, 56(19): 191504. TU Dawei, LAN Hao, ZHANG Xi. Digital three-dimensional reconstruction technology of cultural relics[J]. Laser & Optoelectronics Progress, 2019, 56(19): 191504. DOI:10.3788/LOP56.191504 |
| [9] |
石力文, 侯妙乐, 胡云岗, 等. 基于点云数据与BIM的古建筑三维信息表达方法研究[J]. 遗产与保护研究, 2018, 3(7): 46. SHI Liwen, HOU Miaole, HU Yungang, et al. Research on 3D information representation method of ancient architecture based on point cloud data and BIM[J]. Research on Heritages and Preservation, 2018, 3(7): 46. DOI:10.19490/j.cnki.issn2096-0913.2018.07.010 |
| [10] |
RAGIA L, SARRI F, MANIA K, 2015. 3D reconstruction and visualization of alternatives for restoration of historic buildings: a new approach[C]// 2015 1st International Conference on Geographical Information Systems Theory, Applications and Management (GISTAM). Barcelona: IEEE, 2015
|
| [11] |
ALIDOOST F, AREFI H. An image-based technique for 3D building reconstruction using multi-view UAV images[J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2015, XL-1/W5: 43. DOI:10.5194/isprsarchives-XL-1-W5-43-2015 |
| [12] |
LINGUA A, NOARDO F, SPANÒ A, et al. 3D model generation using oblique images acquired by UAV[J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, XLⅡ-4/W2: 107. DOI:10.5194/isprs-archives-XLⅡ-4-W2-107-2017 |
| [13] |
李晓霁. 哈尔滨近代中国传统建筑风格的流变—以文庙、极乐寺与哈军工历史街区为例[J]. 哈尔滨工业大学学报(社会科学版), 2010, 12(4): 26. LI Xiaoji. Evolvement of Chinese traditional architectural styles in modern times in Harbin—Taking the historic blocks of Confucius Temple, Jile Temple and Military Engineering Institute of the PLA for instances[J]. Journal of Harbin Institute of Technology (Social Sciences Edition), 2010, 12(4): 26. DOI:10.16822/j.cnki.hitskb.2010.04.005 |
| [14] |
缪玉周.消费级无人机倾斜摄影测量技术在构建城市真三维模型中的应用研究[D].上海: 东华理工大学, 2018 MIAO Yuzhou. Research on application of UAV oblique photogrammetry technology in building real 3D model of urban[D]. Shanghai: East China University of Technology, 2018 |
| [15] |
张寅, 李阳, 陈家华, 等.基于Smart 3D的多源影像实景三维建模研究[J].地球科学前沿, 2018, 8(8): 1316 ZHANG Yin, LI Yang, CHEN Jiahua, et al. Three dimensional dioramas modeling research of oblique images based on Smart 3D[J]. 2018, 8(8): 1316. DOI: 10.12677/AG.2018.88143 |
| [16] |
刘海龙, 张安兵, 王贺封, 等. 改进多尺度Retinex增强算法的遥感影像不均匀性校正研究[J]. 测绘地理信息, 2019, 44(4): 107. LIU Hailong, ZHANG Anbing, WANG Hefeng, et al. Study on uniform light uniformity of remote sensing image based on improved multi-scale Retinex enhancement algorithm[J]. Journal of Geomatics, 2019, 44(4): 107. |
| [17] |
JAMES F. How to Merge models from different data sources[EB/OL].[2020-01-02]. https://communities.bentley.com/products/3d_imaging_and_point_cloud_software/w/wiki/41654/how-to-merge-models-from-different-data-sources
|
| [18] |
范攀峰, 李露露. 基于Smart3D的低空无人机倾斜摄影实景三维建模研究[J]. 测绘通报, 2017(增刊2): 77. FAN Panfeng, LI Lulu. A three-dimensional modeling study based on the technique of low-altitude UAV oblique photogrammetry and Smart 3D software[J]. Bulletin of Surveying and Mapping, 2017(S2): 77. |
| [19] |
孙政, 曹永康, 张莹莹. 基于图像的三维重建在建筑遗产测绘中的应用[J]. 遗产与保护研究, 2018, 3(1): 30. SUN Zheng, CAO Yongkang, ZHANG Yingying. Applications of image-based modeling in architectural heritage surveying[J]. Research on Heritages and Preservation, 2018, 3(1): 30. DOI:10.3969/j.issn.2096-0913.2018.01.006 |