2. 上海航天技术研究院,上海 201109;
3. 北京跟踪与通信技术研究所,北京 100094
2. Shanghai Academy of Spaceflight Technology, Shanghai 201109, China;
3. Beijing Institute of Tracking and Telecommunication Technology, Beijing 100094, China
对于飞机等运动类遥感物体,由于其运动速度高、飞行成本大,获得多种参数下的高光谱图像用于检测研究的难度远远大于地面静物,因此采用仿真的方法获得多种条件下的图像是一种经济、高效可行的方式。高光谱图像仿真技术可以在不用实际飞行的情况下获得遥感器在不同场景、不同实验条件下的近似图像,不仅节约成本,而且数据生成效率高。通用的高光谱图形仿真方法一般从地物反射特性出发,通过数值模拟或者图像融合生成高光谱图像[1],仿真方法灵活,输入参数多,国、内外学者在此方面进行了较多的工作。Allen等[2]提出了AGR、SAIL、Prospect、FCR等模型研究了森林叶冠的图像仿真问题;文献[3-6]从场景地物反射率出发研究背景的图像仿真问题,获得了基于数学模型的地物场景仿真方法。
但传统的高光谱场景图像仿真方法由于涉及的元素较多,仿真链路较长,造成高光谱图像仿真的周期长,同时由于变量的误差传递链条较长仿真结果与实际应用的场景往往难以较好的符合。因此采用实际测量校正得到的背景数据和目标数据,通过数据合成的方式生成高光谱仿真图像,能够产生与实际应用场景符合性更好的高光谱仿真图像。本文基于上述考虑,通过基于实际测量的背景场景,结合仿真获得目标特性数据通过数据重采样、光谱耦合、随机噪声叠加及遥感器相对定标误差校正等计算,生成高光谱仿真图像,可以更加快速、高效的获得高光谱的图像数据,服务于特定场景下的异常检测算法性能评价等应用。
1 图像仿真的数学模型 1.1 飞机辐射特性计算方程飞行飞机的目标特性可由流动与传热计算控制方程、光谱辐射传输方程[7]进行计算。飞机流场计算时假设其流动为稳态流动,考虑高温燃气中燃烧产物浓度分布等条件[8-9],飞机流场与传热可由下述方程表示:
$ \frac{\partial \rho U_{i}}{\partial x_{i}}=0 $ | (1) |
$ \frac{\partial \rho U_{i} U_{j}}{\partial x_{i}}=-\frac{\partial P}{\partial x_{j}}+\frac{\partial}{\partial x_{i}}\left(\mu\left(\frac{\partial U_{i}}{\partial x_{j}}+\frac{\partial U_{j}}{\partial x_{i}}\right)-\rho\;\overline{u_{i} u_{j}}\right), i, j=1,2,3 $ | (2) |
$ \frac{\partial \rho U_{i} T}{\partial x_{i}}=\frac{\partial}{\partial x_{i}}\left(\Gamma \frac{\partial T}{\partial x_{i}}-\rho\;\overline{u_{i} \boldsymbol{\tau}}\right)-\frac{1}{C_{p}} \nabla \cdot q_{\mathrm{R}} $ | (3) |
$ \frac{\partial \rho U_{i} Y_{i}}{\partial x_{i}}=\frac{\partial}{\partial x_{i}}\left(D_{i} \frac{\partial Y_{i}}{\partial x_{i}}-\rho\;\overline{u_{i} y_{i}}\right) $ | (4) |
式中:ρ为流体密度,Ui、Uj为流体速度,P为流体压力,μ为流体的动力黏性系数,T为流体温度,Г为流体热扩散系数,Cp为流体定压比热容,ui、uj为湍流的脉动速度,τ为湍流的脉动温度,▽·qR为辐射热源,Yi为i组分的质量浓度,Di为该组分的质量扩散系数,
飞机红外辐射计算通过辐射亮度在参与性介质内的传输方程计算获得,即
$ \begin{gathered} \underbrace{\frac{\mathrm{d} L_{\lambda}(S)}{\mathrm{d} S}}_{(c)}=-\underbrace{\alpha_{\lambda} L_{\lambda}(S)}_{(E x)}+\underbrace{\alpha_{\lambda} L_{\lambda b}(S)}_{(E m)}-\underbrace{\sigma_{s \lambda} L_{\lambda}(S)}_{(E s)}+ \\ \underbrace{\frac{\sigma_{\lambda s}}{4 \pi} \int_{\omega_{i}=4 \pi} L_{\lambda}\left(S, \omega_{i}\right) {\mathit{\boldsymbol{ \boldsymbol{\varPhi}}}}\left(\lambda, \omega, \omega_{i}\right) \mathrm{d} \omega_{i}}_{(S)} \end{gathered} $ | (5) |
式中:(C)为单位时间内、单位面积、光谱能量在ω方向的单位立体角中传输单位距离后的变化率,(Ex)为被介质吸收引起的光谱能量衰减,(Em)为由于介质发射引起的光谱能量增加,(Es)为被介质散射引起的光谱能量衰减,(S)为各个方向投射在S处的能量的散射引起的ω方向上的光谱能量的增加,Φ(λ, ω, ωi)为相函数,ωi方向上的入射辐射亮度引起的ω方向上的光谱能量的增加。
求解上述方程的辐射边界条件与界面的辐射性质有关,对于灰体界面,辐射由壁面自身辐射的光谱辐射亮度与壁面对入射辐射的反射形成光谱辐射亮度共同组成,如下式所示。
$ {L_{\mathit{\boldsymbol{\lambda }},m}}(0) = {\mathit{\boldsymbol{\varepsilon }}_m}{L_{b\mathit{\boldsymbol{\lambda }}}}\left( {{T_m}} \right) + \frac{{1 - {\mathit{\boldsymbol{\varepsilon }}_m}}}{{\rm{ \mathit{ π} }}}H_{\mathit{\boldsymbol{\lambda }},m}^0 $ | (6) |
式中:εm为壁面的发射率,Tm为壁面的温度,Lbλ(Tm)为黑体温度为Tm时的光谱辐射亮度,Hλ, m0为壁面的入射光谱辐射照度。
1.2 高光谱亚像元图像合成仿真模型按照上述公式可获得目标特性,假设背景特性已经由观测获得起伏数据,则目标与背景按分辨率混合为亚像元时,可表示为
$ L_{\text {混合}}(x, y, \lambda)=\left\{\begin{array}{l} \boldsymbol{L}_{i} \cdot \boldsymbol{A}_{i}+e_{\text {noise }} \text {, 线性条件 } \\ f\left(\boldsymbol{L}_{i}, \boldsymbol{A}_{i, b}\right)+e_{\text {noise }}, \text { 非线性条件 } \end{array}\right. $ | (7) |
式中:Li为高光谱影像中任意一个L维的光谱向量,A=[a1, a2, a3,…,ai]为对应的组分,enoise为噪声项。由于实际应用中线性条件下计算应用较为方便[10],因此可采用线性混合模型描述目标与背景的耦合,考虑目标在图像中的空间位置分布,混合像元辐射表示为
$ \begin{aligned} &L_{\text {混合}}(x, y, \lambda)=A_{\mathrm{T}}(x, y) \times L_{\mathrm{T}}(\lambda)+ \\ &{\left[1-A_{\mathrm{T}}(x, y)\right] \times L_{B}(x, y, \lambda)+e} \end{aligned} $ | (8) |
式中:L混合(x, y, λ)为图像上混合位置的像元值;AT(x, y)为目标在像元(x, y)中的丰度,对于面积为Splan的飞机,在遥感器分辨率为Resol观测条件下,AT(x, y)=Splan/Resol2;LT(λ)为目标的光谱;LB(x, y, λ)为背景的光谱。一般通过数值仿真会获得目标的辐射强度LT及背景的辐射亮度值Hb[11],当考虑不同的丰度混合时,由于目标的尺寸不变,应考虑遥感器分辨率变化带来的背景与目标像元强度的仿真变化,因此仿真图像矩阵表示为
$ L_{\text {合成 }}(x, y, \lambda)=\left[\begin{array}{ccccc} \boldsymbol{\delta}_{\text {new }} H_{\mathrm{b}, 1}+e & \boldsymbol{\delta}_{\text {new }} H_{\mathrm{b} 1,2}+e & \cdots & \boldsymbol{\delta}_{\text {new }} H_{\mathrm{bl}, n-1}+e & \boldsymbol{\delta}_{\text {new }} H_{\mathrm{b} 1, n}+e \\ & \cdots & & & \\ \cdots & & & L_{\text {混和}}+e & \cdots \\ \boldsymbol{\delta}_{\text {new }} H_{\mathrm{bm}, 1}+e & \boldsymbol{\delta}_{\text {new }} H_{\mathrm{bm}, 2}+e & \cdots & \boldsymbol{\delta}_{\text {new }} H_{\mathrm{bm}, n-1}+e & \boldsymbol{\delta}_{\text {new }} H_{b n, n}+e \end{array}\right] $ | (9) |
式中,δnew为新的混合像元丰度下Anew下其他像元的校正系数,δnew=Resol2×AT/Anew。
在特定遥感器光谱响应特性下,目标和背景的高光谱数据需要进行校正,统一到遥感器的响应特性下,对目标光谱曲线和背景光谱曲线按照遥感器的光谱响应函数f(λi)进行光谱重采样校正采用如下:
$ L_{k}\left(\lambda_{j}\right)=\frac{\int_{\lambda_{j, L}}^{\lambda_{j, U}} \rho_{k}(\lambda) \times f_{j}(\lambda) \mathrm{d} \lambda}{\int_{\lambda_{j, L}}^{\lambda_{j, U}} f_{j}(\lambda) \mathrm{d} \lambda} $ | (10) |
式中:Lk(λj)为目标或者背景光谱k按照波段λj的遥感器光谱响应等效后在波段λj处的光谱值,fj(λ)为波段λj的遥感器光谱响应函数,λj,U、λj,L分别为波段λj的上、下波长范围,Lk(λ)为k的光谱曲线。
高光谱遥感器由于谱段较多,一般没有完整提供每个波段的光谱响应函数,一般提供中心波段和半带宽(Full width half maximum,FWHM)[12],其光谱响应函数通常可以根据中心波长与半带宽通过高斯函数模型进行模拟[13]。
$ f\left(\lambda_{i}\right)=\frac{1}{\sigma \sqrt{2 \pi}} \mathrm{e}^{\frac{\left(\lambda_{i}-\mu\right)^{2}}{2 \sigma^{2}}} $ | (11) |
$ \sigma=\mathrm{FWHM} /(2 \times \sqrt{2 \ln 2}) $ | (12) |
式中:μ为中心波长,σ为标准差,FWHM为光谱分辨率。
实际上,随机噪声、遥感器相对辐射定标误差也将影响成像质量[14-15],在上述目标和背景项上叠加噪声随机误差和相对辐射定标误差,得到DN值图像描述为
$ \begin{aligned} \operatorname{DN}(x, y, \lambda)=&\left[\operatorname{gain}_{\mathrm{sig}} \times L_{\text {合成 }}(x, y, \lambda)+\right.\\ &\text { gain } \left._{\text {noise }} \times \mathrm{e}_{\text {nosise }}(x, y, \lambda)\right] \times \\ & n_{\text {cam }}(x, y, \lambda) \end{aligned} $ | (13) |
式中:DN(x, y, λ)为仿真图像像元DN值,gainsig为信号的增益,gainnoise为噪声增益,L合成(x, y, λ)为入瞳辐射值,enosise(x, y, λ)为噪声辐射值,ncam(x, y, λ)为考虑遥感器相对定标的误差系数。
通过目标光谱和背景光谱生成高光谱亚像元仿真图像的基本流程如图 1所示,假设已经通过仿真的方式获得目标和背景经过大气校正的数据,则可采用上述公式开展图像模拟。
仿真前试验测定飞机的平均反射率曲线并与发动机边界条件一并输入仿真模型, 见表 1。
10 km和0.1 km的大气吸收系数如图 2所示,输入经仿真计算获得目标辐射特性如图 3、4所示。
背景起伏数据采用Landsat卫星在轨获取的海背景图像如图 5所示,将准备的图 4所示的背景光谱仿真数据赋予每个背景像元即可得到背景起伏高光谱三维图像矩阵[16-17]。为模拟在不同像元丰度下的异常检测情况,以飞机目标0.42亚像元丰度为起点,依次序列形成0.12~0.42的丰度图像。其他仿真参数见表 2及图 6所示。
根据亚像元图像仿真输入,以0.004的丰度步进值进行仿真,在每个谱段的高光谱图像序列上一共获得了75个亚像元的目标,按照5×15排列,30 dB信噪比下检测结果如图 7所示。从图 7(a)中可以发现,亚像元的辐射强度较弱,肉眼已经较难分辨,图 7(b)为局部放大图,可以看出亚像元较大丰度像元与周围像元的灰度差异。
经典的检测方法如RX算法、CEM算法分别代表了未知飞机光谱下的异常检测算法和已知光谱下的光谱匹配算法,目前两种算法的仍是高光谱检测中的基础算法。其中RX异常检测算法和CEM异常检测算法分别表示为:
$ \operatorname{RX}\left(\boldsymbol{r}_{x}\right)=\left(\boldsymbol{r}_{x}-\mu_{b}\right)^{\mathrm{T}} C_{b}^{-1}\left(\boldsymbol{r}_{x}-\mu_{b}\right) $ | (14) |
$ \operatorname{CEM}\left(\boldsymbol{r}_{x}\right)=\boldsymbol{r}_{x}^{\mathrm{T}} \frac{R^{-1} d}{d^{T} R^{-1} d} $ | (15) |
式中: RX(rx)为RX检测算子,CEM(rx)为CEM异常检测算子,rx为待检测像素光谱向量,μb为背景窗口均值,Cb为背景窗口协方差,d为待检测飞机的光谱。
采用RX异常检测方法对结果进行异常检测,获得RX算法的ROC曲线如图 7(c)所示,可以发现部分亚像元目标已经难以在低虚警率下检出。
针对丰度为0.2和0.3的图像分别计算不同信噪比下检出异常目标最小的检测阈值,结果如图 8(a)所示,从图中可以看出,在两种不同的丰度下,异常目标检测所需的最小检测阈值随信噪比的升高而提升,在信噪比较小时,目标检测阈值明显减小。设置信噪比为10 dB,采用RX算法和CEM检测算法[19-20]开展异常检测,检测结果如图 8(b)、图 8(c)所示,从图中可以看出,RX算法已经无法从仿真图中检出预设的异常像元位置,CEM仍然可以检出异常像元结果。
1) 采用仿真目标特性和背景起伏数据通过数值计算可以高效获得多种目标丰度、多信噪比的亚像元仿真图像。
2) 高光谱亚像元图像仿真中噪声会对检测结果产生较大影像,当噪声较大时,可以采用已知目标光谱匹配异常检测提高检测概率。
3) 本文的仿真方法可以用于亚像元异常目标检测中不同类型检测算法性能的比较。
[1] |
LI Xuelong, YUAN Yue, WANG Qi, et al. Hyperspectral and multispectral image fusion based on band simulation[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(3): 479. DOI:10.1109/LGRS.2019.2926308 |
[2] |
ALLEN W A, GAYLE T V, RICHARDON A J. Plant conopy irradiance specified by duntley equation[J]. Jounal Optical Society of Amercia, 1970, 6(3): 372. DOI:10.1364/JOSA.60.000372 |
[3] |
顾桂华. 高光谱遥感场景模型仿真研究[D]. 哈尔滨: 哈尔滨工业大学, 2009 GU Guihua. Scene modeling for simulation of hyperspectral remote sensing system[D]. Harbin: Harbin Institute of Technology, 2009. DOI: 10.7666/d.D253191 |
[4] |
魏斌, 赵继广, 黄璜. 高光谱场景辐亮度模型仿真研究[J]. 计算机测量与控制, 2019, 27(1): 209. WEI Bin, ZHAO Jiguang, HUANG Huang. Study on radiance model simulation of hyperspectral scene[J]. Computer Measurement and Control, 2019, 27(1): 209. DOI:10.16526/j.cnki.11-4762/tp.2019.01.043 |
[5] |
丁标. 高光谱三维红外场景仿真系统研究[D]. 西安: 西安电子科技大学, 2014 DING Biao. Research on the 3D-infrared simulation system of hyperspectral[D]. Xi'an: Xidian University, 2014. DOI: 10.7666/d.D548965 |
[6] |
李波, 王祥凤, 孙丽娜, 等. 中波红外高光谱仿真中的辐射影响模型[J]. 红外与激光工程, 2018, 47(3): 0304003-1. LI Bo, WANG Xiangfeng, SUN Lina, et al. Radiation influence model in MWIR hyperspectral simulation[J]. Infrared and Laser Engineering, 2018, 47(3): 0304003-1. DOI:10.3788/IRLA201847.0304003 |
[7] |
ZHOU Yue, WANG Qiang, LI Ting. A new model to simulate infrared radiation from an aircraft exhaust system[J]. Chinese Journal of Aeronautics, 2017, 30(2): 651. DOI:10.1016/j.cja.2017.02.014 |
[8] |
李建勋, 童中翔, 王超哲, 等. 飞机目标红外特性计算与图像仿真[J]. 兵工学报, 2012, 33(11): 1310. LI Jianxun, TONG Zhongxiang, WANG Chaozhe, et al. Calculation and image simulation of aircraft infrared radiation characteristic[J]. Acta Armamentarii, 2012, 33(11): 1310. |
[9] |
王明明, 郝颖明, 朱枫, 等. 空中目标红外辐射特性计算与实时仿真[J]. 红外与激光工程, 2012, 41(8): 1979. WANG Mingming, HAO Yingming, ZHU Feng, et al. IR radiation calculation and real time simulation of air targets[J]. Infrared and Laser Engineering, 2012, 41(8): 1979. DOI:10.3969/j.issn.1007-2276.2012.08.003 |
[10] |
袁静, 章毓晋, 高方平. 线性高光谱解混模型综述[J]. 红外与毫米波学报, 2018, 37(5): 553. YUAN Jing, ZHANG Yujin, GAO Fangping. An overview on linear hyperspectral unmixing[J]. J. Infrared Millim. Waves, 2018, 37(5): 553. DOI:10.11972/j.issn.1001-9014.2018.05.008 |
[11] |
黄伟. 天基典型复杂背景高光谱图像仿真[D]. 南京: 南京航空航天大学, 2019 HUANG Wei. Simulation algorithm for hyperspectral image of space-based typical complex background[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2019 |
[12] |
刘绥华, 晏磊, 杨彬, 等. 光谱参数对基于光谱重构的高光谱数据模拟的影响[J]. 光谱学与光谱分析, 2013, 33(2): 513. LIU Suihua, YAN Lei, YANG Bin, et al. Influence of sensor spectral parameters on the simulation of hypespectral[J]. Spectroscopy and Spectral Analysis, 2013, 33(2): 513. DOI:10.3964/j.issn.1000-0593(2013)02-0513-04 |
[13] |
刘辉, 白峰杉. 基于混合高斯过程模型的高光谱图像分类算法[J]. 高校应用数学学报, 2010, 25(4): 379. LIU Hui, BAI Fengshan. Hyperspectral image classification based on mixed Gaussian process model[J]. Applied Mathematics a Journal of Chinese Universities, 2010, 25(4): 379. DOI:10.3969/j.issn.1000-4424.2010.04.001 |
[14] |
常威威, 郭雷, 刘坤, 等. 基于主分量分析的高光谱遥感数据噪声消除方法[J]. 计算机测量与控制, 2009, 17(6): 1070. CHANG Weiwei, GUO Lei, LIU Kun, et al. Denoising of Hyperspectral data based on wavelet transform and principal component analysis[J]. Computer Measurement and Control, 2009, 17(6): 1070. DOI:10.16526/j.cnki.11-4762/tp.2009.06.063 |
[15] |
金辉, 姜会林, 郑玉权, 等. 高光谱遥感器的光谱定标[J]. 发光学报, 2013, 34(2): 235. JIN Hui, JIANG Huilin, ZHENG Yuquan, et al. Spectral calibration of the hyperspectral optical remote sensor[J]. Chinese Journal of Luminescence, 2013, 34(2): 235. DOI:10.3788/fgxb20133402.0235 |
[16] |
THEILER J, ZIEMANN A. Local background estimation and the replacement target model[J]. Proceedings of SPIE, 2017, 101980V. DOI:10.1117/12.2262833 |
[17] |
LI Yunsong, XIE Weiying, LI Huaqing, et al. Hyperspectral image reconstruction by deep convolutional neural network for classification[J]. Pattern Recognition, 2017, 63: 371. DOI:10.1016/j.patcog.2016.10.019 |
[18] |
蔡坤宝, 王成良, 陈曾汉. 产生标准高斯白噪声序列的方法[J]. 中国电机工程学报, 2004, 24(12): 207. CAI Kunbao, WANG Chengliang, CHEN Zenhan. A method for generating standard Gaussian white noise sequences[J]. Proceedings of the CSEE, 2004, 24(12): 207. DOI:10.3321/j.issn:0258-8013.2004.12.038 |
[19] |
史振威, 吴俊, 杨硕, 等. RX及其变种在高光谱图像中的异常检测[J]. 红外与激光工程, 2012, 41(3): 796. SHI Zhenwei, WU Jun, YANG Shuo, et al. RX and its variants for anomaly detection in hyperspectral images[J]. Infrared and Laser Engineering, 2012, 41(3): 796. DOI:10.3969/j.issn.1007-2276.2012.03.046 |
[20] |
寻丽娜, 方勇华, 李新. 基于CEM的高光谱图像小目标检测算法[J]. 光电工程, 2007, 34(7): 18. XUN Lina, FANG Yonghua, LI Xin. Target detection algorithm in hyperspectral image based on CEM[J]. Opto-Electronic Engineering, 2007, 34(7): 18. DOI:10.3969/j.issn.1003-501X.2007.07.004 |