Remote Sensing Image Fusion Using Bidimensional Empirical Mode Decomposition and the Least Squares Theory

Due to the data acquired by most optical earth observation satellite such as IKONOS, QuickBird-2 and GF-1 consist of a panchromatic image with high spatial resolution and multiple multispectral images with low spatial resolution. Many image fusion techniques have been developed to produce high resolution multispectral image. Considering panchromatic image and multispectral images contain the same spatial information with different accuracy, using the least square theory could estimate optimal spatial information. Compared with previous spatial details injection mode, this mode is more accurate and robust. In this paper, an image fusion method using Bidimensional Empirical Mode Decomposition (BEMD) and the least square theory is proposed to merge multispectral images and panchromatic image. After multi-spectral images were transformed from RGB space into IHS space, next I component and Panchromatic are decomposed by BEMD, then using the least squares theory to evaluate optimal spatial information and inject spatial information, finally completing fusion through inverse BEMD and inverse intensity-hue-saturation transform. Two data sets are used to evaluate the proposed fusion method, GF-1 images and QuickBird-2 images. The fusion images were evaluated visually and statistically. The evaluation results show the method proposed in this paper achieves the best performance compared with the conventional method.

lp norm inverse spectral decomposition and its multi-sparsity fusion interpretation

Spectral decomposition has been widely used in the detection and identifi cation of underground anomalous features(such as faults,river channels,and karst caves).However,the conventional spectral decomposition method is restrained by the window function,and hence,it mostly has low time–frequency focusing and resolution,thereby hampering the fi ne interpretation of seismic targets.To solve this problem,we investigated the sparse inverse spectral decomposition constrained by the lp norm(0<p≤1).Using a numerical model,we demonstrated the higher time–frequency resolution of this method and its capability for improving the seismic interpretation for thin layers.Moreover,given the actual underground geology that can be often complex,we further propose a p-norm constrained inverse spectral attribute interpretation method based on multiresolution time–frequency feature fusion.By comprehensively analyzing the time–frequency spectrum results constrained by the diff erent p-norms,we can obtain more refined interpretation results than those obtained by the traditional strategy,which incorporates a single norm constraint.Finally,the proposed strategy was applied to the processing and interpretation of actual three-dimensional seismic data for a study area covering about 230 km^(2) in western China.The results reveal that the surface water system in this area is characterized by stepwise convergence from a higher position in the north(a buried hill)toward the south and by the development of faults.We thus demonstrated that the proposed method has huge application potential in seismic interpretation.

Analysis of color distortion and optimum fusion for remote sensing images using the statistical property of wavelet decomposition

IHS （Intensity, Hue and Saturation） transform is one of the most commonly used tusion algonthm. But the matching error causes spectral distortion and degradation in processing of image fusion with IHS method. A study on IHS fusion indicates that the color distortion can＇t be avoided. Meanwhile, the statistical property of wavelet coefficient with wavelet decomposition reflects those significant features, such as edges, lines and regions. So, a united optimal fusion method, which uses the statistical property and IHS transform on pixel and feature levels, is proposed. That is, the high frequency of intensity component Ⅰ is fused on feature level with multi-resolution wavelet in IHS space. And the low frequency of intensity component Ⅰ is fused on pixel level with optimal weight coefficients. Spectral information and spatial resolution are two performance indexes of optimal weight coefficients. Experiment results with QuickBird data of Shanghai show that it is a practical and effective method.

Feature Layer Fusion of Linear Features and Empirical Mode Decomposition of Human EMG Signal

To explore the influence of the fusion of different features on recognition,this paper took the electromyography(EMG)signals of rectus femoris under different motions(walk,step,ramp,squat,and sitting)as samples,linear features(time-domain features(variance(VAR)and root mean square(RMS)),frequency-domain features(mean frequency(MF)and mean power frequency(MPF)),and nonlinear features(empirical mode decomposition(EMD))of the samples were extracted.Two feature fusion algorithms,the series splicing method and complex vector method,were designed,which were verified by a double hidden layer(BP)error back propagation neural network.Results show that with the increase of the types and complexity of feature fusions,the recognition rate of the EMG signal to actions is gradually improved.When the EMG signal is used in the series splicing method,the recognition rate of time-domain+frequency-domain+empirical mode decomposition(TD+FD+EMD)splicing is the highest,and the average recognition rate is 92.32%.And this rate is raised to 96.1%by using the complex vector method,and the variance of the BP system is also reduced.

SAR Image Change Detection Algorithm Based on Different Empirical Mode Decomposition

Empirical mode decomposition (EMD) is a data-driven and multi-scale transform theory, and it is a nonlinear and non-stationary signal processing theory. But each EMD decomposition theory has its advantages and disadvantages. Synthetic aperture radar (SAR) imaging is an important remote sensing technique to obtain the change information, and SAR image data belongs to non-stationary signal. So EMD is very suitable for SAR image processing. There are two kinds of typical EMD theories, which are the ensemble empirical mode decomposition (EEMD) and bidimensional empirical mode decomposition (BEMD). Based on the deep study of the two methods, this paper proposed a new SAR image change detection algorithm, which is called the FCD-EMD algorithm, i.e. fusion change detection based on EMD. So FCD-EMD algorithm can obtain more accurate information, which not only includes the directional information obtained by EEMD, but also can contain the spatial information got by BEMD. The main contribution of the FCD-EMD algorithm is to fuse the detail information in different directions, so that the results obtained are more accurate than the individual method. On the other hand, it can reduce the influence of speckle noise in SAR images by feature selections. The actual SAR image data verify the algorithm proposed in this paper and good experimental results are obtained, which show that the new method is feasible.

一种时频尺度下的多元短期电力负荷组合预测方法

随机因素的增加导致电力负荷数据成分日渐复杂,使短期负荷预测的难度逐渐增大。针对该问题,提出一种时频尺度下的时间卷积网络与多元线性回归相融合的组合预测模型。利用自适应噪声完备集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)在时频域上将负荷数据分解为若干个频率特征不同的本征模态分量,在模糊熵准则下聚类为随机项和趋势项。采用皮尔逊系数从诸多影响因素中筛选出与电力负荷高度相关的特征,鉴于小时间尺度分析更易于挖掘局部细节特征,分别构建了随机项与趋势项的细颗粒度特征集。利用具有强非线性处理能力的时间卷积网络(temporal convolutional network,TCN)去预测随机项,利用结构简单及线性拟合效果好的多元线性回归(multiplelinearregression,MLR)去预测趋势项,将二者的预测结果进行叠加重构后获得最终预测值。在新加坡和比利时两组数据集上的实验结果证明:所提模型具有较高的预测精度、较好的泛化性能及鲁棒性。

基于多维气象信息时空融合和MPA-VMD的短期电力负荷组合预测模型

为提高电力负荷预测精度,需考虑区域内不同地区多维气象信息对电力负荷影响的差异性。在空间维度上,提出多维气象信息时空融合的方法,利用Copula理论将多座气象站的风速、降雨量、温度、日照强度等气象信息与电力负荷进行非线性耦合分析并实现时空融合。在时间维度上,采用海洋捕食者算法(MPA)实现变分模态分解(VMD)核心参数的自动寻优,并采用加权排列熵构造MPA-VMD适应度函数,实现负荷序列的自适应分解。通过将时间维度各分量与空间维度各气象信息进行融合构造长短期记忆(LSTM)网络模型与海洋捕食者算法-最小二乘支持向量机(MPA-LSSVM)模型的输入集,得到各分量预测结果,根据评价指标选择各分量对应的预测模型,重构得到整体预测结果。算例分析结果表明,所提预测模型优于传统预测模型,有效提高了电力负荷预测精度。

基于视觉与加速度测量的结构动态位移融合估计

结构动态位移测量与精准估计对于结构安全运营和性态评估具有重要意义.基于计算机视觉的位移监测方法具有精度高、非接触式、成本低、设备安装简便等优点,在实际复杂工程环境中,设备难以架设,视觉测量方法较传统接触式位移监测方法具有明显的优势.图像分辨率和拍摄帧率等因素在一定程度上限制了视觉方法的使用.针对视觉位移测量技术高频振动识别精度低的问题,提出了一种基于视觉与加速度测量的结构动态位移重构方法,通过融合视觉低频与加速度高频振动响应信号,实现结构动态位移精准识别.首先,利用光流法从结构振动视频数据中提取结构位移响应,引入前后向误差与离群值过滤机制,提升特征点追踪精度,避免漂移问题.然后,利用逐次变分模态分解方法分别从视觉位移与加速度二次积分得到的位移信号中提取相应的本征模态函数(intrinsic mode function,IMF)分量.最后,基于互相关函数筛选机制,确定融合模态分量,融合基于视觉测量的低阶IMF与基于加速度测量的高阶IMF,重构结构位移响应.通过一个钢筋混凝土框架结构振动台试验,对提出的位移融合估计方法进行了试验验证.结果表明:与单一视觉测量方法相比,所提出的方法能够更为准确地估计结构动态位移,并且通过引入加速度测量中的动态位移分量,融合后的位移比基于视觉测量的结果具有更宽的频率范围.

基于多尺度分解的双曝光图像融合方法

为了有效地提高可见光成像设备的动态范围,降低融合图像的质量对源图像数量的依赖,提出了一种基于多尺度分解的双曝光图像融合算法。该方法只需要一组欠曝光和过曝光图像作为源图像,通过曝光融合即可得到一幅包含丰富信息的图像。首先,依据欠曝光图像和过曝光图像自身的特点,分别进行了自适应曝光调整,充分挖掘图像中潜在的细节信息。然后,提取图像序列的边缘强度、曝光适宜度和色彩饱和度作为评价指标,进而构建出融合权重图。最后,通过金字塔多尺度分解和加权融合得到融合图像。实验选取了15组图像序列,分别从主观和客观两个方面与4种具有代表性的算法进行了对比。实验结果表明,本文算法相比于其他算法,图像质量综合提升了4.9%,具有更强的细节信息保留能力。

基于结构功能交叉神经网络的多模态医学图像融合

针对多模态医学图像融合中存在纹理细节模糊和对比度低的问题,提出了一种结构功能交叉神经网络的多模态医学图像融合方法。首先,根据医学图像的结构信息和功能信息设计了结构功能交叉神经网络模型,不仅有效地提取解剖学和功能学医学图像的结构信息和功能信息,而且能够实现这两种信息之间的交互,从而很好地提取医学图像的纹理细节信息。其次,利用交叉网络通道和空间特征变化构造了一种新的注意力机制,通过不断调整结构信息和功能信息权重来融合图像,提高了融合图像的对比度和轮廓信息。最后,设计了一个从融合图像到源图像的分解过程,由于分解图像的质量直接取决于融合结果,因此分解过程可以使融合图像包含更多的细节信息。通过与近年来提出的7种高水平方法相比,本文方法的AG,EN,SF,MI,QAB/F和CC客观评价指标分别平均提高了22.87%,19.64%,23.02%,12.70%,6.79%,30.35%,说明本文方法能够获得纹理细节更清晰、对比度更好的融合结果,在主观视觉和客观指标上都优于其他对比算法。

基于多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合

针对目前红外与可见光图像融合存在特征提取不足、融合图像目标区域不显著、细节信息缺失等问题,提出了一种多尺度对比度增强和跨维度交互注意力机制的红外与可见光图像融合方法。首先,设计了多尺度对比度增强模块,以增强目标区域强度信息利于互补信息的融合;其次,采用密集连接块进行特征提取,减少信息损失最大限度利用信息;接着,设计了一种跨维度交互注意力机制,有助于捕捉关键信息,从而提升网络性能;最后,设计了从融合图像到源图像的分解网络使融合图像包含更多的场景细节和更丰富的纹理细节。在TNO数据集上对提出的融合框架进行了评估实验,实验结果表明本文方法所得融合图像目标区域显著,细节纹理丰富,具有更优的融合性能和更强的泛化能力,主观性能和客观评价优于其他对比方法。

基于互补集成经验模态分解和Stacking融合的短期风速组合预测模型

针对风电场短期风速预测准确度不高的问题,提出一种基于互补集成经验模态分解和Stacking融合的短期风速组合预测模型。首先,为突出短期风速的局部特征并降低建模难度,通过互补集成经验模态分解算法将短期风速分解为若干个稳定分量。然后,利用信息熵和近似熵来判定各分量的复杂度,高复杂度分量选择最小二乘支持向量机、低复杂度分量选择随机配置网络作为对应的预测模型。利用Stacking算法对每个模型的预测值进行融合,使预测精度得到提升。最后,通过一组实际的短期风速数据作为研究对象,将提出的预测模型应用于其预测。对比结果表明,所提预测模型可提高短期风速的预测精度。

基于增强Swin Transformer的深度伪造人脸检测

针对传统卷积神经网络感受野的大小受限和特征交互学习能力弱,基于卷积神经网络的伪造人脸检测技术提取到的特征相对单一的问题,提出了基于增强Swin Transformer的深度伪造人脸检测方法,引入了局部多头自注意力和全局多头自注意力机制,结合了Swin Transformer的优势,能够有效地捕获图像上下文信息和视频时序关系,具有较强的全局感受野和长距离依赖建模能力。在DFDC数据集的实验结果表明,该方法优于基线方法,具有较好的深度伪造人脸检测能力。

基于多形态学成分分析的图像融合

将多尺度分解与稀疏表示相结合,提出了一种基于多形态学成分分析(MCA)的图像融合算法。采用基于联合稀疏表示(JSR)的方法融合卡通子图像中的冗余和互补信息,并利用基于方向特征的方法融合具有更多细节信息和噪声的纹理子图像。结果表明,提出的图像融合算法在主观视觉效果和客观评价指标上均优于先进的图像融合算法。

极端曝光图像的多尺度分解细节感知融合算法

针对极端曝光(欠曝光和过曝光)图像动态范围低的问题,提出一种基于多尺度分解细节感知的图像融合算法。欠曝光图像经过细节增强后,与过曝光图像进行初步的粗融合;采用小波变换对细节增强后图像的亮度分量进行多尺度分解,并设计专门的高频和低频融合策略,实现亮度分量的精融合;将粗融合图像的色调、饱和度分量,与精融合图像的亮度分量重组,获得最终的融合结果。基于大量测试数据,实验结果表明所提方法在视觉效果方面表现优异,平均MEF-SSIM指标为0.9854,平均SSIM指标为0.6508,均优于现有主流算法。

基于多域信息融合与深度分离卷积的轴承故障诊断网络模型

针对传统卷积神经网络(CNN)对滚动轴承振动信号的故障识别准确率不高这一问题,提出了一种基于多域信息融合结合深度分离卷积(MDIDSC)的轴承故障诊断方法。首先,利用自适应噪声的完全集合经验模态分解(CEEMDAN)算法对轴承振动信号进行了分解;然后,利用分解出的本征模态函数(IMF)的各个分量构建了多空间状态矩阵,并将该多空间状态矩阵输入该深度分离卷积模型中,进行了卷积训练;同时,在该深度分离卷积模型中添加了残差结构,对数据特征进行了复利用,并对卷积核进行了深度分离,解决了深度模型的网络退化问题;最后,提出了一种空间特征提取方法,对模型参数进行了修剪,采用一种自适应学习率退火方法进行了梯度优化,以避免模型陷入局部最优。研究结果表明:通过对多个轴承故障数据集进行对比分析可知,MDIDSC在轴承故障诊断方面的准确率和稳定性明显优于其他方法,MDIDSC的最高测试准确率为100%,平均测试准确率为99.07%;同时,在测试集中的最大损失和平均损失分别为0.1345和0.0841;该结果表明MDIDSC在轴承故障诊断方面具有一定的优越性。

基于图像块分解融合的水下标定图像增强

针对水下视觉测量中相机标定采集的水下标定图像退化造成标志点信息缺损的问题,提出了一种基于图像块分解融合的水下标定图像增强算法。首先,针对水下标定图像光照不均匀造成图像去雾困难的问题,基于同态滤波实现图像分割并计算全局背景光强,以实现图像去雾。然后,针对水下图像去雾后仍然存在噪声、模糊、光照不均匀等问题,分别进行对比度增强与细节信息增强以获得两幅互补增强图像,将互补图像划分成多个图像块,将图像块分解为平均强度、信号强度和信号结构3个独立分量,3个分量分开融合并求解最终增强图像。最后,采用主客观评价及标志点检测实验评价水下标定图像增强后的质量。实验结果表明,本文方法的视觉效果及客观评价得分均高于UDCP、MSR及ACDC方法,浑浊度为7.6NTU、11.4NTU、15.7NTU、18.4NTU时,标志点检测数量分别提高了2.0%、2.3%、9.3%、21.2%。因此,本文方法可以有效提高水下标定图像质量,为水下视觉测量提供一种稳定可靠的水下标定图像增强方法。

基于二次图像分解的红外图像与可见光图像融合

针对红外图像与可见光图像融合中细节丢失严重,红外图像的特征信息未能突出显示以及源图像的语义信息被忽视的问题,提出一种基于二次图像分解的红外图像与可见光图像融合网络(Secondary Image Decomposition For Infrared And Visible Image Fusion,SIDFuse)。利用编码器对源图像进行二次分解以提取不同尺度的特征信息,然后利用双元素注意力为不同尺度的特征信息分配权重、引入全局语义支路,再采用像素相加法作为融合策略,最后通过解码器重建融合图像。实验选择FLIR数据集用于训练,采用TNO和RoadScene两个数据集进行测试,并选取八种图像融合客观评价参数进行实验对比分析。由TNO数据集的图像融合实验表明,在信息熵、标准差、空间频率、视觉保真度、平均梯度、差异相关系数、多层级结构相似性、梯度融合性能评价指标上,SIDFuse比基于卷积网络中经典融合算法DenseFuse分别平均提高12.2%,9.0%,90.2%,13.9%,85.1%,16.8%,6.7%,30.7%,比最新的融合网络LRRNet分别平均提高2.5%,5.6%,31.5%,5.4%,25.2%,17.9%,7.5%,20.7%。可见本文所提算法融合的图像对比度较高,可以同时更有效保留可见光图像的细节纹理和红外图像的特征信息,在同类方法中占有明显优势。

基于多源数据融合的分布式光伏聚合超短期预测方法

分布式光伏聚合发电的超短期预测是支撑其功率快速调节的前提保障,由于规模化接入的分布式光伏容量小、分布广,其发电时序特性差异性大、非平稳性强,导致其超短期预测精度难以保证。为此,文章提出基于多源数据融合的分布式光伏聚合超短期预测方法。该方法基于变分模态分解法,充分挖掘分布式光伏聚合发电非平稳性特性,并采用核主成分分析法对引发光伏发电非平稳性的影响因素即温度、湿度、光照、云量等多源数据进行量化解析,同时结合改进的长短期记忆神经网络,创建了多源数据融合方法,实现了分布式光伏聚合发电超短期预测。仿真结果表明,该方法有效提升了模型的预测精度。与传统方法相比,提出的预测方法对随机性波动严重的光伏超短期预测具有显著优势。

结构相似度优化的混合多尺度医学图像融合

现有的多模态医学图像融合方法存在结构信息以及相位特征保存不完整的问题,为此,提出一种基于混合多尺度分解和结构相似度优化的医学图像融合方法。首先,针对单一滤波器在保留图像结构和细节方面的局限性,提出一种多尺度分解潜在低秩表示(MDLat LRR)和非下采样轮廓波变换(NSCT)相结合的混合多尺度分解方法,利用MDLat LRR分解源图像获取低秩层和显著层,使用NSCT对低秩层做进一步分解;其次,在基础层上使用基于局部拉普拉斯能量和的融合规则,使融合图像具有更好的视觉效果,对于细节层,通过脉冲耦合神经网络(PCNN)计算全局耦合以获得融合权重,从而融合细节层;最后,考虑到空间一致性,由初始融合图像获取线性调整图像,利用加权局部结构相似度进行测量从而得到修正系数,并对初始融合图像进行修正,提高融合图像中信息的准确性。实验结果表明,相比于MSMG、EMFusion、CFL等9种方法,该方法在归一化互信息、空间频率误差比等10个客观评价指标上评估性能更高,特别在相位一致性、余弦特征互信息以及差异相关和指标上,分别比次优方法平均提升了13.89%、19.62%和35.8%,所提方法的融合图像具有更丰富、更准确的细节信息和良好的视觉效果。