transformer在底层视觉应用上的发展综述

transformer,一种基于自注意机制的序列网络,首次被引入到自然语言处理范畴。由于其强大的长距离特征表示能力以及高性能和对视觉特定感应偏差的需求减少,基于transformer的模型被广泛应用于计算机视觉任务。在各种视觉基准测试中,基于transformer模型性能类似于或优于其他类型的网络,如卷积神经网络和递归神经网络。首先讨论基于transformer的不同底层视觉任务;然后分析了它们的优缺点;最后,总结了视觉transformer存在的问题,并提供了进一步的研究方向。

基于改进型变分自编码器的不确定性空间信息重建方法

不确定性空间信息在众多科学领域得到了广泛应用。然而目前用于不确定性空间信息重建的方法需要多次对训练图像(TI)进行扫描,再通过复杂的概率计算获得模拟结果,导致这些方法的效率较低,且模拟过程复杂。针对这一问题,提出了将费雪信息量和变分自编码器(VAE)结合应用于不确定性空间信息的重建。首先,通过编码器神经网络对空间信息的结构特征进行学习,并训练得到空间信息的均值和方差;然后,进行随机采样,根据采样结果和空间信息的均值、方差重建中间结果,并将编码器神经网络的优化函数与费雪信息量相结合来优化网络;最后,将中间结果输入解码器神经网络中,以对空间信息进行解码重建,并将解码器的优化函数与费雪信息量结合对重建结果进行优化。通过比较各方法重建结果与训练数据的多点连通曲线、变差函数、孔隙分布和孔隙度表明,所提方法的重建质量比其他方法的更好。具体来说,该方法重建结果的平均孔隙度为0.1715,与其他方法重建结果的平均孔隙度更接近训练数据的孔隙度0.1705。且相较于传统方法,其平均CPU利用率从90%下降到25%,平均内存占用下降了50%,说明该方法的重建效率更高。而通过重建质量和重建效率两个方面的对比,说明了该方法的有效性。