基于Swin Transformer和混合特征聚合的红外与可见光图像融合方法

红外与可见光图像融合可以生成包含更多信息的图像,比原始图像更符合人类视觉感知也有利于下游任务的进行。传统的基于信号处理的图像融合方法存在泛化能力不强、处理复杂图片融合性能下降等问题。深度学习有很强的特征提取能力,其生成的结果较好,但结果中存在纹理细节信息保存少、图像模糊的问题。针对这一问题,文中提出一种基于多尺度Swin-transformer和注意力机制的红外与可见光图像融合网络模型。Swin-transformer可以在多尺度视角下提取长距离语义信息,注意力机制可以将所提特征中的不重要特征弱化,保留主要信息。此外本文提出了一种新的混合特征聚合模块,针对红外和可见光图像各自的特点分别设计了亮度增强模块和细节保留模块,有效保留更多的纹理细节和红外目标信息。该融合方法包括编码器、特征聚合和解码器三部分。首先,将源图像输入编码器,提取多尺度深度特征;然后,设计特征聚合融合每个尺度的深度特征;最后,采用基于嵌套连接的解码器重构融合后的图像。在公开数据集上的实验结果表明本文提出的方法对比其他先进的方法具有更好的融合性能。其中在客观评价指标中EI、AG、QP、EN、SD指标达到最优。从主观感受上,所提红外和可见光图像融合方法能够使结果中保留更多的边缘细节。

基于多尺度特征融合与反向注意力的COVID-19病灶分割

针对新型冠状病毒肺炎(COVID-19)分割问题中感染区域具有高变异性以及病灶与背景对比度低等问题,提出一种基于多尺度特征融合与反向注意力的COVID-19感染分割网络。首先,利用残差网络作为主干网络进行特征提取,并使用全局上下文聚合策略对不同层次特征进行融合得到粗略的分割结果;其次,在网络瓶颈处添加多尺度特征融合模块,利用空洞卷积与多核池化增强网络分割不同尺度病变的能力;最后,设计一种级联结构的反向注意力模块,利用互补区域的细节特征增强背景与目标的对比度。本文方法在COVID-19 CT分割测试集上的准确率、特异性、灵敏度分别达到0.714、0.700和0.958,误检和漏检区域明显减少,细小病灶的分割能力显著提升。

基于SURF算法的细胞显微图像拼接方法的改进

为提高细胞显微图像的拼接速度,对基于SURF特征提取的显微图像拼接方法进行了改进.首先利用SURF算法提取待拼接图像的特征点,接着提取待拼接图像的边缘,将图像边缘上的特征点保留下来,进行下一步匹配与图像融合.实验结果表明:改进的方法能够获得理想的拼接效果,并且大大地提高了运算速度.

基于结构图像表示和微分同胚Demons算法的多模态医学图像配准

为了提高多模态医学图像的配准精度,利用参考图像和浮动图像的结构信息,提出了一种基于结构图像表示和微分同胚Demons算法的多模态医学图像配准算法.该算法由结构图像表示和图像配准组成.在结构图像表示阶段,采用Arimoto熵图像来描述参考图像和浮动图像的结构信息,首先计算2幅图像中所有像素点周围指定大小邻域的熵值,然后把计算的熵值作为熵图像中对应点的灰度值以生成2幅熵图像.在图像配准阶段,使用微分同胚Demons配准算法对2幅熵图像进行配准.基于Brainweb数据库中磁共振数据的测试结果表明:与微分同胚Demons算法和基于香农熵的Demons算法相比,利用Arimoto熵表示图像的结构信息可以进一步提高配准精度.

面向信息与通信工程学科的研究生《现代信号处理》课程教改探索

为提升硕士研究生教育教学质量,提高信息与通信工程专业领域专业研究人员层次,提出建立教学计划培养与研究生科研创新相结合的新型教学模式。此次教学改革旨在从根本上改革现代信号处理课程专业教学体系,以提高该课程教学质量同时培养学生的综合素质。教改的成果用于提升研究生科研成果产出,两者相辅相成、相互促进,形成一种立体化的培养模式,通过改革教学计划、教学内容与教学方式,构建创新性的教学体系与教学模式,培养具有合理知识结构和较强创新性的信号处理领域的高素质科研人才。

基于非扩展熵相似度的三维医学图像配准

针对互信息相似性测度中传统香农熵的扩展性,结合Arimoto非扩展熵的性质,构造一种新的相似性测度,提出基于该相似度的多模态三维医学图像配准算法。构造非扩展熵相似度,建立图像配准框架;利用基于B样条的帕曾窗估计联合概率分布,得到连续的目标函数;采用拟牛顿优化方法对配准模型进行求解。在三维临床医学图像的实验结果表明:与传统的基于互信息相似度的图像配准算法相比,该算法的配准精度较高。

“数字视频技术”学习产出教学模式的探讨

为提高“数字视频技术”的教学效果,培养学生的学习兴趣,建立“学习产出”驱动的数字视频课程教学模式。依据行业的需求、用人单位的回访、前沿的科学研究制定课程的“学习产出”目标,对教学内容和教学方法做出适当修改,并对教学过程和学习效果进行监督和评价。

基于局部结构的图像拼接算法研究

针对传统图像拼接仅考虑特征相似性的现状,提出了一种基于改进的SURF(Speeded Up Robust Features)特征匹配的图像拼接算法。首先提取尺度不变性特征点,并利用SURF算子的描述方法对特征点进行描述;然后用RANSAC(Random Sample Consensus)去除误匹配对,得到初始的转换参数;最后将描述子相似性与局部结构特征相结合,进而求得匹配矩阵,利用得到的最终转换参数进行图像融合。研究结果证明,本文算法提高了图像拼接的精准度,细节处理效果更好。