自适应语义感知网络的盲图像质量评价

目的盲图像质量评价(blind image quality assessment,BIQA)在图像质量控制领域具有重要的实际意义。虽然目前针对自然失真图像的盲图像质量评价取得了合理的结果,但评价准确性仍有待进一步提升。方法提出一种自适应语义感知网络(self-adaptive semantic awareness network,SSA-Net)的盲图像质量评价方法,通过理解失真图像的内容和感知图像失真的类型来提高预测的准确性。首先,利用深度卷积神经网络(deep convolutional neural network,DCNN)获取各个阶段的语义特征,并提出多头位置注意力(multi-head position attention,MPA)模块通过聚合特征图的长距离语义信息来加强对图像内容的理解。接着,提出基于多尺度内核的自适应特征感知(self-adaptive feature awareness,SFA)模块感知图像的失真类型,并结合图像内容来捕获图像的全局失真和局部失真情况。最后,提出多级监督回归(multi-level supervision regression,MSR)网络通过利用低层次的语义特征辅助高层次的语义特征得到预测分数。结果本文方法在7个数据库上与11种不同方法进行了比较,在LIVEC(LIVE in the Wild Image Quality Challenge)、BID(blurred image database)、KonIQ-10k(Konstanz authentic image quality 10k database)和SPAQ(smartphone photography attribute and quality)4个自然失真图像数据库中的斯皮尔曼等级相关系数(Spearman rank order correlation coefficient,SRCC)值分别为0.867、0.877、0.913和0.915,获得了所有方法中最好的性能结果。同时在两个人工失真图像数据库中获得了排名前2的SRCC值。实验结果表明,与其他先进方法相比,本文方法在自然失真图像质量评价数据库上的表现更为优异。结论本文方法通过结合图像内容理解与不同失真类型感知,能更好地适应自然图像的失真,提高评价准确性。

面向语义通信网络的能效跨层优化

语义通信关注传输信息的内在含义,通过语义提取可显著减少需要传输的数据量,提高通信效率,在未来智能设备通信场景中展现出巨大的潜力.然而,深度学习使能的语义编解码进一步加剧传统通信的能量消耗.针对该问题,本文提出一种联合跨层优化框架,并设计了一种语义能效指标来评估用户的体验质量和全局系统的能量损耗.将该优化过程建模为部分可观测的马尔可夫过程,联合优化物理层中的功率控制和语义层中的语义压缩配置:功率分配用于消除小区间干扰,语义压缩等级配置用于优化语义传输效率.仿真结果表明,所提框架和算法能够有效解决语义层和物理层的联合优化问题.