基于特征相似性和特征规范化的注意力模块

近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间维度上变化的灵活性,导致无法充分利用特征信息。为此,文中提出一种基于特征相似性和特征规范化的、可同时利用特征图各维度信息的卷积神经网络注意力模块FSNAM。该模块由特征相似性模块(FSM)和特征规范化模块(FNM)两部分组成,FSM利用输入特征图的通道特征信息和局部空间特征信息生成一个二维的特征相似性权重图;FNM利用输入特征图的全局空间特征信息生成一个三维的特征规范化权重图;两个模块生成的权重图融合在一起,生成一个三维的注意力权重图,以此实现通道特征信息和空间特征信息的融合。为证明FSNAM的可行性和有效性,进行了消融实验,结果表明:在图像分类任务方面,FSNAM模块对分类网络在CIFAR数据集上的性能提升明显优于其他主流注意力模块;在目标检测任务方面,使用FSNAM模块的目标检测网络对VOC数据集中的小目标和中等大小目标的检测准确率分别提高了3.9和1.2个百分点;在语义分割任务方面,使用FSNAM模块可以提高HRNet模型的性能,在SBD数据集上模型的平均像素准确率提高了0.58个百分点。

一种公共部门网站服务质量评价方法——SQ-Atten

针对公共部门网站服务质量评价的特点,在探索性实证研究的基础上,创新性地提出了由测评网站用户的感知服务绩效和关注度构成的SQ-Atten评价方法,然后利用该方法对我国某政府部门网站的服务质量进行了实证研究,结果表明:依据构建的评价指标体系和SQ-Atten方法设计的调查问卷,信度和效度都较高;2007年案例单位网站服务的总体水平属于"中等";评价指标体系中的易用性、响应性和关怀性与网站服务质量具有显著正相关性,且易用性的相关性最大,其次是响应性、关怀性;提升网站服务总体水平的对策建议:一是针对网站本身改善其易用性、响应性和关怀性方面的服务水平;二是强化用户的在线办事意识。

基于注意力时间卷积网络的加密流量分类

针对目前大多数加密流量分类方法忽略了流量的时序特性和所用模型的效率等问题,提出了一种基于注意力时间卷积网络(attention temporal convolutional network,ATCN)的高效分类方法。该方法首先将流量的内容信息与时序信息共同嵌入模型,增强加密流量的表征;然后利用时间卷积网络并行捕获有效特征以增加训练速度;最后引入注意力机制建立动态特征汇聚,实现模型参数的优化。实验结果表明,该方法在设定的两项分类任务上的性能都优于基准模型,其准确率分别为99.4%和99.8%,且模型参数量最多可降低至基准模型的15%,充分证明了本文方法的先进性。最后,本文在ATCN上引入了一种基于迁移学习的微调方式,为流量分类中零日流量的处理提供了一种新颖的思路。

基于多维语义特征与层次注意力机制的讽刺识别

讽刺是一种复杂的语言表达方式,在日常交流中发挥着重要作用。随着人工智能和社交网络的快速发展,讽刺识别已成为自然语言处理领域的热点研究课题之一。现有的讽刺识别研究往往从单一维度对讽刺文本特征进行表示,忽视了讽刺文本特征的细微差异及其重要程度。本文将讽刺识别视为文本分类任务,在特征提取阶段,将讽刺文本根据其不一致性特征、情感特征、句法结构特征和风格特征进行多维语义特征表示。在特征融合阶段,针对不同维度特征对整体特征贡献和关联程度不同,采用层次注意力机制调整不同讽刺语言学特征对模型整体性能的影响。实验结果表明,所提出的模型能够从多个维度提取讽刺文本的潜在语义特征,其在公开数据集IAC、Tweets和Reddit上的实验性能均有明显提升。

强化特征图的无参考低光照图像增强

针对低光照图像质量不佳、夹杂噪声导致对比度和亮度不足、细节不清晰,且成对的低光照图像数据集获取成本过高的问题,在生物视觉马赫带效应的启发下,提出一种强化特征图的无参考低光照图像增强方法。使用强化滤波块(EFB)对图像和特征图进行特征强化,抑制噪声的同时强化特征细节,提高网络对特征的学习能力。将跳跃连接与空间注意力模块(ESA)结合,通过融合强化的浅层特征与深层特征来提取全局上下文信息和局部区域特征,有效保留了图像的色彩信息,避免细节丢失,提高网络的泛化能力。使用像素估计曲线调整低光照图像像素的动态范围,对其进行亮度增强。实验结果表明,经该算法处理后的图像在PSNR、SSIM、LPIPS和NIQE等指标上分别达到了17.709 dB、0.657、0.239和3.486,该方法相较于现有的主流算法能够更好地达到图像增强目的,有效地提升图像亮度和细节信息,同时保持图像的自然属性。

基于计算机视觉和视频插帧的结构振动测试与模态识别

结构振动测试和模态参数识别是基于结构动态特性进行结构健康监测(SHM)的基本方法。为克服传统接触式测试的不便,引入了非接触式计算机视觉方法,其中以智能手机为数据采集装置的方法受到越来越多的关注。然而智能手机相机往往因为性能受限无法满足需求,从而导致测量结果精度下降。为此,提出一种改进的视频插帧算法EQVI-T与改进的边缘检测算法,通过提高原始视频的帧率和提出的特征点追踪方法共同提升计算精度。为验证这一方法的有效性,将其应用于试验室模型的位移响应监测和模态参数识别,并进行了定量和定性评估。结果表明,所提方法在提高测量精度和准确性方面具有显著优势,展示了其在结构振动测试中的潜在应用价值。

“震慑”还是“依靠”:地理距离对企业环境信息披露质量的影响

“双碳”背景下,企业环境信息强制披露拉开序幕。根据地理经济学理论,企业与生态环境监管部门之间地理距离越近,可能对企业形成“震慑”(监督成本的“距离衰减效应”),也可能让企业有所“依靠”(寻租成本的“距离衰减效应”)。基于2015—2020年重点排污上市公司数据,该研究采用固定效应模型和中介效应模型实证检验了企业与生态环境监管部门之间的地理距离对企业环境信息披露质量的影响方向及影响路径。研究表明:①企业与生态环境监管部门之间的地理距离越近,企业的环境信息披露质量越高,支持了监督成本的“距离衰减效应”假说。②地理距离对企业环境信息披露质量的影响是通过省级层面监察监测力度和地市级层面执法力度实现的。③地方人民政府环境治理力度的增强、地区数字化水平的提升和媒体关注的提高均可以抑制监督成本的“距离衰减效应”。为了企业环境信息披露质量的全区域均衡发展,应增强地方人民政府环境治理力度、提升地区数字化水平和提高媒体关注。该研究从地理经济学的视角,拓展了企业环境信息披露质量的影响因素,丰富了地理经济学“距离衰减效应”的理论实践,为促进企业环境信息披露质量的均衡发展提供了解决方案和理论依据。

基于残差密集注意力网络的图像超分辨率重建

针对现有图像超分辨率重建算法中细节丢失和图像边缘模糊等问题,提出了一种基于残差密集注意力网络的图像超分辨率重建方法。该方法采用了密集连接和残差连接的结构来构建残差网络,充分利用低层特征与高层特征之间的信息交互,提取更高层次的图像特征。同时,融合通道注意力和空间注意力自适应地选择重要特征,并将这些特征进行加权融合,从而更好地恢复图片的纹理细节。实验结果表明,文中所提方法在峰值信噪比(PSNR)和结构相似度(SSIM)上表现优异。

CPAFFC and CRFA Delegation Attends Celebrations of 50th Anniversary of Russia-China Friendship Association

Invited by the Russia-China Friendship Association (RCFA), the delegation of the CPAFFC and the China-Russia Friendship Association (CRFA) led by CPAFFC President Chen Haosu paid a visit to Russia to attend the celebrations of the 50th Anniversary of the RCFA from October 21 to 28, 2007. The delegation included Liu Shu, former vice president of the China Association for Science and Technology; Zhu Jiamu, vice presi-

NADPH oxidase inhibitor apocynin attenuates ischemia/reperfusion induced myocardial injury in rats

Objective To explore the role of NADPH oxidase inhibitor apocynin on ischemia/reperfusion(I/R)-induced myocardial injury. Methods Male SD rat hearts were divided into the normal control group; sham group;I/R group(1 h ischemia followed by 3 h reperfusion); I/R+ apocynin group(50 mg/kg,administrated at 30

基于多头注意力机制的飞机发动机寿命预测研究

针对飞机发动机监测参数多和预测模型不能充分提取监测数据的有效信息等问题,基于一维卷积神经网络(1DCNN)、时序卷积神经网络(TCN)和多头注意力机制,提出一种新的网络结构以实现飞机发动机剩余寿命的准确预测。对多维特征参数分别建立一个1DCNN-TCN模型,利用两层1DCNN对飞机发动机的多元传感器信号进行特征提取,利用TCN对特征量的时序信息进行记忆,通过多头注意力机制对多个1DCNN-TCN的输出分别进行加权处理,并拼接最终结果。分析结果表明,采用本文方法得到的RMSE和Score值比目前文献中最优值分别降低了6.84%,63.41%。该方法显著提升了飞机发动机剩余寿命预测的准确性。

用于自动驾驶的双注意力机制语义分割方法

在自动驾驶场景中存在着光照、天气、路面状况等复杂多变的因素,这些因素会导致现有的语义分割方法在小目标物体的分割效果上存在注意力缺失的问题。为了解决这一问题,文中提出一种优化双注意力机制的方法,该方法的主要思想是通过引入位置和通道注意力机制生成权重,从而增强特征的表征能力。首先,位置注意力机制通过学习每个像素点在空间上的重要性,生成与位置相关的权重。其次,通道注意力机制通过学习每个通道在特征表示中的重要性,生成与通道相关的权重,将得到的位置注意力和通道注意力权重与输入特征进行逐元素相乘,以增强特征的表征能力。最后,将2个注意力模块的输出特征进行融合。实验结果表明,改进后的网络模型明显提升了语义分割精度,且在Cityscapes数据集上的平均交并比(mean intersection over union, mIou)达到了80.4%,相较于全卷积神经网络(fully convolutional networks, FCN)方法提升了10.4%。

类内-类间通道注意力少样本分类

针对元学习少样本分类样本特征鉴别能力不足的问题,提出了一种类内-类间通道注意力少样本分类方法(Intrainter Channel Attention Few-shot Classification,ICAFSC)。ICAFSC在原型网络基础上设计了一个类内-类间通道注意力模块,该模块通过类内-类间距离度量计算通道权重实现特征加权,提高特征对类别的鉴别能力。为了克服直接在元训练阶段学习类内-类间通道注意力模块容易出现过拟合或欠拟合现象的问题,ICAFSC在原型网络的元训练之前增加一个预训练阶段。该阶段设计具有大量标记样本的分类任务,并利用这些任务充分训练类内-类间通道注意力模块,促使该模块达到较优的状态。在原型网络的元训练和元测试阶段,ICAFSC冻结类内-类间通道注意力模块的参数,分别实现少样本分类经验的学习与迁移。在MiniImagenet数据集上分别开展了1-shot和5-shot的少样本分类实验。实验结果表明:本文提出的类内-类间通道注意力少样本分类方法与原型网络相比,在1-shot和5-shot条件下分类准确率分别提高了1.93%和1.15%。

基于压缩激励残差分组扩张卷积和密集线性门控Unet歌声分离方法

针对Unet频域歌声分离网络模型对语音时序信息的捕获困难以及底层特征利用率不高的问题,设计了一种相比于基线Unet网络参数量更小且歌声分离效果更好的卷积神经网络。首先设计了一种残差分组扩张卷积结合压缩激励模块,并将其引入到编码和解码阶段,该模块在参数量减少和增大网络感受野的同时自适应学习不同通道的重要特征,不但增强了有用特征,而且还抑制了无用特征。其次在传输层将线性门控单元采用密集相加连接来增强网络在特征传递过程中对时序特征的获取,并且使用扩张卷积来代替普通卷积以扩大网络的感受野。最后使用注意力门控机制来代替基线Unet中的跳跃连接以加强网络对底层特征的利用。在Ccmixter和MUSDB18数据集中进行实验,与基线网络相比,歌声分离的性能指标都有提升,并且其参数量大约只有基线网络的1/5。

基于新型特征增强与融合的雾天目标检测方法

为进一步提升深度学习网络对雾天场景下目标的检测精度,在YOLOX网络基础上,提出了基于新型特征增强与融合(novel feature enhancement and fusion, NFF)的雾天目标检测方法NFF-YOLOX。首先,在瓶颈结构中通过多支路卷积构建新型特征增强模块,该模块在保留基本信息特征的同时能够提取更多有效特征信息,增强目标特征的表征能力,提升网络对目标的特征提取能力;其次,利用双向金字塔自上而下和自下而上的网络特征构建新型特征融合模块,使目标的语义信息从深层特征流向浅层特征,充分融合和提取图像的细节特征,并在瓶颈结构的特征融合模块引入坐标注意力,模型在训练时能准确定位目标,减少目标特征信息的丢失;最后,考虑到正负样本可能存在不均衡的情况,将Focal loss与α-IOU结合构造一种新型损失函数,减少模型训练时的损失,缩短收敛时间,提升网络对雾天目标的识别率。实验结果表明:该方法与YOLOv7及DETR等6种先进目标检测网络相比,在真实雾天数据集RTTS上能够取得更高的雾天目标检测精度,当真实框与预测框的交并比(intersection over union, IOU)为0.5时,平均精度(mean average precision, mAP)提高了1.3%以上,当IOU从0.5到0.95且步长为0.05时,mAP提高了2.99%以上。

基于注意力机制的循环一致性生成对抗网络

针对循环一致性生成对抗网络(Cycle-GAN)在图像风格转换任务上出现的纹理细节处理得不好、背景颜色保留较差等问题,并且缩小在配对图像数据集和非配对图像数据集上训练结果的差异,提出一种基于注意力机制的循环一致性生成对抗网络,在生成器网络中融入通道注意力机制(SE-Net),利用网络自主学习的方法得到每一个特征通道的重要程度,再分别赋予每个特征通道不一样的权重系数,以此来强调有重要特征的部分、抑制非重要特征的部分,使得不同特征和不同区域能够被生成器网络非均匀的处理。同时引入对比学习(CL),使网络能够学习到图像的更高层次的通用特征。实验结果表明,所提方法在horse2zebra数据集上取得了较好的结果。

嵌入注意力的GaborCNN快速人脸表情识别方法

人脸表情识别是智能人机交互研究的基础问题之一,面部情绪变化与嘴、眼睛、眉毛、鼻子等区域密切相关,这些特征对识别表情非常重要。为此,提出一个由4个Gabor滤波卷积层、注意力模块和两个全链接层组成的注意力Gabor卷积网络,同时使用不平衡损失focalloss对网络进行优化。首先,通过Gabor核与传统卷积滤波器调制的Gabor定向滤波器相较于传统卷积滤波器能更好地捕获感兴趣区域的信息,然后利用通道注意力、空间注意力模块提取区域中更关键的特征。在FERPlus和RAF-DB数据集上的实验表明,该模型结构简单、易于训练、计算成本低,识别精度分别达到88.39%、87.22%。

基于多分支注意力改进的YOLOv5无人艇目标检测方法

针对水面无人艇目标检测类别多、尺寸小、形变大等难题,提出了基于多分支注意力改进的YOLOv5检测算法。首先提出了一种SAv2Attention模块,通过对通道的“复制-转换-合并”等处理,实现卷积层通道间与通道内特征融合,提升网络的局部感受野,然后将其嵌入到YOLOv5网络,最后在构建的真实海试数据集上进行了大量对比实验。结果表明,SAv2Attention可有效提升YOLOv5的检测精度,典型海面目标数据集上,mAP@0.5检测精度达到94.6%,mAP@0.5:0.95检测精度达到60.9%,相较于原生算法分别提高1.4%和3%,对小尺寸目标平均检测率APS提升4.3%,证明所提方法能有效提升无人艇对水面小目标的检测能力。

FACTS的PCH模型与自适应L_(2)增益控制(二)应用篇

采用预置反馈方法 ,首先推导了 TCSC与 STATCOM的 PCH(端口受控哈密顿 )模型 ,接着基于受控哈密顿 ( Hamiltonian)系统理论 ,采用自适应 L2 增益控制设计方法分别设计了单机电力系统中相应的自适应 L2 增益控制器。仿真结果表明 ,通过与传统 PID控制器以及不同的干扰抑制比相比较 。

E/D GaAs PHEMT多功能MMIC设计

基于E/D GaAs赝配高电子迁移率晶体管(PHEMT)工艺研制了Ku波段多功能MMIC芯片。该MMIC集成了数字驱动器和微波电路,内含6bit数控移相器、6bit数控衰减器、3个低噪声放大器、4个数控单刀双掷开关、多个TTL数字驱动器。其中两个低噪声放大器采用了电流复用技术,总直流功耗小于275mW,实现了节能。测试结果表明:发射支路增益大于2dB,输出P1dB大于9dBm;接收支路增益大于10dB,输出P1dB大于7dBm,噪声系数小于8dB。相对移相误差均方根值(RMS)在发射和接收模式下均小于6°,附加调幅小于1.5dB;衰减误差RMS小于0.7dB,附加调相小于4°。