面向“新工科”的“物联网技术基础实验”教学初探

在“新工科”建设背景下,面向物联网工程专业开设“物联网技术基础实验”课程,采用开源口袋实验室、项目案例驱动、虚实结合、自主选题综合实验等教学方法,学生从一年级开始接受与物联网技术紧密结合的开源电子软硬件知识的系统学习与实践训练,激发学生的学习兴趣与实验热情,使学生的创新思维能力和动手实践能力得到显著提升,为后续对专业课程的学习奠定了良好基础,同时为参加创新创业项目实践活动起到了良好的助力作用。

虚拟仿真实验建设中的互动模型研究

虚拟仿真实验建设涉及设计者、开发者和使用者,为促进三方全方位互动并融入实验建设的各个阶段,提出了一种“设计者—开发者—使用者”互动模型。实践表明,该模型能实现实验建设中三方信息的有效及时沟通,实现课程建设结果和教学需求之间的高度统一,有效促进高质量虚拟仿真实验建设。

车联网中基于麻雀搜索算法的计算卸载策略

针对车联网场景下的边缘计算系统中MEC服务器负载不均衡,紧急任务无法得到优先处理的问题,提出一种基于麻雀搜索算法的计算卸载策略(COSSA)。以最小化VEC系统的任务计算时延和MEC资源服务费为目标建立数学模型,利用层次分析法根据任务的属性为每个需要卸载任务分配优先级,运用麻雀搜索算法根据目标函数找出最优的卸载决策,实现服务器负载均衡。实验结果表明,与Random、ALP和OMP策略相比,COSSA策略可以有效地降低系统开销、均衡MEC服务器负载。

物联网轻量级认证加密算法ASCON的软硬件协同设计

ASCON是2021年在NIST轻量级认证加密征集方案中最有希望成为国际标准的算法,该算法旨在物联网资源受限环境中获得最佳性能,在公开文献中还未见基于该算法的硬件IP核实现。提出了一种ASCON的软硬件协同实现方法,该方法通过S盒优化、先验计算和先进的流水线设计等硬件手段提升了ASCON在物联网安全认证应用中的速度,同时降低了内存占用。作为对比,在常见的物联网嵌入式处理器平台上软件移植了ASCON,结果显示所述方法的速度提升了7.9倍以上,而存储器的占用则降低了至少90%。所述方法可用于物联网安全专用集成电路或片上系统(SoC,system on a chip)的设计和实现。

基于CLIP和双空间自适应归一化的图像翻译

现有的图像翻译方法大多依赖数据集域标签来完成翻译任务,这种依赖往往限制了它们的应用范围。针对完全无监督图像翻译任务的方法能够解决域标签的限制问题,但是普遍存在源域信息丢失的现象。为了解决上述2个问题,提出一种基于对比学习语言-图像预训练(CLIP)的无监督图像翻译模型。首先,引入CLIP相似性损失对图像的风格特征施加约束,以在不使用数据集域标签的情况下增强模型传递图像风格信息的能力和准确性;其次,对自适应实例归一化(AdaIN)进行改进,设计一个新的双空间自适应归一化(DSAdaIN)模块,在特征的风格化阶段添加网络的学习和自适应交互过程,以加强对内容源域信息的保留;最后,设计一个鉴别器对比损失来平衡对抗网络损失的训练和优化过程。在多个公开数据集上的实验结果表明,与Star GANv2、Style DIS等模型相比,该模型可在准确传递图像风格信息的同时保留一定的源域信息,且在定量评估指标FID分数和KID分数上分别提升了近3.35和0.57×102,实现了较好的图像翻译性能。

结合细粒度自注意力的实例图像着色

尽管基于深度学习的图像着色方法已取得显著效果,但仍存在冗余色斑、着色暗淡和颜色偏差三个问题。为此,提出了一种结合细粒度自注意力(fine-grain self-attention,FGSA)的实例图像着色方法。具体地,首先将提取的特征图分为颜色和空间位置,并结合两者拟合提高颜色和图像空间位置的对应关系,以缓解冗余色斑;其次,受光学摄影HDR原理的启发,利用感受野小的卷积核增强或抑制图像的颜色特征,并结合softmax对特征进行动态映射,从而提高对比度,缓解着色暗淡的问题;最后,组合不同的非线性基函数,增加网络对非线性颜色的表达,拟合出最接近真实图像的颜色分布,以解决颜色偏差。大量的实验结果表明,该方法在实例图像着色中取得了良好的效果。特别地,与当前较优的着色方法相比,该方法在特征感知评价指标LPIPS和FID上分别降低了4.1%和7.9%。

基于双指导扩散模型的单样本图像域自适应

为了避免现有的单样本图像域自适应算法在反转重建过程中丢失内容信息的现象,提出一种利用CLIP(contrastive language-image pretraining)和ViT(vision transformer)双指导扩散模型去噪、实现内容对齐的单样本图像域自适应算法。首先设计一种基于扩散模型的域反转算法,将位于目标域的图像通过预训练的扩散模型反转到源域,从而获得了内容相同但域信息不同的图像对。其次,将图像对映射到CLIP模型隐空间中,通过内容主导和域主导的2个方向分别顾及内容信息和域信息;同时,将图像对映射到ViT模型隐空间中,通过对比学习的方式分别约束内容信息和域信息。最后,使用条件化指导的去噪方式,实现任意源域图像到目标域的转换。此外,该算法也适用于未见域间转换和多属性编辑的任务。定性和定量的实验结果证明,该算法相对于其他先进算法在多个性能指标上提升2%~27%。

基于检测残差消除的CP-OTFS系统信号检测算法

正交时频空(OTFS)调制技术因其高抗频率色散的性能,有望成为6G中高移动性场景下通信的关键技术。通过在OTFS系统发送端加入循环前缀(CP),可克服信道多径效应导致的码间干扰。针对当前CP-OTFS系统信号检测算法计算复杂度高的问题,提出一种基于检测残差消除的信号检测算法。采用时频域低复杂度初始检测后,结合系统时延-时间域的输入-输出关系计算初始检测残差。以检测残差为迭代变量,通过计算反馈值更新检测信号,并在时延-多普勒域进行逐符号最大似然检测。在迭代计算过程中逐步消除检测残差,并给出了算法停止准则。实验结果表明,该算法在信噪比为15 dB时误码性能比线性最小均方差算法提升了2.79 dB,比消息传递算法提升了1.76 dB,并且具有更好的收敛性和更低的计算复杂度。

新工科背景下综合性虚拟仿真实验的开发

虚拟仿真实验一流课程是提升实验教学质量的重要方式,综合性虚拟仿真实验对于新工科人才培养具有积极的促进作用。通过对“智能花卉种植物联网系统设计与实现虚拟仿真实验课程”的开发进行论述,对教学应用和促进新工科人才培养的效果进行分析,探讨了综合性虚拟仿真实验课程建设与教学应用的关键共性问题,能为类似的课程建设起到参考作用。

基于3D残差卷积注意力网络的跨域手势识别

针对现有WiFi单一场景下手势识别模型泛化能力差,跨域识别精度低的问题,提出了基于3D残差卷积注意力网络(RAN)的信道状态信息(CSI)跨场景手势识别方法,通过提取与场景无关的特征人体坐标速度谱(BVP),并结合3D RAN来实现跨场景手势识别。结果表明:所提出的方法具有较好的跨域手势识别效果,并且具有更好的泛化能力。

内容语义和风格特征匹配一致的艺术风格迁移

随着计算机视觉领域的发展,图像风格迁移已经成为一个具有挑战性和研究价值的重要课题。针对现有方法无法有效保留内容图像物体轮廓和同种内容语义迁移多种不同风格特征的问题,提出了一个内容语义和风格特征匹配一致的艺术风格迁移网络。首先,利用双支路特征处理模块增强风格特征和内容特征,并保留内容图像的物体轮廓;然后,在注意力特征空间中实现特征分布对齐和融合;最后,采用具有空间感知能力的插值模块实现内容语义的风格一致化。使用82783张真实照片和80095张艺术画像进行风格迁移训练,另各使用1000张真实照片和艺术画像进行测试。实验通过与最新的4种风格迁移方法进行比较,并进行消融实验分别验证该框架与所加损失函数的有效性。实验结果表明,本文网络在256像素图像生成中平均运行时间为9.42 ms,在512像素图像生成中平均运行时间为10.23 ms;同时避免了内容结构扭曲失真,并将内容语义和风格特征匹配一致,具有更好的艺术视觉效果。

稠密自适应生成对抗网络的爨体字风格迁移模型

爨体字作为典型的衬线字体,不同于黑体、微软雅黑、等线这些非衬线字体,其字形结构十分多样.为了防止爨体字在生成过程中笔画弯折处出现伪影和模糊的现象,提出一种基于稠密自适应生成对抗网络的爨体字风格迁移模型.首先,生成器通过稠密自适应卷积块更加充分地提取风格特征和内容特征;然后,像素判别器对真实图片和生成图片进行分辨;再采用对抗损失、迁移损失、梯度损失和边缘损失对生成网络进行参数调节;最后,将自行采集的爨体字数据集作为训练集送入模型进行训练.实验结果证明,所提模型能够有效地学习到风格特征,达到更好的生成效果;其生成结果在字形大小保持上优于Zi-to-zi模型,在笔画细节特征的保留上优于StarGANv2以及CycleGAN模型,并在SSIM和L1 loss指标上得到了验证.

基于自适应门控信息融合的多模态情感分析

多模态情感分析的目标是使用由多种模态提供的互补信息来实现可靠和稳健的情感分析。近年来,通过神经网络提取深层语义特征,在多模态情感分析任务中取得了显著的效果。而多模态信息的不同层次的特征融合也是决定情感分析效果的重要环节。因此,提出了一种基于自适应门控信息融合的多模态情感分析模型(AGIF)。首先,通过门控信息融合网络将Swin Transformer和ResNet提取的不同层次的视觉和色彩特征根据对情感分析的贡献进行有机融合。其次,由于情感的抽象性和复杂性,图像的情感往往由多个细微的局部区域体现,而迭代注意可以根据过去的信息精准定位这些情感判别区域。针对Word2Vec和GloVe无法解决一词多义的问题,采用了最新的ERNIE预训练模型。最后,利用自动融合网络“动态”融合各模态特征,解决了(拼接或TFN)确定性操作构建多模态联合表示所带来的信息冗余问题。在3个公开的真实数据集上进行了大量实验,证明了该模型的有效性。

极化自注意力约束颜色溢出的图像自动上色

自动上色可以将灰度图像转换为色彩合理的自然彩色图像,可以为老旧照片、黑白影视作品等重新恢复颜色,因此在计算机视觉和图形学领域受到广泛关注。然而,为灰度图像分配色彩是一项极具挑战性的任务,存在颜色溢出问题。为解决该问题,提出了一种极化自注意力约束颜色溢出的图像自动上色方法。首先,将前景中的实例和背景分开,降低背景对前景的上色影响,从而减少前景和背景之间的颜色溢出;然后,使用极化自注意力模块把特征分为颜色通道和空间位置两部分,使上色更加准确、具体,从而减少全局图像、实例对象内的颜色溢出;最后,结合融合模块,将全局特征和实例特征通过不同权重融合为一体,完成最终上色。实验结果表明,与ChromaGAN,MemoGAN等算法相比,所提方法在主要指标FID,LPIPS上分别提升了9.7%和10.9%,且SSIM和PSNR指标均达到最优。

基于多尺度模型融合和VMD-TCN-RF混合网络的短期电力负荷预测方法

为了充分挖掘不同尺度影响因子对短期电力负荷的影响,以及解决预测精度受数据非平稳特性影响的问题,提出了一种基于多尺度模型融合和VMD-TCN-RF混合网络的短期电力负荷预测方法。该方法先采用变分模态分解(Variational Mode Decomposition, VMD)将历史负荷分解为若干平稳性好的本征模态函数(Intrinsic Mode Function, IMF)分量,再把VMD分解得到的各个历史负荷的IMF分量和气象数据分别送入时间卷积网络(Temporal Convolutional Network, TCN)进行特征提取;将所有TCN网络提取的特征融合为一个新的特征向量;最后将融合得到的特征向量与经过One-Hot编码的日期因素特征向量拼接,把拼接得到的向量送入随机森林网络进行预测。通过公开的电力负荷数据集对本方法进行验证,结果表明所提方法与现有模型相比具有更高的预测精度。

基于毫米波雷达传感器RAI图像的手势识别方法

针对现有的手势识别方法存在数据集过少、利用特征信息较少和神经网络部分提取信息不充分的问题,提出一种基于毫米波雷达传感器RAI图像的手势识别方法。首先使用TI公司的IWR1443毫米波雷达传感器采集10类手势数据构建数据集,再通过对手部反射的雷达信号进行时频分析,获取固定帧数的RDI和RAI。为了充分提取手势特征并精确分类,在卷积神经网络基础上,引入了残差块和通道注意力块。实验结果表明,相较其他特征如RDI,RAI能更准确的表征手势,所提出的网络相比于CNN方法准确率提高了12.72%,相比于VGG16-Net和单参数VGG16-Net方法准确率提高了8.93%与10.41%,参数量降低了90.68%,时间复杂度降低了17.2%。

基于小波变换和残差神经网络的全盲频谱感知方法

为了解决非平稳信号的时频图特征难以提取的问题,提出了基于小波变换和残差神经网络的全盲频谱感知方法。该方法通过连续小波变换将捕获的主用户信号变换成时频信息矩阵,同时转化为图片作为输入,通过残差网络进行训练和识别。仿真测试了不同小波基对非平稳信号的分解能力和所提算法在各种复杂无线信道环境下对非平稳信号的检测性能和泛化能力,以及对不同主用户信号的适应能力。结果表明,在信噪比为-16 dB时,该方法能在虚警概率为0.1时达到0.92的检测概率,同时amor小波更适合用于非平稳信号的分解且训练识别能力更优。

基于字形感知和注意力归一化的字体迁移

字体迁移是一项十分具有挑战性的任务,其目的是将目标字体通过某种映射方式迁移到源字体,以实现字体的变换。现有的方法在字体迁移方面的鲁棒性有限,突出表现为对生成字体结构完整性的保持较差,尤其是当两种不同种类的字体差别较大时。针对这些问题,提出了一种端到端的字体迁移网络框架模型。该模型引入了注意力归一化以更好地提取字形图像的高级语义特征,从而提高生成图像的质量。此外,使用自适应实例归一化进行字体特征和内容特征融合,以实现字体的转换。在保持字形结构完整性方面,设计了感知损失和上下文损失来约束字形结构的生成。为了稳定GAN网络的训练,在对抗损失函数的设计中加入了正则化项。为了验证该模型的有效性,实验采用FET-GAN中公开的数据集进行了多组训练和测试,并与FET-GAN,CycleGAN和StarGANv2进行了对比。实验结果表明,该模型能够在给定的多个字体域之间实现相互的字体迁移,并且其迁移的效果和模型泛化能力与其他工作相比均具有一定的优势。

基于实用拜占庭容错算法的H-PBFT算法

在区块链技术与物联网领域结合的场景中存在着资源消耗高、吞吐量低、安全性差的问题。针对上述问题提出一种基于等级的实用拜占庭容错算法(Hierarchy-based Practical Byzantine Fault Tolerance,H-PBFT),通过引入信用分级协议对节点评分划分等级,降低了拜占庭节点在系统中作恶的可能性,提高共识节点的安全连接率;此外,本文改进了共识机制的结构,以减少系统通信消耗量为基础,优化了一致性协议和视图转换协议,解决了物联网系统中资源消耗随节点数增加呈现指数级增长的问题。通过搭建超级账本仿真平台进行实验分析,结果表明:在同等条件下H-PBFT比传统实用拜占庭容错算法的延迟性降低了21%,吞吐量性能提高了26%,具有较好的安全性和较低的资源消耗。

基于双流循环映射网络的肖像漫画化

肖像风格迁移旨在将参考艺术肖像画中迁移到人物照片上,同时保留人物面部的基本语义结构。然而,由于人类视觉对肖像面部语义结构的敏感性,使得肖像风格迁移任务比一般图像的风格迁移更具挑战性,现有的风格迁移方法未考虑漫画风格的抽象性以及肖像面部语义结构的保持,所以应用到肖像漫画化任务时会出现严重的结构坍塌及特征信息混乱等问题。为此,提出了一个双流循环映射网DSCM。首先,引入了一个结构一致性损失来保持肖像整体语义结构的完整性;其次,设计了一个结合U~2-Net的特征编码器在不同尺度下帮助网络捕获输入图像更多有用的特征信息;最后,引入了风格鉴别器来对编码后的风格特征进行鉴别,从而辅助网络学习到更接近目标图像的抽象漫画风格特征。实验与五种先进方法进行了定性及定量的比较,该方法均优于其他方法,其不仅能够完整地保持肖像的整体结构和面部的基本语义结构,而且能够充分学习到风格类型。