融合位置编码的中文拼写纠错方法

在中文拼写纠错任务中,字符在文本中的距离信息和顺序信息是重要的特征,因此位置编码至关重要。传统的位置编码无法区分字符的前后联系,此外二阶段方式的纠错方案存在错误传播问题。针对上述问题,提出一种多任务学习下融合位置编码的中文拼写纠错方法,使用融合位置编码更好地为模型提供位置信息;使用多任务学习机制缓解错误传播问题,提升模型泛化能力。针对公开数据集进行实验,实验结果在F1值方面有稳定提升,验证了所提方法的有效性。

基于动态位置编码和注意力增强的目标跟踪算法

为了充分利用模板和搜索区域之间的位置信息以及提高融合特征的表征能力,提出使用动态位置编码和多域注意力特征增强的方法.在注意力模块内部嵌入带有卷积操作的位置编码模块,随注意力计算更新位置编码,提高自身空间结构信息的利用率.引入多域注意力增强模块,在空间维度上使用不同空洞率和步长的平行卷积进行采样,以应对不同大小的目标物,并聚合通道注意力增强后的特征.在解码器中加入空间域注意力增强模块,为预测头提供更精确的分类回归特征.本算法在GOT-10K数据集上的平均重叠度(AO)为73.9%;在TrackingNet、UAV123和OTB100数据集上分别取得了82.7%、69.3%和70.9%的曲线下面积(AUC).与主流算法的对比结果表明,融合了动态位置编码和通道、空间注意力增强的跟踪模型可以有效提升模板和搜索区域间的信息交互,提高跟踪的精度.

基于二维混合式位置编码的高精度测角

针对具有精密旋转轴系类的高端制造装备或精密测量仪器,其旋转角度采用传统圆光栅难以消除偏心误差对测量角度精度的影响,提出了一种基于二维混合式位置编码的旋转角度高精度测量方法。该测角系统由一个二维混合式位置编码盘、两个CCD相机和远心镜头组成,二维混合式位置编码盘被固定在精密旋转轴系上以获得其旋转角度。然后,建立了测角模型并从数学上证明了测角精度与安装偏心无关。利用多齿分度台对已提出测角系统精度进行检测,测量角度误差在±1″。最后,利用已提出测量方法对直驱转台的角度定位精度进行测量,角度定位误差在±5″内。与传统圆光栅测角相比,该方法不需要考虑安装偏心误差对测角精度的影响,具有稳定性好、使用简单等特点,可用于角度定位误差的检测。

融合语义增强和位置编码的图文匹配方法

图文匹配是跨模态基础任务之一,其核心是如何准确评估图像语义与文本语义之间的相似度。现有方法是通过引入相关阈值,最大限度地区分相关和无关分布,以获得更好的语义对齐。然而,对于特征本身,其语义之间缺乏相互关联,且对于缺乏空间位置信息的图像区域与文本单词很难准确对齐,从而不可避免地限制了相关阈值的学习导致语义无法准确对齐。针对此问题,本文提出一种融合语义增强和位置编码的自适应相关性可学习注意力的图文匹配方法。首先,在初步提取特征的基础上构造图像(文本)无向全连通图,使用图注意力去聚合邻居的信息,获得语义增强的特征。然后,对图像区域的绝对位置信息编码,在具备了空间语义的图像区域与文本单词相似性的基础上获得最大程度区分的相关和无关分布,更好地学习两个分布之间的最优相关边界。最后,通过公开数据集Flickr 30 k和MSCOCO,利用Recall@K指标对比实验,验证本文方法的有效性。

基于门控位置编码的壁画图像多级色彩还原

近年来,壁画图像的色彩还原研究已成为壁画文物保护和展示领域的一个热点问题。针对壁画色彩还原面临的整体特征信息难以有效提取和保持,局部色彩还原易出现假色以及色彩溢出等问题,提出基于门控位置编码的壁画图像多级色彩还原方法。首先,构建基于全局特征约束的编码器网络,并通过改进的多核多值池化算法提取图像的全局特征梯度作为下采样取值标准以建立壁画图像特征金字塔,从而减少壁画图像在特征编码过程中的整体特征损失;其次,为准确还原壁画图像的局部色彩信息,设计基于门控位置编码的色彩迁移模块,该模块通过约束空间域中内容特征与色彩特征之间相似性核的学习,构建色彩特征在待还原壁画图像中的准确映射,从而减少还原图像中的假色现象与色彩溢出。实验结果表明,该方法所生成的壁画还原图像相较于AdaIN(Adaptive Instance Normalization)、AST(ArbitraryStyleTransfer)等对比方法所生成的壁画还原图像,NIQE(NaturalImageQuality Evaluator)和PIQE(Perception based Image Quality Evaluator)都取得了最优的结果。可见,所提方法能有效还原壁画色彩信息并保持待还原壁画图像的整体结构纹理特征。

基于位置编码重叠切块嵌入和多尺度通道交互注意力的鱼类图像分类

水下鱼类图像分类是一项极具挑战性的任务。传统Vision Transformer(ViT)网络骨干的局限性较大,难以处理局部连续特征,在图像质量较低的鱼类分类中效果表现不佳。为解决此问题,提出一种基于位置编码的重叠切块嵌入(OPE)和多尺度通道交互注意力(MCIA)的Transformer图像分类网络PIFormer(Positional overlapping and Interactive attention transFormer)。PIFormer采用多层级形式构建,每层以不同次数堆叠,利于提取不同深度的特征。首先,引入深度位置编码重叠切块嵌入(POPE)模块对特征图与边缘信息进行重叠切块,以保留鱼体的局部连续特征,并添加位置信息以排序,帮助PIFormer整合细节特征和构建全局映射;其次,提出MCIA模块并行处理局部与全局特征,并建立鱼体不同部位的长距离依赖关系;最后,由分组多层感知机(GMLP)分组处理高层次特征,以提升网络效率,并实现最终的鱼类分类。为验证PIFormer的有效性,提出自建东湖淡水鱼类数据集,并使用公共数据集Fish4Knowledge与NCFM(Nature Conservancy Fisheries Monitoring)以确保实验公平性。实验结果表明,所提网络在各数据集上的Top-1分类准确率分别达到了97.99%、99.71%和90.45%,与同级深度的ViT、Swin Transformer和PVT(Pyramid Vision Transformer)相比,参数量分别减少了72.62×10^(6)、14.34×10^(6)和11.30×10^(6),浮点运算量(FLOPs)分别节省了14.52×10^(9)、2.02×10^(9)和1.48×10^(9)。可见,PIFormer在较少的计算负荷下,具有较强的鱼类图像分类能力,取得了优越的性能。

听到“牛黄”能想到“黄牛”吗?——口语识别中的语音位置编码机制

在众多语言中,都存在一系列词汇,经过语音位置转置后仍能有效成词,典型如中文中的“牛黄”与“黄牛”。阐明这类可转置词汇在语言理解过程中的编码方式,是一项至关重要的研究课题。在阅读领域,学者们已就词汇的位置编码机制展开了讨论,然而针对口语加工中语音位置编码的认知机制,至今仍存在序列−灵活编码之争:早期口语识别理论认为语音位置编码主要以序列编码方式为主,而近年来的研究则发现,音位、音节和句子等层面上存在以灵活编码为主的语音位置编码方式。未来研究应深入探索与口语识别中语音编码相关的认知机理、神经机制、语言获得以及人工智能等重要问题,由于汉字词在形音对应关系和语音加工单元等方面独具特殊性,后续研究应对汉字词的语音位置编码予以特别关注。

基于位置编码和双距离注意的点云分割方法

近年来,卷积和图运算被广泛用于从点云中捕获特征信息的研究中,在语义分割任务中表现出良好的性能。然而,这些方法在表示点云的局部信息方面存在局限性,并且采用对称池化操作而丢失了大量的特征信息。为了解决这些问题,提出DualRes-Net网络。该网络采用位置编码模块对局部坐标特征进行编码,使网络能够专注于点云位置信息,获得更好的局部特征表示。利用双距离注意力池将中心点与邻近点的差异与注意力相结合,增强了注意力对局部点云信息的自适应聚合能力。在网络的每个阶段使用去分化残差结构来提取点云的深层特征。由于不同的输入类型具有显著的分布差异,为了稳定模型训练,提高模型性能,对每种类型的特征分别应用MLP。在S3DIS Area5的语义分割实验中,所提方法的分割性能mIoU达到了63.7%,超过了许多现有的网络,证明了所提方法的有效性。

融合非负正弦位置编码和混合注意力机制的情感分析模型

针对情感分析任务中,序列模型存在难以获取文本的相对位置信息,且处理较长序列时容易丢失关键信息等问题,提出了一种融合非负正弦位置编码(non-negative sinusoidal position encoding,NSPE)和混合注意力机制(hybrid attention mechanism,HAM)的双向长短期记忆网络(bi-directional long short-term memory,Bi-LSTM)情感分析模型(NSPEHA-BiLSTM)。提出NSPE方法,建立词语的NSPE,为词向量融入相对位置信息;通过Bi-LSTM提取文本特征,并基于HAM分别对特征的全局和局部特征进行赋权,确保关键信息的准确传递;通过全连接层实现文本情感分析。在IMDB数据集中,NSPEA-BiLSTM相较于Bi-LSTM和Text-CNN准确率分别提升了4.67和2.02个百分点,且输入的文本长度越长,模型效果越好,同时验证了NSPE优于其他位置编码。

引入位置编码机制对抗网络的文本生成模型

针对目前对抗网络文本生成模型在生成文本时,出现词与词之间位置关系紊乱导致文本逻辑不通的问题,该文提出了一种引入位置编码机制对抗网络的文本生成模型(Position-Encoding GAN,PE_GAN)并进行探讨和验证。在对抗神经网络模型的基础上引入位置编码机制,可以通过带有位置编码的词向量来标记文本中词与词之间的位置关系,生成器和判别器使用GRU神经网络的门控机制来减少梯度消失,同时利用蒙特卡洛策略思想来降低数据过拟合风险并提高生成文本的准确性。为了验证PE_GAN模型的有效性,使用开源数据和网络爬取的小说和新闻文本共同作为实验的数据集,结果表明:该模型中生成器和判别器loss值的差距比对比模型小,表明生成的文本更加接近真实文本;与Gumbel-softmax GAN模型、seq-GAN模型和LFMGAN模型相比,PE_GAN模型的BLEU-2、BLEU-3和BLEU-4的值分别都有明显的提高,表明引入位置编码机制后可以改善生成文本的逻辑性,由此可知该模型有较好的应用性。

基于位置编码和BAM注意力机制的马铃薯叶部病害识别方法

马铃薯叶部病害的准确检测和识别对于精准防治病虫害至关重要,能够有效提高马铃薯产量,但由于马铃薯叶部的早疫病和晚疫病在早期表现上非常相似,很难区分。为了更准确地对马铃薯叶部病害进行检测识别,本文提出了一种基于位置编码和并行注意力机制的Conv Ne Xt模型。首先对数据集进行位置编码预处理,使网络模型无需加载预训练权重即可获取病害部位的位置信息,提高学习能力;其次针对不同病害空间分布位置不同以及形态特征的细微差异,添加并行注意力机制BAM模块增强对病害特征的提取能力。实验结果表明:优化后的ConvNeXt模型能够准确检测并对不同病害进行分类识别,较原ConvNeXt模型Top-1准确率最高提高约5个百分点,能够满足目前马铃薯叶部病害准确识别方面的需求,有良好的鲁棒性,可以泛化在其他植物种类上。

嵌入位置编码的多头注意力机制在堆积脉冲幅度估计中的应用

传统脉冲成形方法对堆积脉冲幅度计算存在的误差将会导致X射线荧光光谱失真,因此,在高堆积率背景下测量得到的光谱很难对光谱进行准确分析。本文提出一种基于深度学习的Transformer模型,该模型采用编码器-解码器结构,通过嵌入位置编码的多头注意力来估计堆积脉冲的幅度,并将其应用于高性能硅漂移探测器的辐射测量,以及X射线荧光光谱学分析。为了训练该模型,通过预定义的数学模型模拟得到探测器输出的脉冲信号,为了模拟真实的核脉冲,在信号中加入了与热噪声和散粒噪声相对应的高斯噪声。训练后的模型通过截取粉末铁矿样品和粉末岩石样品的实测脉冲序列进行验证,使用相对误差作为模型性能评估指标,对应于脉冲幅度估计的准确度。在粉末铁矿样品和粉末岩石样品的实验测量8组离线脉冲序列中,得到的平均相对误差为0.89%。结果表明:该模型能够实现堆积脉冲幅度的准确估计。

基于自适应位置编码的心电图重构算法

可穿戴心电检测的主要挑战是较多导联影响被测者的身体活动,如果减少导联会使心电数据信息减少使检测效果变差。为了平衡被测者日常穿戴舒适性和检测准确性,笔者设计了一个基于Transformer Encoder的自适应相对位置编码重构算法,通过前后重叠的切片方式使相邻片段的信息具备关联性,相对位置编码时加入可训练参数对任意片段进行重构,从而有效地提取位置信息。用3个导联的EGG信号重构标准12导联EGG信号,实验结果表明,重构的ECG数据均方根误差低至0.02758,平均相关系数高达98.43%,显示出本文算法在应用于可穿戴心电检测设备的应用前景。

一种改进的线性变换与多尺度位置编码方法

为了提高离线手写公式的识别率,提出一种线性变换与多尺度位置编码方法,并设计一个密集网络-位置编码-BiGRU的公式识别模型验证该方法的有效性。该方法利用三角函数的线性变换性质,提取符号的绝对位置和符号之间的相对位置,分别从水平、垂直方向进行多尺度伸缩,提取更细微的符号,以及符号之间的位置关系。基于密集网络-位置编码-BiGRU的公式识别模型的实验结果显示,该模型在2个常见测试集CROHME 2014和CROHME 2016上的识别率分别是49.92%、50.08%,均超过了DenseWAP、DenseWAP-TD等同类研究模型;该位置编码方法比普通坐标系位置提升明显,结构识别率超过68.9%,表明该位置编码方法是有效、可行的。

基于卡诺图的均布式绝对位置编码

提出了一种基于卡诺图的均布式绝对位置编码,介绍了该绝对编码的生成方法及在绝对位置角度传感器中的应用。基于卡诺图的均布式绝对位置编码是一种单码道绝对位置编码,克服了传统位置编码随精度提高而码道增多、工艺上不易实现的缺点,可缩减码盘的直径,为绝对位置角度传感器的高精度、小型化开辟了一条新的途径。

位置编码在数据仓库ETL中的应用

为了保证数据仓库中数据的质量,在数据挖掘前必须进行数据清洗。ETL是构建数据仓库的重要环节,数据清洗就包含在其中。而检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的关键问题之一。该文将位置编码技术引入到数据仓库ETL中,提出了一种相似重复记录的检测算法,并给出了不同级别匹配阈值的动态确定方法。通过实验表明该算法具有较好的检测效果。

小学儿童空间物体位置编码(I)

采用找物范式研究小学 7、9、11岁儿童利用点与点之间的关系对目标物位置进行编码的认知发展。结果表明 :两点距离编码和三点共线编码认知成绩的年龄效应显著 ,9岁组和 11岁组儿童的认知成绩显著好于 7岁组儿童的认知成绩。两个不同实验任务对儿童认知成绩的影响不同 ,7岁组儿童两点距离编码认知成绩显著好于三点共线编码认知成绩 ,9岁组和 11岁组两个任务的认知成绩差异不显著。提供编码线索后 ,认知成绩有了较大的改善。

基于伪随机序列的索引式绝对位置编码

提出了一种基于伪随机序列的索引式绝对位置编码,介绍了它在绝对位置角度传感器中的应用和生成方法。由于它是一种单码道绝对位置编码,克服了传统位置编码随精度提高而码道增多、工艺上不易实现的缺点,可缩减码盘的直径,为绝对位置角度传感器的高精度、小型化开辟了一条新的途径。

基于m序列索引式绝对位置编码

提出了一种基于m序列索引式绝对位置编码的单码道编码器,介绍了该绝对编码在绝对位置角度传感器中的应用和编码的生成方法。基于m序列索引式绝对位置编码是一种单码道绝对位置编码,克服了传统位置编码随精度提高而码道增多,工艺上不易实现的缺点,可缩减码盘的尺度,为绝对位置角度传感的高精度、小型化、集成化开辟了一条新的途径和研制思路。

基于绝对位置编码的列车定位技术

介绍在轨道交通中常用的列车定位技术,分析各种技术的优缺点,提出一种基于绝对位置编码的列车定位技术。利用m序列(最大周期线性反馈移位寄存器序列)对轨道线路上的绝对位置进行编码,当列车在线路上运行时,通过车载阅读器顺序检测设置在轨道线路上的二值标记,在不同位置上读到的标记在移位存储器中构成唯一的位置编码,以此位置编码值作为地址与车载阅读器所处位置的坐标信息相对应,就可以实现列车的绝对定位。二值标记可以根据列车定位精度的需要等间隔或不等间隔布置,既可以对整条轨道线路统一编码,也可以与既有应答器相结合应用,每段应答器之间的轨道线路采用相同的编码。该定位方法具有高精度、高可靠性、低成本、抗干扰能力强的优点。