Implementation of Rapid Code Transformation Process Using Deep Learning Approaches

Our previous work has introduced the newly generated program using the code transformation model GPT-2,verifying the generated programming codes through simhash(SH)and longest common subsequence(LCS)algo-rithms.However,the entire code transformation process has encountered a time-consuming problem.Therefore,the objective of this study is to speed up the code transformation process signi􀀀cantly.This paper has proposed deep learning approaches for modifying SH using a variational simhash(VSH)algorithm and replacing LCS with a piecewise longest common subsequence(PLCS)algorithm to faster the veri􀀀cation process in the test phase.Besides the code transformation model GPT-2,this study has also introduced MicrosoMASS and Facebook BART for a comparative analysis of their performance.Meanwhile,the explainable AI technique using local interpretable model-agnostic explanations(LIME)can also interpret the decision-making ofAImodels.The experimental results show that VSH can reduce the number of quali􀀀ed programs by 22.11%,and PLCS can reduce the execution time of selected pocket programs by 32.39%.As a result,the proposed approaches can signi􀀀cantly speed up the entire code transformation process by 1.38 times on average compared with our previous work.

基于SF-Transformer的智能教育平台短期电力负荷预测研究

建设智能教育平台是推动教育智能化的一个重要过程,但智能教育平台依赖的人工智能模型在训练过程中会消耗大量电力,因此,开展短期电力负荷预测对建设智能教育平台具有重要意义.针对在考虑多个属性开展短期电力负荷预测时,由于部分属性与电力负荷数据的相关性不强并且Transformer无法捕捉电力负荷数据的时间相关性,而导致电力负荷预测不够准确的问题,基于SR(Székely and Rizzo)距离相关系数、融合时间定位编码和Transformer,提出了一种短期电力负荷预测模型SF-Transformer.SF-Transformer通过SR距离相关系数对影响电力负荷数据的属性进行筛选,选择与电力负荷数据之间SR距离相关系数较大的属性.SF-Transformer采用一种全局时间编码与局部位置编码相结合的融合时间定位编码,有助于模型全面获取电力负荷数据的时间定位信息.在数据集上开展了实验,实验结果表明SF-Transformer与其他模型相比,在两种时长上进行电力负荷预测具有更低的均方根误差和平均绝对误差.

基于Transformer生成对抗网络的跨模态哈希检索算法

考虑生成对抗网络在保持跨模态数据之间的流形结构的优势,并结合Transformer利用自注意力和无须使用卷积的优点,提出一种基于Transformer生成对抗网络的跨模态哈希检索算法。首先在ImageNet数据集上预训练Vision Transformer框架,并将其作为图像特征提取的主干网络,然后将不同模态的数据分割为共享特征和私有特征。接着,构建对抗学习模块减少不同模态的共享特征的分布距离与保持语义一致性,同时增大不同模态的私有特征分布距离与保持语义非一致性。最后将通用的特征表示映射为紧凑的哈希码,实现跨模态哈希检索。实验结果表明,在公共数据集上,所提算法优于对比算法。

基于Luby Transform码云存储系统性能和时间算法的研究

随着数据的快速增长,如何提高存储数据可靠性以及减少存取响应时间成了一个重要的问题,为提高云存储数据的可靠性和减少存取响应时间,对一种基于Luby Transform码的云存储方案在鲁棒孤子分布、泊松鲁棒孤子分布和复合泊松鲁棒孤子分布中的性能表现进行了研究,提出了一种时间改进方法,通过平衡成功解码概率和检索延迟减少数据检索时间。实验证明采用泊松鲁棒孤子分布和复合泊松鲁棒孤子分布的Luby Transform码的云存储方案更可靠、存储更快速,提出的时间改进方法与经典的鲁棒孤子分布度时间方法相比分别减少70%和67%的数据检索时间。

基于Social Transformer的井下多人轨迹预测方法

目前煤矿井下人员轨迹预测方法中,Transformer与循环神经网络(RNN)、长短期记忆(LSTM)网络相比,在处理数据时不仅计算量小,同时还有效解决了梯度消失导致的长时依赖问题。但当环境中涉及多人同时运动时,Transformer对于场景中所有人员未来轨迹的预测会出现较大偏差。并且目前在井下多人轨迹预测领域尚未出现一种同时采用Transformer并考虑个体之间相互影响的模型。针对上述问题,提出一种基于Social Transformer的井下多人轨迹预测方法。首先对井下每一个人员独立建模,获取人员历史轨迹信息,通过Transformer编码器进行特征提取,接着由全连接层对特征进行表示,然后通过基于图卷积的交互层相互连接,该交互层允许空间上接近的网络彼此共享信息,计算预测对象在受到周围邻居影响时对周围邻居分配的注意力,从而提取其邻居的运动模式,继而更新特征矩阵,最后新的特征矩阵由Transformer解码器进行解码,输出对于未来时刻的人员位置信息预测。实验结果表明,Social Transformer的平均位移误差相较于Transformer降低了45.8%,且与其他主流轨迹预测方法LSTM,S−GAN,Trajectron++和Social−STGCNN相比分别降低了67.1%,35.9%,30.1%和10.9%,有效克服了煤矿井下多人场景中由于人员间互相影响导致预测轨迹失准的问题,提升了预测精度。

基于改进Transformer模型的多声源分离方法

目前主流的语音分离算法模型都是基于复杂的递归网络或Transformer网络,Transformer网络复杂度高导致训练难度大以及音频的高采样率导致在样本级别上使用超长输入从而获取不完全特征,不能直接对长语音特征序列进行直接建模出现特征丢失问题。对此,该文提出了一种基于Transformer的改进网络模型。首先,在原有Transformer网络模型编码器里新添加下采样块,计算不同时间尺度上的高级特征同时降低特征空间复杂度;其次,在Transformer网络模型的解码器里添加上采样层与编码器下采样层特征融合保证特征不丢失,提高模型分离能力;最后,在模型分离层里引入一种改进的滑动窗口注意力机制,滑动窗口使用循环移位技术,新的特征窗口中包含老的特征窗口特征同时融合特征边缘信息完成了特征窗口之间的信息交互,获得特征编码以及特征位置编码同时提高特征信息之间的相关系数。实验表明,使用SI-SNR评价标准达到13.5 dB,使用SDR评价指标达到14.1 dB,分离效果优于之前的方法。

基于预训练Transformer语言模型的源代码剽窃检测研究

为解决源代码剽窃检测的问题,以及针对现有方法需要大量训练数据且受限于特定语言的不足,提出了一种基于预训练Transformer语言模型的源代码剽窃检测方法,其结合了词嵌入,相似度计算和分类模型。该方法支持多种编程语言,不需要任何标记为剽窃的训练样本,即可达到较好的检测性能。实验结果表明,该方法在多个公开数据集上取得了先进的检测效果,F1值接近。同时,对特定的能获取到较少标记为剽窃训练样本的场景,还提出了一种结合有监督学习分类模型的方法,进一步提升了检测效果。该方法能广泛应用于缺乏训练数据、计算资源有限以及语言多样的源代码剽窃检测场景。

基于Transformer-Bi-LSTM模型的武器装备剩余寿命预测方法

武器装备担负保卫国土安全的重要使命,其保持稳定运行状态具有重大国防、政治意义;因其装备运行状态不便中断、故障定位过程复杂,使得传统维修方式效率较低;装备使用数据具有连续性、长期性、不平稳性,甚至一些深度学习模型无法处理其中的退化状态历史依赖与关联问题;通过构建元器件层级的剩余寿命预测架构,对特征工程、退化指标构建以及Transformer-Bi-LSTM模型开展研究,采用距离编码技术,实现针对深度学习模型的技术创新,优化模型预测效果;基于某型武器装备主要器件正常试样数据,进行本方法分析验证,在器件已运行时间达到90%设计试验寿命长度时能够进行有效且准确的剩余寿命预测,所提方法满足武器装备器件寿命预警及更换提醒、保障装备战备完好性的应用需求。

Context-Aware Change Pattern for Code Transformation

When source code is over-specific to some concrete contexts, developers have to manually change the source code retrieved from the Internet. To solve this problem, we propose the context-aware change pattern（CACP）. For a piece of source code, we extract the changes and changes-relevant context from the past code changes, identifying CACP that is the abstract common part of the changes and context. By using CACP, the retrieved source code could be transformed into the suitable one according to different user needs. From the Github we extracted 7 topics, collected 5-6 code snippets per topic and performed 5 different experiments which illustrated that CACP improves code transformation accuracy by 73.84%.

Blind reconstruction of convolutional code based on segmented Walsh-Hadamard transform

Walsh-Hadamard transform （WriT） can solve linear error equations on Field F2, and the method can be used to recover the parameters of convolutional code. However, solving the equations with many unknowns needs enormous computer memory which limits the application of WriT. In order to solve this problem, a method based on segmented WriT is proposed in this paper. The coefficient vector of high dimension is reshaped and two vectors of lower dimension are obtained. Then the WriT is operated and the requirement for computer memory is much reduced. The code rate and the constraint length of convolutional code are detected from the Walsh spectrum. And the check vector is recovered from the peak position. The validity of the method is verified by the simulation result, and the performance is proved to be optimal.

Recognition Method Based on Wigner-Hough Transform for Poly-Phase Code Radar Signal

In order to solve the recognition of polyphase code radar signal, this paper gives two methods based on Frank code, i.e. the high-order spectrum recognition method and the fractional Fourier transform (FRFT) method, by analyzing the micro characteristics of polyphase code signals in time and frequency domain respectively. And a recognition algorithm based on Wigner-Hough transform (WHT) is developed in this paper. We verify the validity of each method by computer simulation and give relative merits and demerits. A set of results demonstrate that the algorithm based on Wigner-Hough transform has better recognition performance in low signal-to-noise (SNR) than others.

Performance of Luby transform coded frequency hopping systems in partial-band jamming

Luby transform （LT） codes are proposed to suppress the effect of partial band noise jam- ming in frequency hopping （FH） communication systems. A decoding scheme for joint erasures of severely jammed symbols and error correction is proposed. If an uncorrectable error is detected, the receiver erases the jammed symbols and uses incremental redundancy to increase the error-correcting capability. The performance of LT codes, under power-oppressive partial band noise jamming （ PB- N J） with the additive white Gaussian noise （AWGN）, is evaluated via simulation. Even if the jam- mer spreads its high power over half of the hopping bandwidth, LT codes are shown to achieve a tar- get bit error probability of 10 -5, demonstrating their effectiveness as high-performance codes to im- prove the ability of FH systems to combat varying partial band noise jamming.

Code acquisition method based on wavelet transform filtering

In order to improve the acquisition probability of satellite navigation signals, this paper proposes a novel code acquisition method based on wavelet transform filtering. Firstly, the signal vector based on the signal passing through a set of partial matched filters （PMFs） is built. Then, wavelet domain filtering is performed on the signal vector value. Since the correlation signal is low in frequency and narrow in bandwidth, the noise out-of-band can be filtered out and the most of the useful signal energy is retained. Thus this process greatly improves the signal to noise ratio （SNR）. Finally, the detection variable when the filtered signal goes through the combination process is constructed and the detection based on signal energy is made. Moreover, for the better retaining useful signal energy, the rule of selection of wavelet function has been made. Simulation results show the proposed method has a better detection performance than the normal code acquisition methods under the same false alarm probability.

基于改进型Transformer编码器和特征融合的行人重识别

为了解决Transformer编码器在行人重识别中因图像块信息丢失以及行人局部特征表达不充分导致模型识别准确率低的问题,本文提出改进型Transformer编码器和特征融合的行人重识别算法。针对Transformer在注意力运算时会丢失行人图像块相对位置信息的问题,引入相对位置编码,促使网络关注行人图像块语义化的特征信息,以增强行人特征的提取能力。为了突出包含行人区域的显著特征,将局部patch注意力机制模块嵌入到Transformer网络中,对局部关键特征信息进行加权强化。最后,利用全局与局部信息特征融合实现特征间的优势互补,提高模型识别能力。训练阶段使用Softmax及三元组损失函数联合优化网络,本文算法在Market1501和DukeMTMC⁃reID两大主流数据集中评估测试,Rank⁃1指标分别达到97.5%和93.5%,平均精度均值(mean Average precision,mAP)分别达到92.3%和83.1%,实验结果表明改进型Transformer编码器和特征融合算法能够有效提高行人重识别的准确率。

基于Transformer和卷积神经网络的代码克隆检测

基于深度学习的代码克隆检测方法往往作用在代码解析的词序列上或是整棵抽象语法树上,使用基于循环神经网络的时间序列模型提取特征,这会遗漏源代码的重要语法语义信息并诱发梯度消失。针对这一问题,提出一种基于Transformer和卷积神经网络的代码克隆检测方法(TCCCD)。首先,TCCCD将源代码表示成抽象语法树,并将抽象语法树切割成语句子树输入给神经网络,其中,语句子树由先序遍历得到的语句结点序列构成,蕴含了代码的结构和层次化信息。其次,在神经网络设计方面,TCCCD使用Transformer的Encoder部分提取代码的全局信息,再利用卷积神经网络捕获代码的局部信息。再次,融合2个不同网络提取出的特征,学习得到蕴含词法、语法和结构信息的代码向量表示。最后,采用两段代码向量的欧氏距离表征语义关联程度,训练一个分类器检测代码克隆。实验结果表明:在OJClone数据集上,精度、召回率、F 1值分别能达到98.9%、98.1%和98.5%;在BigCloneBench数据集上,精度、召回率、F 1值分别能达到99.1%、91.5%和94.2%。与其他方法对比,精度、召回率、F 1值均有提升,所提方法能够有效检测代码克隆。

基于改进YOLOv5s 的白酒瓶盖瑕疵检测

目的瓶装白酒生产过程中,瓶盖表面瑕疵会影响产品外观质量。针对白酒瓶盖表面瑕疵检测效率低和目标检测效果差的问题,提出一种基于YOLOv5s的改进算法DTS-YOLO。方法首先,在主干网络中引入可变形卷积,以提高模型对极端长宽比瑕疵的检测精度。其次,引入Transformer编码块,使网络聚焦于提取图像的全局信息。最后,在颈部网络构建C3SE-Lite模块,将C3模块嵌入SE注意力模块的同时引入Ghost卷积,减少参数量的同时,增强对瓶盖瑕疵的检测能力。结果实验结果表明,本文所提方法相较于基础网络,参数量减少了10%,平均精度均值达95%,平均检测速度达30帧/s。结论本文方法有效实现了白酒瓶盖表面瑕疵快速、准确地检测,可广泛应用于瓶装白酒生产过程中瓶盖表面检测。

基于长度可变密钥的光学图像加密方法

为提升光学图像加密效果,设计了一种基于长度可变密钥的光学图像加密方法。基于混沌方程构成混沌序列均匀化普适算法,运用该算法生成均匀化伪随机序列,以此作为长度可变密钥,经空间光调制器调制后,转换此类密钥为伪随机相位掩模(PRPM),运用两个转换后PRPM双重随机相位编码初始光学图像,并结合变形分数傅里叶变换(AFrFT),相位转换编码后光学图像,获得加密光学图像,完成光学图像加密。实验结果显示,该方法可针对不同光学图像生成敏感性与唯一性密钥,实现不同光学图像的加密处理,加密效果显著,加密光学图像的像素频数分布均匀,且解密后光学图像与初始光学图像几乎一致,整体加解密效果理想,可有效保障光学图像的安全性,而且本方法可以在最短3 s的时间内完成光学图像的加密和解密,加解密效率更高,综合效果更佳。

基于两种置乱方式的混合混沌图像加密算法

针对单一混沌系统产生的各伪随机序列之间存在关联性和单一置乱方法置乱效果不佳等问题,提出了一种DNA编码和Zigzag变换两种置乱方式相结合的混合混沌图像加密算法。通过离散的Logistic混沌映射和连续Chen超混沌系统生成混合的混沌伪随机序列,并结合DNA编码和Zigzag两种方法进行联合置乱和扩散,从而实现了混沌图像加密。由于该算法采用Zigzag和DNA编码两种方法进行联合置乱,并采用混合混沌伪随机序列对DNA编码规则和运算规则进行动态选取和控制,增强了置乱和扩散效果,可有效提升图像加密强度。通过仿真验证,并与其他文献进行对比,验证了所提算法的优良性能。

长链非编码RNA-ROR介导上皮-间质转化对鼻咽癌细胞放疗抵抗作用的体外研究

目的 探讨lncRNA-ROR介导上皮-间质转化在鼻咽癌细胞放疗抵抗中的作用。方法 将鼻咽癌细胞CNE2分为空白组、阴性对照组、lncRNA-ROR沉默组,进行相应的处理。将CNE2细胞分为空白组、放疗组、放疗+阴性对照组、放疗+lncRNA-ROR过表达组(放疗处理为6 Gy射线照射24 h),进行相应的处理。用CCK-8法检测CNE2增殖能力,通过细胞划痕实验和Transwell 细胞迁移实验检测细胞迁移能力,用流式细胞术检测细胞凋亡的情况,用蛋白印迹法检测凋亡相关蛋白和上皮-间质转化相关蛋白的表达。结果 与空白组、阴性对照组相比,抑制lncRNA-ROR表达48、72 h后鼻咽癌细胞CNE2的增殖能力均减弱(均P<0.05)。抑制lncRNA-ROR表达后鼻咽癌细胞CNE2的迁移率低于阴性对照组(P<0.05),而放疗+lncRNA-ROR过表达组CNE2细胞的迁移能力高于放疗组与放疗+阴性对照组(均P<0.05)。与放疗组、放疗+阴性对照组相比,放疗+lncRNA-ROR过表达组CNE2细胞的凋亡率均降低(均P<0.05)。抑制lncRNA-ROR后,活化的caspase 3、caspase 9蛋白表达均较空白组和阴性对照组升高(均P<0.05);而放疗+lncRNA-ROR过表达组活化的caspase 3、caspase 9蛋白表达均较放疗组和放疗+阴性对照组下降(均P<0.05)。抑制lncRNA-ROR可导致上皮标志蛋白(E-钙黏蛋白、β-联蛋白)表达升高,间质标志蛋白(N-钙黏蛋白、波形蛋白)表达下降(均P<0.05);而与放疗组和放疗+阴性对照组相比,放疗+lncRNA-ROR过表达组CNE2细胞的上皮标志蛋白表达下降、间质标志蛋白表达升高(均P<0.05)。结论 lncRNA-ROR可通过调控鼻咽癌细胞增殖、迁移、凋亡及上皮-间质转化影响其放疗抵抗,是逆转鼻咽癌细胞放疗抵抗的潜在靶点。

基于联合置乱的高维超混沌图像加密算法

针对图像信息在传输过程中面临着被非法窃取、篡改等威胁的问题,提出了一种基于Arnold变换和DNA混合编码联合置乱的高维超混沌图像加密算法。首先,通过一种八维六次高维超混沌系统产生多个混沌伪随机系列,并经整数化处理,得到多个混沌伪随机整数系列和一个混沌矩阵;然后,采用这些混沌伪随机整数系列动态选取DNA混合编码规则和运算规则,对混沌矩阵和经Arnold变换后的原始图像矩阵进行DNA动态编码、运算和解码,从而实现图像加密;最后,将该算法应用于图像加密,通过计算机仿真进行了加密性能分析。结果表明:所提出的加密算法具有优异的性能,可为图像加密提供可行的选项。