基于Mapreduce的大规模社会网络提取方法研究

从海量非规范Web数据源提取大规模高质量的社会网络有着广阔应用前景和较高学术价值,同时也面临着海量计算所带来的巨大挑战。为此,以Digg新闻评论网站为信息源,以提取网站用户之间的共同兴趣网络为主要目标,提出了基于云平台的社会网络提取系统框架,实现了基于Mapreduce的大规模社会网络提取方法。实验结果表明,提出的方法具有较好的扩展性和伸缩性,能够胜任从异构Web数据源提取高质量的大规模社会网络的计算任务。

基于改进Hough变换的城市道路网络提取算法

Hough变换常常用来提取直线,但是Hough变换无法区别直线和直线段,且时间复杂度和空间复杂度都较大,通过增加一个二维计数器使Hough变换能查找直线段,并利用Canny算法先提取图像边缘,对Canny算子检测到的边缘点的方向角进行变换,减少了Hough变换的计算量和提高提取精度。根据城市道路网络的卫星特征,对图像做先期处理,然后将改进的Hough变换用于城市道路网络的提取,经实验验证了算法的有效性。

融合时间感知和多兴趣提取网络的序列推荐

针对序列推荐任务中的时间动态性和多重兴趣建模问题,提出一种时间感知的项目嵌入方法,用于学习项目之间的时间关联性。在此基础上,提出一种融合时间感知和多兴趣提取网络的序列推荐(time-aware multi-interest sequence recommendation,TMISA)方法。TMISA采用自注意力序列推荐模型作为局部特征学习模块,以捕捉用户行为序列中的动态偏好;通过多兴趣提取网络对用户的全局偏好进行建模;引入门控聚合模块将局部和全局特征表示动态融合,生成最终的用户偏好表示。实验证明,在5个真实推荐数据集上,TMISA模型表现出卓越性能,超越了多个先进的基线模型。

基于双分支特征提取和自适应胶囊网络的DGA域名检测方法

面向域名生成算法(domain generation algorithm,DGA)的域名检测方法普遍具有特征提取能力弱、特征信息压缩比高等特点,这导致特征信息丢失、特征结构破坏以及域名检测效果较差等诸多不足.针对上述问题,提出一种基于双分支特征提取和自适应胶囊网络的DGA域名检测方法.首先,通过样本清洗和字典构建重构原始样本并生成重构样本集;其次,通过双分支特征提取网络处理重构样本,在其中,利用切片金字塔网络提取域名局部特征,利用Transformer提取域名全局特征,并利用轻量级注意力融合不同层次的域名特征;然后,利用自适应胶囊网络计算域名特征图的重要度系数,将域名文本特征转换为向量域名特征,并通过特征转移计算基于文本特征的域名分类概率;同时,利用多层感知机处理域名统计特征,以此计算基于统计特征的域名分类概率;最后,通过合并得到的两种不同视角的域名分类概率进行域名检测.大量的实验表明,所提方法在DGA域名检测以及DGA域名家族检测分类方面均取得了当前领先的检测效果.在DGA域名检测中,F1分数提升了0.76%-5.57%;在DGA域名家族检测分类中,F1分数(宏平均)提升了1.79%-3.68%.

基于Web的网络异构信息提取与聚合方法

针对网络异构信息的特点,提出了一种基于Web的网络异构信息提取与聚合方法。通过深度学习技术对原始Web数据进行预处理,包括文本清洗、实体识别和关系抽取。利用自然语言处理技术对预处理后的数据进行特征提取和表示,进而实现对异构信息的语义理解。采用图神经网络对异构信息进行融合和推理,从而实现对网络异构信息的有效聚合。通过实验验证了所提方法在网络异构信息提取与聚合任务上的有效性。为网络异构信息处理提供了新的思路,对于促进信息检索和知识发现领域的发展具有重要意义。

区域提取网络结合自适应池化网络的机场检测

针对传统机场检测方法准确率低、虚警率高、耗时长等问题,借鉴深度卷积神经网络的架构,提出一种改进的区域提取网络和自适应池化网络结合的机场快速检测方法.将二分类网络引入区域提取网络以筛除一些定位较差的候选区域和背景区域,结合自适应池化的检测网络对机场候选区域进行识别,通过复用网络结构和学习的特征参数来达到快速检测的目的.仿真结果表明,与两种典型的机场检测方法相比,所提方法在测试集上取得更高准确率和更低虚警率的同时,极大地提高了检测速度,达到了精准、快速检测机场的目的.

电子数据网络在线提取规则反思与重构

网络在线提取成为远程目标系统中电子数据取证的重要方式。电子数据则是犯罪分子在实施犯罪中使用计算机、手机等电子设备在虚拟网络空间留下的痕迹,对于电子数据的收集自然也需要借助于相应电子数据提取技术。应将电子数据网络在线提取定性为侦查技术而不是侦查措施。这种定性主要基于电子数据自身性质和取证规则融贯性之考量。按照电子数据是否承载相应权益及其承载权益的重要程度而将其区分为强制性侦查或任意性侦查,当然,强制性侦查和任意性侦查在特定情况下存在转化关系。应协调境内电子数据网络在线提取与境外电子数据网络在线提取的规则体系,实现电子数据网络在线提取境内与境外的平等保护。

基于并行附加特征提取网络的SSD地面小目标检测模型

针对SSD原始附加特征提取网络(Original Additional Feature Extraction Network,OAFEN)中stride操作造成图像小目标信息丢失和串联结构产生的多尺度特征之间冗余度较大的问题,提出了一种计算量小、感受野大的深度可分离空洞卷积(Depthwise Separable Dilated Convolution,DSDC),并利用DSDC设计了一个包含三个独立子网络的并行附加特征提取网络(Parallel Additional Feature Extraction Network,PAFEN).PAFEN上路用两个DSDC提取尺寸为19*19和3*3的特征图;中路用一个DSDC提取尺寸为10*10的特征图;下路用两个DSDC提取尺寸为5*5和1*1的特征图.实验结果表明,在SSD框架内,PAFEN在mAP和检测时间等方面均优于OAFEN,适用于地面小目标的检测任务.

实时网络流特征提取系统设计

针对包采样技术在高速网络环境中提取流特征准确率低的问题,利用NetFPGA运行速度快,并行处理能力强的优势,实现了一个实时网络流特征提取系统,使其支持千兆级数据吞吐率。该系统有两个重要模块:地址映射模块和流表核心处理模块,前者将Bob Jenkins哈希算法通过流水线方式设计,实现流记录的快速索引;后者通过对流记录的并行查询与匹配,实现对流表的快速更新。对该系统进行在线流量测试,结果表明其能够在1Gbps网络中实现对网络流特征的实时提取。

基于神经网络的声场景数据声谱图提取方法

在复杂环境声场景识别任务中,梅尔频谱作为输入的深度卷积神经网络有良好的识别能力,然而梅尔滤波器组依据人耳生理特征设计,对于声场景识别并非最优滤波器组。针对此问题提出声谱图提取神经网络取代传统梅尔频谱提取过程,通过训练该网络使声谱图自动适应声场景数据集。声谱图提取神经网络连接ResNet50作为声场景识别架构,在DCASE2019声场景数据集上进行训练与测试,实验结果表明该架构比传统模型有更高的识别率,能够有效调整频率曲线、滤波器幅值以及滤波器形状。

基于耦合关系挖掘及渐进式分层提取多任务学习网络的风-光-荷短期预测

为应对可再生能源并网增加造成电力系统不确定性程度加深的情况,以风–光–荷为研究对象,提出了一种基于耦合特性挖掘及渐进式分层提取(progressive layered extraction,PLE)多任务学习(multi-task learning,MTL)的风–光–荷短期预测方法。首先,基于风–光–荷3种预测对象之间的关联关系,对非线性耦合关系进行提取;然后,以基于PLE的MTL神经网络作为预测算法对预测对象间的耦合关系进行进一步表示;最后,以西班牙地区实际采集的风–光–荷数据为例,将所提模型与不同模型的预测结果进行对比分析。实验结果表明,提出的模型具有更高的预测准确性。

基于多阶段特征提取的鱼类识别研究

鱼类自动识别在海洋生态学、水产养殖等领域应用广泛。受光照变化、目标相似、遮挡及类别分布不均衡等因素影响,鱼类精准自动识别极具挑战性。提出了一种基于多阶段特征提取网络(Multi-stage Feature Extraction Network,MF-Net)模型进行鱼类识别。该模型首先对图片作弱增强预处理,以提高模型的计算效率;然后采用多阶段卷积特征提取策略,提升模型对鱼类细粒度特征的提取能力;最后通过标签平滑损失计算以缓解数据的不平衡性。为验证模型的性能,构建了一个500类、含32768张图片的鱼类数据集,所建模型在该数据集上的准确率达到86.8%,优于现有的主流目标识别方法。利用公开的蝴蝶数据集对该模型进行泛化性能验证,多组消融实验进一步验证了所提算法的有效性。

网络数据智能提取

HTML是当前编写网页使用的最多的语言,如何利用HTML这种标记性语言的特点,让计算机提供给用户快速的获取知识的途径成为许多计算机工作者的一大难题。这里我介绍一个有效的从互联网上提取知识的方法供大家参考。

链路失衡干扰下网络流量异常点挖掘仿真

网络数据中心流量的异常会占用大量的带宽资源,且数据流量具有多样化特征,尤其当网络链路流量失衡时,通过部署监测软件获取的节点信息已经无法实时监控流量状态。为此提出链路失衡干扰下网络流量异常点挖掘方法。利用卷积神经网络自编码器对网络流量去噪,有效控制链路失衡对流量数据挖掘的影响。通过对比正常流量点与异常流量点提取网络流量特征,结合马氏距离到改进的自编码神经网络系统中挖掘网络流量异常点。实验结果表明,研究方法的网络流量异常点挖掘准确率可稳定在90%以上,F1值始终高于0.8,误报率不高于0.5%。

基于多尺度级联注意网络的肺实质分割

针对肺实质分割任务中不同尺度特征的全局上下文信息利用率低、分割精度低、分割细节模糊等问题,提出一种多尺度级联注意网络(multiscale cascaded attention networks,MCANet)。该网络主要由多尺度特征提取网络(multi-scale feature extraction network,MSFENet)、多尺度注意力引导模块(multi-scale attention guidance module,MSAG)、解码特征整合器(decoding feature integrator,DFI)组成。首先,设计MSFENet以提高特征信息在不同通道维度上的空间交互能力,在采样过程中最大限度地保留图像的关键特征,丰富全局上下文信息。然后,设计MSAG提高模型在解码过程中对多尺度特征信息的利用率,并最大限度地融合两种注意力机制的优势。最后设计DFI,重新整合解码器生成的解码特征,以提高模型对边缘信息的分割性能。在LUNA16数据集上对模型性能进行实验验证,得到了0.993的Dice和3.864的HD,实验结果证明了MCANet与其他主流医学分割模型相比有更优异的分割性能,能更准确地分割肺实质。

融合SAR和TM图像更新GIS道路网络数据

遥感作为空间数据获取的一种手段,其在空间数据更新中的作用显得越来越重要,遥感数据已逐渐成为空间数据更新的主要数据来源。提出一种利用遥感图像自动更新GIS道路网络数据的方法,通过融合两种传感器图像数据,将整个道路网络准确完整地提取出来,然后通过线性特征的变化检测确定已修改的道路及新修建的道路。实验结果表明该方法可以准确地更新道路网络数据。

H.264/AVC及其在IP网络中的应用

H.264是一个新的低速率视频压缩标准,主要由视频编码层VCL和网络提取层NAL组成。该文研究在实时传输协议下,H264在IP网络中的应用。

基于相位编组的高分辨率遥感影像道路信息提取

从高分辨率遥感影像中提取道路信息已有许多研究,但仍存在许多问题有待解决。本文主要研究高分辨率遥感影像上城市道路信息的提取,从四个方面开展,即:遥感影像的预处理、阀值的确定、直线与曲线的提取以及道路信息在原图上的显示。传统的相位编组方法主要针对直线的提取,本文对其进行了改进,得到了一种基于相位编组的半自动提取道路信息的方法。实验中首先结合灰度形态学与Canny算子,得出信息较全的道路边缘轮廓信息,然后根据不同形状的道路模型,运用灰度值参数对相位编组法进行改进,提取出比较准确的道路信息。针对现代城市中常见的立交桥,特别是对其曲率较大的中心部分信息,该提取方法表现出了一定的优越性和适用性,实验结果较为理想。

基于多子网络预训练的脉冲神经网络分类模型

脉冲神经网络(Spiking Neural Network,SNN)被认为是最符合生物大脑机制的类脑计算模型,凭借其事件驱动、高能效、可解释等特点吸引了越来越多的研究关注。然而,由于脉冲的二值输出与不可微分性,SNN的训练方法仍存在一定空缺。于是借鉴皮层记忆单元通过局部网络存储记忆信息的方式,提出一种基于多子网络预训练的脉冲神经网络分类方法。该方法使用样本标签信息优化了脉冲序列特征提取过程,采用改进的脉冲时间依赖可塑性学习规则预训练多个单类别特征提取子网络,并将预训练后的子网络进行无监督特征融合,有效提高了网络的特征分类能力。此外,在权重可视化与t-SNE可视化工具的帮助下,分析了方法的有效性。所提方法在MNIST与Fashion-MNIST数据集上分别取得了97.40%与88.81%的分类准确度。

H.264实时视频数据的还原与视频帧提取研究

对因特网中某些不良的实时视频通信数据进行监听和还原,是保证网络应用健康发展和打击网络犯罪的一个重要方面。本文介绍了监听和还原因特网中H.264实时视频数据的一种处理方法和处理过程,实现了对被监听的视频通信数据的截获、还原和存储,并可进一步将存储的视频帧提取、转换为图像文件供特定需求使用。实践证明,该方法的处理效率和效果达到了预期目标,对识别因特网中的不良流媒体信息具有较大的实用价值。