基于哈希算法的分布式校园网络流量异常检测方法

分布式校园网络流量随时间变化显著,尤其是在课程开始和结束时、大型活动或特殊事件期间。传统异常检测策略采用随机抽样,缺乏动态适应性,无法根据实时流量调整抽样策略,导致重要异常遗漏和误报。哈希算法具有适应网络流量动态变化的特性,可根据网络流量的变化调整抽样策略,从而降低误报率。基于此,提出一种基于哈希算法的分布式校园网络流量异常检测方法。利用K-means算法对分布式校园网络流量进行聚类挖掘,并构建网络流量异常检测Transformer模型。采用哈希算法生成抽样触发机制,根据网络流量的动态变化调整抽样比例,以降低误报率。实验结果表明,所提出的方法具有较高的F1-score和较低的误报率,充分证明了在网络流量异常检测中具有良好的性能和可靠性。所提出的方法能够有效地适应分布式校园网络流量的动态变化,为校园网络安全提供有力的技术支撑。

基于哈希学习算法的专业课程资源库安全检索方法

建筑管理专业具有课程资源多样、专业性强以及不断更新变化的特性,导致在资源库进行检索时的mAP值较低。为此,提出了一种基于哈希学习算法的专业课程资源库安全检索方法。该方法系统地整理、分类并描述课程资源,形成建筑管理专业课程资源本体,建立检索索引,并编码存储资源信息、属性及关联。通过哈希学习算法提取特征,生成哈希函数,将高维数据映射为低维哈希码,从而建立检索模型。当用户查询时,系统能够快速定位相关资源,并高效、安全地返回结果,实现了专业课程库的安全检索。实验结果表明,该方法能够适应课程资源的特性,使在检索时的mAP值较高,提升了用户体验,同时确保了课程资源库的安全性和稳定性。

基于感知哈希算法的特征融合玻璃瓶缺陷检测

特征提取作为玻璃瓶缺陷检测任务中至关重要的一环,特征集中丰富的特征信息将直接影响缺陷检测的准确率。传统的单一特征提取算法提取的特征信息往往过于单一,使得最终的检测准确率偏低。针对上述问题,提出了方向梯度直方图(Histogram of Oriented Gradients,HOG)特征与尺度不变特征变换(Scale Invariant Feature Transform,SIFT)特征融合的特征提取算法。针对不同缺陷边缘提取轮廓不够准确的问题,提出了基于感知哈希算法(Perceptual Hash Algorithm,PHA)的边缘检测算子选择方法。通过支持向量机(Support Vector Machine,SVM)进行训练和验证。实验结果表明,提出的边缘检测算子选择方法可以针对不同缺陷选择最适合的边缘检测算子,特征融合算法的瓶身缺陷检测平均准确率可达88.7%。较单一的HOG特征提取算法提升了7.99%,较单一的SIFT特征提取算法提升了2.97%。

基于一致性哈希算法的分布式数据库索引查询优化方法

为了解决分布式数据库索引查询负载不平衡的问题,基于一致性哈希算法设计了分布式数据库索引查询优化方法.根据分布式数据库服务器节点CPU处理能力、带宽和缓存大小,采用动态反馈机制计算各服务器节点的索引查询负载率,通过一致性哈希负载平衡算法将任务分配给各服务器节点,并实时调整负载.以最小总代价为目标,利用多蚁群算法求得最佳查询路径.实验结果显示,基于一致性哈希算法的优化方法整体曲线趋势较平稳,在用户请求数量为4 000条时,最大负载平衡度为1.5%,全程响应时间小于35 ms.这说明该方法能够有效调整分布式数据库的负载分布,且受数据库规模影响较小,具备强大的查询响应能力.

基于哈希和编辑距离算法的SCD双层向量化与变更校验技术

针对智能变电站配置描述(substation configuration description,SCD)文件变更、智能变电站二次设备配置不清晰导致运维工作量剧增的问题,提出基于哈希和编辑距离算法的SCD双层向量化与变更校验技术。首先,考虑文件变更的启动与校验,应用节点元素、校验码与元素属性构建面向SCD文件解析的双层向量模型;其次,利用哈希算法将构建的文本向量模型转化为哈希字符串向量模型;然后,引入编辑距离算法分别计算原始文件与变更文件的双层向量模型相似度,基于第一层相似度比较构成第二层校验启动判据,基于第二层相似度结合回溯路径方法实现变更校验;最后,通过算例分析验证了所提算法的有效性。

针对大规模动态图流三角形计数的边哈希分布式抽样算法

三角形计数是大图分析的一个经典问题,近年的研究工作主要集中在针对静态流式图的三角形数量估计上,相关流式图抽样算法只能处理边的插入操作,无法处理边的删除操作;而现有的动态流式图抽样算法估计准确性又偏低.针对上述问题,提出了基于边哈希分配的分布式抽样(edge hashing assignmentbased distributed sampling,EHADS)算法,它是一个用于估计动态流式图中三角形数量的分布式流算法,可以快速准确地估计动态流式图中的全局三角形数量以及每个顶点的局部三角形数量.EHADS算法只对输入的图流进行1次处理,并在多台机器上对边进行抽样.与先进的单机流算法相比,EHADS算法具有2点优势:1)在相同样本容量的情况下,EHADS算法以更短的运行时间获得了更小的估计误差,估计全局三角形数量的误差平均降低了31.79%,估计局部三角形数量的误差平均降低了23.35%;2)EHADS算法能够提供流式图中三角形数量的无偏估计,并且严格的数学证明显示该无偏估计具有更小的方差.

改进一致性哈希优化存储邮政数据算法的研究

随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统(HDFS)存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。

面向后量子密码算法的哈希签名方案

基于哈希的签名方案是后量子密码标准化程度最高的算法,但由于该类方案的一些技术特点和限制,在实际中的应用还处于探索实践阶段。因此,发现并解决应用基于哈希的签名方案的限制和困难对于其广泛应用是非常有必要的。首先概述了基于哈希的签名方案的产生及演变,对目前已标准化的方案进行了横纵对比分析;其次使用国产SM3算法实例化FIPS205中底层的哈希算法,给出了初步的实验结果和对比分析,进一步表明SM3实例化SPHINCS+方案的可行性,推进我国无状态的基于哈希的签名方案的标准化进程;最后对基于哈希签名方案的应用进行了总结和建议,为其广泛应用和后量子密码迁移提供参考。

基于深度哈希算法的学生画像个性化推荐系统的设计与实现

为了提升学生画像个性化推荐的效果,研究设计了一种基于深度哈希算法的学生画像个性化推荐系统。通过使用深度哈希算法结合经过处理的学生信息,进行了学生信息特征标签的提取,并构建了学生画像标签维度模型,从而提升了学生画像的生动性。根据学生画像标注的学生特征,在学校课程资源特征数据集中进行搜索匹配,并根据排序后的检索结果生成推荐结果。实验结果表明,该系统能够有效地采集和预处理学生信息,并成功构建学生画像,完成学生画像的个性化推荐。

基于局部敏感哈希算法的文档内容相似性判断算法

当前普遍采用全局逐一度量的方式进行文档内容相似性判断,工作量十分巨大,因此研究一种基于局部敏感哈希算法的文档内容相似性判断算法。针对文档实施中文分词、去停用词处理。筛选中心关键词并以此为基础将文档表示成空间向量的形式。将语料库中的文档与待检测文档都哈希到哈希桶中,在哈希桶中度量待检测文档与语料库文档之间的相似性,并通过阈值实现文档内容相似程度的判断。实验结果表明,采用所研究算法可以实现对文档内容相似性度的计算并得出了对应的相似程度。

基于感知哈希算法的Android恶意软件入侵检测仿真

为保护智能终端用户隐私信息安全、避免恶意软件入侵破坏终端功能,提出一种基于感知哈希算法的Android恶意软件入侵检测方法。令Watson感知模型和哈希算法结合,将恶意软件代码可视化变换为灰度图像,经离散余弦变换,得出代码特征对比度掩蔽表达矩阵,使用明科斯基法获得感知哈希序列距离误差。考虑到同家族软件代码相似度高,为避免恶意开发人员通过伪装或者混淆代码方式使检测方法失效,计算代码局部特征的权重值,明确不同特征对哈希序列相似度检测结果的影响,最后与历史数据库内已知的恶意软件代码对比感知哈希序列,输出检测结果。经过仿真证明,所提方法能够精准检测出入侵的恶意软件,且误报率低,检测耗时短,具有极高的应用价值。

基于哈希算法的工业互联网低功耗数据链时隙分配系统

工业互联网平台主机对数据样本的接收吞吐量水平,受数据样本自身能耗和时隙分配性能的影响。为优化工业互联网数据链路体系对传输信息的配准能力,设计基于哈希算法的工业互联网低功耗数据链时隙分配系统。根据哈希算法原理,求解压缩函数表达式,借助海绵结构确定数据样本传输序列,完成哈希算法基本原理研究与整体结构设计。利用汇接控制器与数据循环结构,计算功耗数据链路的信息承载能力,联合数据样本参量,确定静态时隙分配与动态时隙交换标准,完成基于哈希算法的工业互联网低功耗数据链时隙分配系统执行方案设计。对比实验结果:基于哈希算法的时隙分配系统可将平台主机对数据样本的接收吞吐量提升至8.8×10^(10) MB/s,在提升工业互联网数据链路体系对信息配准能力方面具有较好的应用价值。

基于改进哈希学习算法的小微企业融资数据智能检索方法

传统检索方法主要根据数据语义进行分类检索,数据检索精度较低,提出基于改进哈希学习算法的小微企业融资数据智能检索方法。获取并预处理小微企业融资数据作为数据基础,提取出小微企业融资数据的特征,利用深度学习改进哈希学习算法后构建一个深度哈希学习模型,输入数据特征后返回小微企业融资数据智能检索结果。实验结果表明,设计方法下小微企业融资数据检索结果的MAP值为0.974,证实了该方法的有效性与优越性。

基于哈希学习算法的分布式物联网数据库数据检索方法

传统的数据库数据检索方法索引次数较多而导致效率受限,为此提出基于哈希学习算法的分布式物联网数据库数据检索方法。首先,提取分布式物联网数据关键词,构造物联网数据库索引结构;随后,过滤检索结点,剔除数据库中的重复数据。在此基础上,建立哈希学习算法数据检索模型,利用损失函数强化数据检索。实验结果表明,基于哈希学习算法的分布式物联网数据库数据检索方法在不同检索半径下的索引次数均最少,检索效果较好,具有实际的应用价值。

基于离散监督哈希算法的非结构化网络数据库在线检索方法

受非结构化网络数据关联性弱、数据收敛特性差的影响,对相关数据库进行检索时,检索精度难以得到保障,为此,提出基于离散监督哈希算法的非结构化网络数据库在线检索方法研究。首先,基于离散监督哈希算法将非结构化网络数据样本的显式语义标签利用相应的二进制码进行表示,并借助拉格朗日乘子对其进行离散化处理,使得哈希函数对于学习非结构化网络数据显式语义关联快速收敛。然后,按照相同的方式对所有数据及查询请求进行编码。最后,将与查询请求哈希编码匹配程度最高的数据作为优先检索输出结果。在测试结果中,设计检索方法在图像查询文本指令,以及文本查询图像指令下的检索平均精度均值始终稳定在较高水平,且检索时间最高仅为7 s,具有实用性。

基于哈希算法的互联网平台数据中台资源检索方法

由于检索请求数据自身具有高维特征,导致检索输出的查准率和查全率偏低,为此,本文提出基于哈希算法的互联网平台数据中台资源检索方法。以信息跨域检索为导向,借助哈希算法实现对输入互联网平台数据中台资源检索请求的降维处理,在对输入数据进行清洗、去重、分词等预处理操作的基础上,使用词袋模型的方法,将文本转化为向量,再借助主成分分析法实现对向量的降维。在检索阶段,将与检索请求相似度最高(欧氏距离最小的)资源作为最终的检索输出结果。在测试结果中,资源检索方法面对不同类型的资源检索请求,对应的查准率稳定在91.0%以上,查全率稳定在90.0%以上。

面向IP流测量的哈希算法研究

为了解决计算资源和高速网络流量之间的矛盾,需要对IP流进行抽样或负载均衡等处理,而哈希算法是资源代价的核心.首先提出评价哈希算法性能的随机测度;其次从理论上证明比特之间异或运算和位移运算能够提高哈希值的随机特性,提出比特流之间哈希算法的原则;然后分析IP报文的4个字段:源IP、宿IP、源端口和宿端口的特性,由此提出相关的哈希算法;最后使用CERNET主干流量和PMA的数据验证算法的性能,并与IPSX和CRC32算法进行比较.研究表明,基于异或、位移原则的比特流哈希算法的执行效率和哈希值的均匀性两方面具有较好的性质,能够满足高速网络流量测量需求.

分布式存储系统的哈希算法研究

针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈希算法的应用场景;结合分布式存储系统的应用,给出最优的哈希算法选择。实验结果证明,Davies-Meyer算法具有很好的均匀分布性和很高的计算效率,很适合分布式存储系统的应用。

FP-CNNH:一种基于深度卷积神经网络的快速图像哈希算法

在大数据时代,图像检索技术在大规模数据上的应用是一个热门的研究领域。近年来,大规模图像检索系统中,图像哈希算法由于具备提高图像的检索效率同时减少储存空间的优点而受到广泛的关注。现有的有监督学习哈希算法存在一些问题,主流的有监督的哈希算法需要通过图像特征提取器获取人为构造的图像特征表示,这种做法带来的图像特征损失影响了哈希算法的效果,也不能较好地处理图像数据集中语义的相似性问题。随着深度学习在大规模数据上研究的兴起,一些相关研究尝试通过深度神经网络进行有监督的哈希函数学习,提升了哈希函数的效果,但这类方法需要针对数据集人为设计复杂的深度神经网络,增大了哈希函数设计的难度,而且深度神经网络的训练需要较多的数据和较长的时间,这些问题影响了基于深度学习的哈希算法在大规模数据集上的应用。针对这些问题,提出了一种基于深度卷积神经网络的快速图像哈希算法,该算法通过设计优化问题的求解方法以及使用预训练的大规模深度神经网络,提高了哈希算法的效果,同时明显地缩短了复杂神经网络的训练时间。根据在不同图像数据集上的实验结果分析可知,与现有的基准算法相比,提出的算法在哈希函数训练效果和训练时间上都具有较大的提高。

基于哈希技术和MapReduce的大数据集K-近邻算法

K-近邻是一种著名的分类算法。由于简单且易于实现,因此其被广泛应用于许多领域,如人脸识别、基因分类、决策支持等。然而,在大数据环境中,K-近邻算法变得非常低效,甚至不可行。针对这一问题,提出了一种基于哈希技术和MapReduce的大数据集K-近邻分类算法。为了验证算法的有效性,在4个大数据集上进行了实验,结果显示,在保持分类能力的前提下,所提算法可以大幅度地提高K-近邻算法的效率。