基于哈希算法的分布式校园网络流量异常检测方法

分布式校园网络流量随时间变化显著,尤其是在课程开始和结束时、大型活动或特殊事件期间。传统异常检测策略采用随机抽样,缺乏动态适应性,无法根据实时流量调整抽样策略,导致重要异常遗漏和误报。哈希算法具有适应网络流量动态变化的特性,可根据网络流量的变化调整抽样策略,从而降低误报率。基于此,提出一种基于哈希算法的分布式校园网络流量异常检测方法。利用K-means算法对分布式校园网络流量进行聚类挖掘,并构建网络流量异常检测Transformer模型。采用哈希算法生成抽样触发机制,根据网络流量的动态变化调整抽样比例,以降低误报率。实验结果表明,所提出的方法具有较高的F1-score和较低的误报率,充分证明了在网络流量异常检测中具有良好的性能和可靠性。所提出的方法能够有效地适应分布式校园网络流量的动态变化,为校园网络安全提供有力的技术支撑。

基于感知哈希算法的特征融合玻璃瓶缺陷检测

特征提取作为玻璃瓶缺陷检测任务中至关重要的一环,特征集中丰富的特征信息将直接影响缺陷检测的准确率。传统的单一特征提取算法提取的特征信息往往过于单一,使得最终的检测准确率偏低。针对上述问题,提出了方向梯度直方图(Histogram of Oriented Gradients,HOG)特征与尺度不变特征变换(Scale Invariant Feature Transform,SIFT)特征融合的特征提取算法。针对不同缺陷边缘提取轮廓不够准确的问题,提出了基于感知哈希算法(Perceptual Hash Algorithm,PHA)的边缘检测算子选择方法。通过支持向量机(Support Vector Machine,SVM)进行训练和验证。实验结果表明,提出的边缘检测算子选择方法可以针对不同缺陷选择最适合的边缘检测算子,特征融合算法的瓶身缺陷检测平均准确率可达88.7%。较单一的HOG特征提取算法提升了7.99%,较单一的SIFT特征提取算法提升了2.97%。

关于对图像哈希算法的研究与应用

传统的基于文本的检索方式无法精确地搜索图片,因此基于图像内容的检索技术应运而生.它利用图像哈希算法提取图像特征,通过量化压缩等方法产生一个标明图像指纹的哈希序列,对比哈希序列即可判定两张图像的相似度.主要从图像哈希算法的定义、原理、特点、应用等方面进行研究,并着重介绍和对比a Hash算法及p Hash算法.

基于深度哈希算法的学生画像个性化推荐系统的设计与实现

为了提升学生画像个性化推荐的效果,研究设计了一种基于深度哈希算法的学生画像个性化推荐系统。通过使用深度哈希算法结合经过处理的学生信息,进行了学生信息特征标签的提取,并构建了学生画像标签维度模型,从而提升了学生画像的生动性。根据学生画像标注的学生特征,在学校课程资源特征数据集中进行搜索匹配,并根据排序后的检索结果生成推荐结果。实验结果表明,该系统能够有效地采集和预处理学生信息,并成功构建学生画像,完成学生画像的个性化推荐。

基于局部敏感哈希算法的文档内容相似性判断算法

当前普遍采用全局逐一度量的方式进行文档内容相似性判断,工作量十分巨大,因此研究一种基于局部敏感哈希算法的文档内容相似性判断算法。针对文档实施中文分词、去停用词处理。筛选中心关键词并以此为基础将文档表示成空间向量的形式。将语料库中的文档与待检测文档都哈希到哈希桶中,在哈希桶中度量待检测文档与语料库文档之间的相似性,并通过阈值实现文档内容相似程度的判断。实验结果表明,采用所研究算法可以实现对文档内容相似性度的计算并得出了对应的相似程度。

基于哈希算法的工业互联网低功耗数据链时隙分配系统

工业互联网平台主机对数据样本的接收吞吐量水平,受数据样本自身能耗和时隙分配性能的影响。为优化工业互联网数据链路体系对传输信息的配准能力,设计基于哈希算法的工业互联网低功耗数据链时隙分配系统。根据哈希算法原理,求解压缩函数表达式,借助海绵结构确定数据样本传输序列,完成哈希算法基本原理研究与整体结构设计。利用汇接控制器与数据循环结构,计算功耗数据链路的信息承载能力,联合数据样本参量,确定静态时隙分配与动态时隙交换标准,完成基于哈希算法的工业互联网低功耗数据链时隙分配系统执行方案设计。对比实验结果:基于哈希算法的时隙分配系统可将平台主机对数据样本的接收吞吐量提升至8.8×10^(10) MB/s,在提升工业互联网数据链路体系对信息配准能力方面具有较好的应用价值。

基于感知哈希算法的Android恶意软件入侵检测仿真

为保护智能终端用户隐私信息安全、避免恶意软件入侵破坏终端功能,提出一种基于感知哈希算法的Android恶意软件入侵检测方法。令Watson感知模型和哈希算法结合,将恶意软件代码可视化变换为灰度图像,经离散余弦变换,得出代码特征对比度掩蔽表达矩阵,使用明科斯基法获得感知哈希序列距离误差。考虑到同家族软件代码相似度高,为避免恶意开发人员通过伪装或者混淆代码方式使检测方法失效,计算代码局部特征的权重值,明确不同特征对哈希序列相似度检测结果的影响,最后与历史数据库内已知的恶意软件代码对比感知哈希序列,输出检测结果。经过仿真证明,所提方法能够精准检测出入侵的恶意软件,且误报率低,检测耗时短,具有极高的应用价值。

基于哈希算法的互联网平台数据中台资源检索方法

由于检索请求数据自身具有高维特征,导致检索输出的查准率和查全率偏低,为此,本文提出基于哈希算法的互联网平台数据中台资源检索方法。以信息跨域检索为导向,借助哈希算法实现对输入互联网平台数据中台资源检索请求的降维处理,在对输入数据进行清洗、去重、分词等预处理操作的基础上,使用词袋模型的方法,将文本转化为向量,再借助主成分分析法实现对向量的降维。在检索阶段,将与检索请求相似度最高(欧氏距离最小的)资源作为最终的检索输出结果。在测试结果中,资源检索方法面对不同类型的资源检索请求,对应的查准率稳定在91.0%以上,查全率稳定在90.0%以上。

基于离散监督哈希算法的非结构化网络数据库在线检索方法

受非结构化网络数据关联性弱、数据收敛特性差的影响,对相关数据库进行检索时,检索精度难以得到保障,为此,提出基于离散监督哈希算法的非结构化网络数据库在线检索方法研究。首先,基于离散监督哈希算法将非结构化网络数据样本的显式语义标签利用相应的二进制码进行表示,并借助拉格朗日乘子对其进行离散化处理,使得哈希函数对于学习非结构化网络数据显式语义关联快速收敛。然后,按照相同的方式对所有数据及查询请求进行编码。最后,将与查询请求哈希编码匹配程度最高的数据作为优先检索输出结果。在测试结果中,设计检索方法在图像查询文本指令,以及文本查询图像指令下的检索平均精度均值始终稳定在较高水平,且检索时间最高仅为7 s,具有实用性。

面向IP流测量的哈希算法研究

为了解决计算资源和高速网络流量之间的矛盾,需要对IP流进行抽样或负载均衡等处理,而哈希算法是资源代价的核心.首先提出评价哈希算法性能的随机测度;其次从理论上证明比特之间异或运算和位移运算能够提高哈希值的随机特性,提出比特流之间哈希算法的原则;然后分析IP报文的4个字段:源IP、宿IP、源端口和宿端口的特性,由此提出相关的哈希算法;最后使用CERNET主干流量和PMA的数据验证算法的性能,并与IPSX和CRC32算法进行比较.研究表明,基于异或、位移原则的比特流哈希算法的执行效率和哈希值的均匀性两方面具有较好的性质,能够满足高速网络流量测量需求.

分布式存储系统的哈希算法研究

针对分布式存储系统中如何实现数据在物理存储上的均匀分布和高效定位的问题,对多种哈希算法展开研究,提出了衡量分布式存储系统哈希算法优劣的标准;从散列分布性、哈希冲突和计算效率等多个维度对这些哈希算法进行分析比较,指出各种哈希算法的应用场景;结合分布式存储系统的应用,给出最优的哈希算法选择。实验结果证明,Davies-Meyer算法具有很好的均匀分布性和很高的计算效率,很适合分布式存储系统的应用。

多种哈希算法的可重构硬件架构设计

针对现有的哈希算法硬件架构仅实现少量几种算法的问题,设计了一种可实现SM3,MD5,SHA-1以及SHA-2系列共7种哈希算法的可重构IP,以满足同一系统对安全性可选择的需求。通过分析各哈希算法及其运算逻辑的相似性,该设计最大化地重用加法器和寄存器,极大地减少了总的实现面积。此外,该设计灵活可配,可以对内存直接存取。以Altera的Stratix II为FPGA目标器件,其最高频率可达100 MHz,总面积较现有设计减少26.7%以上,且各算法单位面积吞吐率均优于现有设计。

面向流管理的哈希算法研究

网络流的识别与管理在网络应用中有着重要作用。但是,随着网络链路速度的迅速提高,流管理变得越来越困难。哈希算法由于其常量查找时间和存储开销小的特点而具有很好的实用价值。本文首先提出了衡量流管理哈希算法性能的标准,然后提出了一个CRC20的哈希算法,并从理论与模拟实验两方面将它与其它几种哈希算法进行了对比,证明了所提出的CRC20算法具有较好的计算性能和很好的访存性能,适合高速网络链路中的流管理应用。

基于局部敏感哈希算法的图像高维数据索引技术的研究

局部敏感哈希(LSH)算法是有效的高维数据索引方法之一,该算法成功地解决了"维数灾难"问题。分析了LSH算法中主要参数对索引性能的影响,在规模不同的图像数据集上应用了LSH算法,实验结果表明选择合适的参数时,其性能接近顺序搜索方法。

对哈希算法SHA-1的分析和改进

研究了哈希算法的相关问题,对常用哈希算法SHA—1从安全性和运算效率方面进行了较深入分析,并由此提出了对该算法的几点改进,使改进后的算法在安全性及运算效率方面较原算法均有所提高。同时还提出了一种安全散列值的计算方法。

基于关联规则的二维哈希算法的改进

对关联规则发现中应用较多的Apriori算法进行了介绍和分析。在对Apriori算法改进的二维哈希算法中引入了新的哈希函数。这种哈希函数有效地避免了哈希"冲突",有利于迅速产生二阶频繁项集,从而大幅度地提高了频繁项集产生的效率。

二维哈希算法在地理空间数据批量分幅中的应用

分幅地理空间数据坐标转换后,还需在新坐标系下重新分幅。对于其中的批量数据,在新旧图幅重叠判断时需要大量的检索操作,快速查找算法能够提高查找效率。本文在建立新旧图幅关联关系、确定重叠判断方法和分割要素的文件存储方式后,提出了一种以新图幅中心点坐标为关键字的二维哈希表索引构建和重叠图幅查找的算法;给出了算法设计思路,并以实际案例验证分析了算法的正确性和有效性。与传统方法相比,该算法具有更高的执行效率,是一种较好的替代算法。

在线密度敏感哈希算法研究

哈希算法在大规模的数据检索中得到了越来越广泛的应用,但目前无论是基于学习的哈希还是基于随机投影的哈希都是为静态数据集设计的,无法对动态的数据库或者动态的网页进行近邻搜索.为了解决这一问题,本文提出了基于在线k均值聚类的密度敏感哈希算法ODSH(Online Density Sensitive Hash).首先给出了固定聚类个数的在线k均值聚类公式;然后,根据在线k均值聚类量化后数据簇的表示点来划定超平面,并根据动态超平面推出该哈希算法的哈希函数以及对应的投影向量;最后根据投影向量划分的数据集求得各投影向量的信息熵值,根据其大小选出最合适的投影向量,并通过投影向量对数据集进行映射来获取对应的哈希编码.实验结果表明,与局部敏感哈希、谱哈希等哈希算法相比,本文算法在准确性和效率上均具有一定的优势.

基于自适应哈希算法的直播视频篡改检测

提出基于视频压缩帧的自适应哈希算法,并将该算法用于实时视频篡改检测.根据帧内数据长度划分非固定步长区间,提取帧的空间结构特征,使用哈希量化形成固定长度的密钥.实验结果表明,该算法能达到实时性要求,表现出较好的鲁棒性和区分性,通过统计视频画面组的密钥相似度,能有效检测视频篡改.

基于局部敏感哈希算法和神经网络学习的跨媒体检索方法

为了提高跨媒体检索的效率,可行的方法是降低数据集中不相关内容的比例。采用局部敏感哈希算法将图像数据映射到汉明空间并利用神经网络学习将文本数据映射到汉明空间的哈希函数,提出一种可以显著提高数据集中相关文件比例的高效跨媒体检索方法。实验结果表明,提出的方法能够有效去除数据集中的不相关内容,相对于已有的跨媒体检索方法,其有效提高了检索效率与准确率。