基于时序特征数据高效索引技术的物联网感知设备安全自动监测技术

物联网设备已经被广泛应用于各个领域,为保证物联网的安全,排除内部隐患,基于时序特征数据高效索引技术设计物联网感知设备安全自动监测方法。结合时序特征数据高效索引技术提取物联网信息特征,在报文传输过程的基础上,区分不同流量数据之间的差异、恶意攻击软件与感知设备的系统特征,计算样本数据的表征值,得到物联网感知设备的原始信息特征。对数据特征进行分类,计算其数据内的缺失值和错误值,得到特征向量的筛选优化结果,计算训练损失函数,调整实际操作的阈值,保证数据特征分类的准确性。搭建物联网感知设备监测模型,训练判别器,进行物联网的自动监测。分别对数据包、字节以及数据流量进行识别,该监测技术可以准确地区分良性数据与攻击数据,从而保证物联网感知设备的安全。

基于非度量多维标度的物联网大数据高效索引方法研究

由于多模态物联网大数据多元化空间信息资源分布维数增加,现有迭代排序方法无法通过低维排序图反映数据处理结果,导致多模态物联网大数据索引结果存在误差.提出基于非度量多维标度的物联网大数据高效索引方法,构建多模态物联网大数据的索引节点分布结构模型,在多模态物联网大数据库中进行模糊特征关联度分析,结合自相关特征匹配方法实现特征提取,根据语义上下文的关联性进行物联网大数据高效索引,采用非度量多维标度方法进行物联网大数据高效索引过程中的聚类分析和自适应寻优,结合模糊C均值聚类方法进行物联网大数据索引过程中的分类挖掘和特征调度,实现模糊度检测和特征聚类.仿真结果表明:基于非度量多维标度的物联网大数据高效索引方法准确率均在80%以上,最高可达95%,说明该索引方法误差较小,具有一定的应用价值.

一种基于大数据的数字图书馆高效搜索引擎

本文设计了一种基于大数据的数字图书馆高效搜索引擎。该搜索引擎可准确理解读者的需求,节省了搜索时间,提高了查询效率,并能够减少资源定位时间,提高检索查全率。

一种基于有序二叉树的高效优化索引树

在编制汉字输入法的过程中遇到了字符串的存储和检索问题,对此提出了一种基于有序二叉树的高效优化索引树,给出了优化索引树的生成算法和搜索算法。在该高效优化索引树中,采用特定的非定长结构存储树节点,并把索引树存放在一个字节型逻辑数组中,从而大大减少了索引树中儿子指针和兄弟指针的个数,使得索引树中不存在空指针。优化后的索引树不仅占用存储空间少,而且检索速度极快,非常适合存储编码信息。

用于电力大数据快速组合查询的动态索引技术

随着采集系统的建成与完善,电力系统积累了大量的电力数据,电力大数据时代也随之到来。虽然Hadoop可以通过普通计算机的横向扩展把处理压力分摊给每台计算机从而获得高效的处理性能,但是当每台计算机存储的数据量都非常大时,简单的逐行扫描已经无法满足性能需求,建立高效的索引机制和快速的组合查询功能就变得非常重要。因此本文结合Jimo大数据的动态可删节索引技术,提出一种适用于电力大数据的索引机制与查询方法,并构建了电力大数据高效索引与快速组合查询的一体化解决方案。实际的计算分析表明,本文算法极大地提升了电力大数据的组合查询效率,很好地满足了系统的性能需求。

DPSM:可扩展高效的分布式子图匹配方法

为解决当前常见的子图匹配算法具有较高时间空间复杂度、难以实现大规模子图匹配和难以进行分布式并行等问题,提出一种可扩展高效的分布式子图匹配方法 DPSM。将查询图拆分为基本匹配单元,使用基本匹配单元分布式并行查询,以数据并行方式有效解决大规模有向图子图匹配任务。在Spark平台上实现DPSM系统,实验结果表明,DPSM能够在秒级时间完成拥有上亿顶点、数十亿边的大规模自然图子图匹配任务,具有良好的可扩展性。

针对大数据量的高校师生网络文档查找系统设计与实现

本文运用HTML Parser和Lucene设计了一个针对高校师生的网络文档查找系统,解决了师生在大数据时代下运用单一搜索引擎检索信息的不完整性和缺乏针对性问题。实验测试证明,该系统具有较高的针对性、准确性和检索效率,使得用户可以更快地对文档资源进行检索。

基于Token语义构建的代码克隆检测

传统的基于Token的克隆检测方法利用代码字符串的序列化特性,可以在大型代码仓中快速检测克隆.但是与基于抽象语法树(AST)、程序依赖图(PDG)的方法相比,由于缺少语法及语义信息,针对文本有较大差异的克隆代码检测困难.为此,提出一种赋予语义信息的Token克隆检测方法.首先,分析抽象语法树,使用AST路径抽象位于叶子节点的Token的语义信息;然后,在函数名和类型名角色的Token上建立低成本索引,达到快速并有效地筛选候选克隆片段的目的.最后,使用赋予语义信息的Token判定代码块之间的相似性.在公开的大规模数据集BigCloneBench实验结果表明,该方法在文本相似度较低的Moderately Type-3和Weakly Type-3/Type-4类型克隆上显著优于主流方法,包括NiCad、Deckard、CCAligner等,同时在大型代码仓上需要更少的检测时间.

大数据技术在财经新闻信息服务上的集成创新应用研究与探索

大数据时代媒体行业应该如何运用大数据技术融合创新,提升信息服务的能力和水平。可以看到包括汤森路透、彭博、美联社在内的很多国外主流媒体都在积极运用大数据技术融入到新闻的生产和传播流程,在业务形式上力求创新。针对不断涌现的新技术形态,国内媒体近年来也加大了在技术创新方面的研究力度。其中,作者参与的科技部研究课题通过开展云计算、信息搜索、语义分析、文本挖掘、机器学习、知识网络、知识图谱、个性化推荐等大数据关键性前沿性技术研究,创新性地将相关技术集成融合,努力打造财经信息智能云服务平台,满足大数据时代用户对“信息智能服务”的需求。