集合相似度自连接算法研究

在当前信息技术条件下,如何提升数据处理效率成为未来工作中不容忽视的问题,本文在集合相似度融合算法的基础上,介绍集合相似度连接策略,对如何实现集合相似度自连接算法提出合理意见,并通过实验评估方法,综合判断本文方法的技术优势。根据研究结果可知,本文提出的新方法可以显著提升集合相似度计算效率,值得推广。

基于MapReduce的相似自连接新方法:过滤和内切圆算法

相似自连接是一个在很多应用领域中很重要的问题.对于海量数据集,MapReduce可以提供一个有效的分布式计算框架,相似自连接操作也同样可以应用在MapReduce框架下.但已有研究工作仍然存在不足,如对于聚集数据区域采用加细划分方法,目的是负载平衡,但不易实现.现有的算法不能有效地完成海量数据集的相似自连接操作.为此提出了2个新颖的基于MapReduce的相似自连接算法,其思想是采用坐标过滤技术,形成有效候选集,以及针对聚集区域采用六边形划分的内切圆算法.过虑技术是在等宽网格划分基础上,利用同一维坐标间的距离差与相似性约束阈值ε进行比较,可以明显地减少候选集的数量,也证明了六边形划分是所有正多边形全覆盖中最优的划分方法.实验结果表明:新方法比其他算法有更高的效率,提高效率80%以上,它能够有效地解决有聚集区域的海量数据集的相似自连接问题.

一种基于MapReduce的局部相似自连接算法

局部相似自连接能在给定的单个数据集中快速找到所有满足相似要求的记录对,它在数据清洗、基因序列比对和剽窃检测等领域都有广泛的应用。为研究基于单个字符串集的并行自连接算法,提出了一种基于MapReduce框架的自连接算法,解决了局部相似自连接的定位问题。该算法采用了过滤验证二阶段模式;在过滤阶段,采用无关对过滤和冗余对过滤抛弃了大量的无效字符串对;在验证阶段,通过生成小编号串内容保留项解决了字符串编号和内容的快速配对问题。实验结果显示,该算法在大数据集上的自连接速度一直快于当前的优秀算法LS-Join,同时非常适合动态编辑距离参数环境下的局部相似自连接操作。实验结果也证明,该算法中提出的相关技术有效地提高了局部相似自连接的速度。

FOXPRO SQL 未公开特性——别名和自连接

介绍了自连接的概念和在ＦＯＸＰＲＯＳＱＬ中别名、数据库文件名混合使用及自连接的方法。

融合成对损失函数与分级图卷积网络的协同排名模型

协同排名方法是一类直接优化推荐项目序列的推荐方法,但在显式评分场景中,现有的协同排名算法对用户和项目间的交互信息利用不足,使用的交互函数对用户和项目间的非线性交互关系建模不充分。针对此问题,提出一种融合成对损失函数与分级图卷积网络的协同排名模型。首先根据评分数据构造用户和项目的分级异质交互二部图以及项目间的成对比较集合;之后利用分级图卷积网络挖掘用户和项目间的异质交互关系,并设计相应的自连接操作;接着利用神经网络融合辅助信息以构造两者的嵌入表示,结合神经网络与内积构造用户项目间的交互函数以建模非线性关系;最后基于成对比较数据优化模型,提升模型预测排名质量。在多个公开数据集上与同类方法的对比实验结果表明,所提算法预测排名质量较优。

基于体外自连接的猪圆环病毒2型感染性克隆构建方法

本研究旨在建立一种快速构建猪圆环病毒2型(porcine circovirus type 2,PCV2)感染性克隆的方法。以临床分离的PCV2 LX株为模板,利用DNA无缝克隆技术成功构建了PCV2环状感染性克隆。同时,在基因组体外自连接的构建过程以及拯救病毒的生长特性上,将本方法与常规酶切连接方法进行了比较。本方法无须分析和引入限制性内切酶位点,避免了传统酶切连接的繁琐,能更高效地进行PCV2基因组的编辑。构建的感染性克隆经脂质体转染细胞,成功拯救获得可以稳定传代的重组病毒,并且重组病毒在PK-15细胞和3D4/31细胞(猪肺泡巨噬细胞系)上具有更强的增殖能力。综上所述,本研究构建了一种基于体外自连接的PCV2反向遗传操作系统,为PCV2基因工程疫苗的研发提供新策略,为其他新发圆环病毒(PCV3和PCV4)感染性克隆的构建提供借鉴。

大数据处理中MapReduce框架的Q-sample算法设计

为了解决大量重复数据导致MapReduce的混淆消耗过大及网络传输拥堵的问题,设计了一种基于MapReduce框架的相似连接算法Q-sample。该算法首先将Q-sample的子串进行分割以减少过滤阶段的子串数量,从而减少网络传输数量,进而减少相似连接所耗费的时间,然后通过设计三个匹配过滤器和一个统计特征过滤器的方法来提高过滤效率,最后进行相关实验。实验结果表明,算法有效地提高了MapReduce众局部相似自连接速度和字符匹配的过滤效率。

银纳米材料的纳连接及其电学性能研究

随着微电子器件需求日益迫切,由纳米材料构造的微纳结构在降低尺度并获得特征性能上有着极大的优势。纳连接是从纳米材料构筑微纳结构的有效途径,目前实现纳连接的手段主要包括热烧结、激光烧结等。对比研究了不同连接方法形成的银电极的电学性能及微观结构,并对银纳米材料间的连接机理进行了分析。结果表明,相比于自连接及热烧结,激光烧结在降低电阻率及保持纳米结构方面有着独特的优势,在激光诱导下,银纳米带可在低温下实现互连,形成交联网络结构,从而降低银电极的电阻率,并显著改善其柔韧性。激光烧结电极的电阻率低至1.88×10^(-7)Ω·m,同时具有较好连接强度,经3000次弯折后电阻变化率仅为21.26%。