浅析基于HDFS的分布式Namenode模型

大量的信息以数据的形式进行存储和处理,如果能够以最佳的方式存储、访问和分析所有产生的数据,就可以创造出价值。面对如此海量的数据,Hadoop文件系统(HDFS,Hadoop Distributed File System)展现出了它的优越性。但是基于单一Name Node节点的HDFS文件系统表现出了单点失效、单点瓶颈和扩展性差几个问题。为了解决单一Name Node成为整个集群性能瓶颈的问题,本文提出一种基于HDFS的分布式Name Node模型,并对分布式Name Node结构的总体设计进行介绍。

层次化解析系统中两级节点协同的副本策略

名字解析系统负责存储维护信息中心网络中名字和地址之间的映射关系,并提供名字解析服务。层次化的解析系统因可扩展性良好而备受关注,但解析请求一旦无法就近完成则需要沿其层次化结构进行长距离转发。当只有少数节点存储热门名字映射记录时,长解析时延的问题将更严重。副本策略是提高解析服务性能的重要机制,通常解析节点会向其他节点推送自身存储的映射关系从而扩散副本,但这种策略往往不能精准推送用户最感兴趣的名字,也难以控制副本数目。本文提出一种两级节点协同的副本策略,管理域中的高层级解析节点通过信息收集窗口获知服务范围内用户最感兴趣的名字后,将主动从其他节点请求副本。为底层节点分发副本时,以时延优化的边际收益衡量是否应为每个名字再多放置一个副本,从而自适应地决定不同名字的副本数目和位置。实验结果表明,本文的策略准确捕捉了用户的解析需求偏好,有效地提高了管理域内的解析命中率,解析时延相较于无副本时降低34.1%。

基于全局节点和多片段的格栅命名实体识别

现有命名实体识别模型对标注数据量要求较高,基于主动学习的命名实体识别模型需要人工分词造成标注代价大。针对上述问题,提出一种结合全局节点和多片段的格栅命名实体识别模型。将Transformer的全连接结构替换为全局节点和多片段结构,每个节点仅与构造的上下文向量进行注意力计算,全局和片段节点分别获取全局和局部信息,从而降低对标注数据的需求量。对Flat-Lattice结构进行改进,解决现有主动学习策略需要分词的问题,从而在保证模型性能的情况下降低数据标注代价。在MSRA、OntoNotes 5.0、Weibo、PeopleDaily这4个数据集上的实验结果表明,与FLAT模型相比,所提模型达到对应F1阈值所需的标注数据量分别降低了39.90%、2.17%、34.60%和35.67%。

基于HDFS的高可靠性存储系统的研究

由于机器硬件故障导致的重要文件丢失对工作造成了极大影响。HDFS分布式文件系统通过文件副本机制提高了存储的可靠性。但HDFS中Name Node单点故障问题导致了当Name Node岩机时,整个集群不可用,从而导致了用HDFS进行文件存储不是100%的安全可靠。文中通过UCarp虚拟IP软件建立Name Node的备份节点。当HDFS岩机时,备份节点会自动竞争为新的Name Node,为集群提供元数据服务,从而保证HDFS在任何时候都不会有数据丢失现象,提高了HDFS的可靠性。

基于数据网格的教育资源服务系统的实现

研究应用网格技术来构建一个分布式网络教学资源服务系统,以便更好地共享和利用上海教育资源库,即实现了基于数据网格的教育资源服务系统(ERSDG).首先介绍了Globus Toolkit工具包,阐述了ERSDG系统的架构和功能,提出了资源文件命名规范和资源节点分类,再分别从数据同步、资源访问服务和监控管理等方面论述了该系统的实现,最后从同步数据性能测试、用户访问和系统监控情况等方面分析了该系统性能.

SingleMapReduce:单一输出HDFS文件的MapReduce编程模型

经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统(HDFS)文件,为此,文中提出了单一输出文件的MapReduce编程模型:SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件"整合"为单一文件.文中给出了HDFS的4个重要特征,提出了HDFS的"块典型分布"和"块非典型分布"的概念,设计了一种通过整合元数据来达到整合文件的算法.理论分析和实验结果表明:该模型的MapReduce计算的输出结果为单一文件;该模型可以再次以文件的形式对MapReduce计算的输出结果进行分片,并可用并行方式导入大表或大文件到HDFS中;该模型间接支持了名称节点的扩展性.

无线传感器网络节点命名算法的研究

针对无线传感器网络节点的命名问题,在分析出现同名现象的数学原理基础上,提出一种以概率理论为基础的命名算法.得出任意两个节点名字相同概率在极小的条件下,网络节点数和名字空间大小两者间的函数关系.并在此基础上,给出当两个无线传感器网络合并时,是否需要对新网络的节点进行重新命名的判别公式.算法的实现满足分布性和高效节能的要求.仿真试验表明,该算法是行之有效的.

命名数据网络中一种基于节点分类的数据存储策略

缓存是命名数据网络(named data networking,NDN)有别于传统网络最突出的特性之一,NDN中默认所有节点都具有缓存所有经过数据的功能.这种"处处缓存"策略导致网内大量冗余数据的产生,使网内缓存被严重浪费.针对上述问题,首次提出了一种基于节点分类(based on node classification,BNC)的数据存储策略.基于节点位置的不同,将数据返回客户端所经过的节点分为"边缘"类节点与"核心"类节点.当数据经过"核心"类节点时,通过权衡该类节点的位置与数据在不同节点的流行度分布,将数据存储在对其他节点最有利的节点中;当数据经过"边缘"类节点时,通过该数据流行度来选择最有利于客户端的位置.仿真结果表明,提出的策略将有效提高数据命中率,减少数据请求时延和距离.

一种面向进程通信的逻辑网络信息平台(NIP)的设计

本文通过对现有网络体系结构和应用系统开发的分析 ,提出了一种面向高层应用进程通信的逻辑网络信息平台 NIP,以实现异构网络中不同进程 (同一机器内、不同机器中 )间信息透明传输 ,并给出了 NIP的具体设计方案 .

一种表示有向图的表方法及其应用

图的表示方法很多,各有其优缺点.采用不同的表示方法,可获得图的不同的时空性能.本文阐述了图的一种新表示方法,该方法用一种命名规则将有向图表示为节点标签表,给出了由节点标签表产生节点链的算法.并用这种称为表方法研究了有向图的回路性质,特别地将它应用于研究de Bruijn回路、欧拉回路和哈密顿回路,给出了计算欧拉回路和哈密顿回路的新方法.本研究表明该方法具有较好的理论和实用价值.

结合内容流行和主观偏好的节点缓存策略

近年来,随着内容分发要求的不断提高,互联网逐渐从以主机为核心演变为面向内容模式.作为内容中心网络的典型代表,命名数据网络受到了越来越多关注.针对命名数据网络中的高效缓存内容问题,提出一种节点主观视角下结合内容流行和节点偏好的缓存策略.具体为每个节点通过周期性地统计自己收到和发出的Interest包信息来计算每类内容在该节点主观视角下的流行度和该节点对不同内容类型的偏好度,以得到每类内容的基本优先级,进一步在收到Data包时,结合内容大小评估值计算每个内容的缓存优先级,进而执行缓存策略.该缓存策略计算方法简单易行,无需节点间额外通信交换信息.仿真结果表明,该缓存策略比主流策略具有更高的缓存命中率、更低的缓存替换率和更近的请求距离.

基于文件路径的信息集群中重复数据消除研究

传统方法在删除重复数据时逻辑顺序较为混乱,导致重复数据消除效果欠佳。为解决上述问题,基于文件路径,对信息集群中重复数据消除方法展开研究。根据重复数据消除方法分块理念与文件系统中的目录名称,探析文件路径的重复数据消除原理。通过分块筛选存储数据完成数据对比,从而去除数据备份并用指向唯一的实例指针代替。在界定元数据信息的基础上,对文件部分和数据块模块中的重复数据进行消除,并采用文件路径信息集群的多个存储节点来加快消除速度。同时,利用元数据信息赋予数据可恢复性能,确保数据的可靠性。仿真结果表明:上述方法不仅有效提升了对重复数据的消除效果,且消除过程时耗较短,具有高效性和可靠性。

基于节点介数与边缘流行度的NDN缓存策略

针对命名数据网络(NDN)架构中多数缓存策略的冗余与低效问题,提出一种基于节点介数与边缘内容流行度的缓存放置策略BEP。结合节点的介数中心性与内容的动态流行度,同时考虑缓存的过滤作用,将最流行的内容放置在最重要的节点上,以高效利用稀缺的缓存资源。仿真结果表明,与经典NDN缓存策略LCE、LCD相比,BEP能有效提高缓存命中率,降低服务器负载。

基于混合式P2P的域名系统中超节点选择策略

域名系统是Internet的基础。IPv6网络的新特性,要求基于IPv6的域名系统提供高效的域名服务。鉴于传统的域名系统模型使得DNS服务器容易成为网络的瓶颈和攻击目标,本文提出了采用混合式P2P网络思想构建高效的IPv6DNS域名系统,着重讨论了混合式P2P域名系统中超节点的选择策略,并在实验室中验证了该策略的可行性,最后分析并指出了今后的研究方向。

基于环-树型拓扑的无线传感网密钥管理方案

设计了一种基于无线传感网的拓扑模型——环-树型网络拓扑模型。基于该模型,结合节点命名机制,提出了一种新的密钥管理方案。该方案在拓扑结构上改变传统的三层分簇拓扑为四层分簇拓扑,在路由安全问题上采用二次核实机制。经仿真工具OMNET++实验,较传统的三层分簇拓扑模型,该方案的网络拓扑模型延长了第一个节点的死亡时间,且整个网络具有更长的生命周期和更好的安全保证。

雌二醇对家兔窦房结自律细胞的电生理学效应(英文)

本文旨在探讨雌二崞(17β-estradiol)对家兔窦房结自律细胞的电生理学效应及其作用机制。应用经典的细胞内玻璃微电极技术观察不同浓度雌二醇(1,10,100μmol/L)对家兔窦房结自律细胞动作电位的影响。结果显示:(1)雌二醇浓度依赖性地延长窦房结自律细胞动作电位复极化50%时间(APD_(50))和动作电位复极化90%时间(APD_(90)),降低窦房结自律细胞动作电位0期最大除极速率(V_(max))、动作电位幅值(amplitude of action potential,APA),降低窦房结自律细胞放电频率(rate of pacemaker firing.RPF)、舒张期(4相)自动去极化速率[velocity of diastolic(phase 4)depolarization,VDD];而雌二醇对窦房结自律细胞的最大舒张电位(maximal diastolic potential,MDP)无明显影响。(2)雌激素受体阻断剂他莫昔芬(10μmol/L)不能阻断雌二醇(10μmol/L)对窦房结自律细胞动作电位的抑制效应(3)一氧化氮合酶抑制剂L-NAME(100μmol/L)可完全阻断雌二醇(10μmol/L)对窦房结自律细胞动作电位的抑制效应。结果提示,雌二醇对家兔窦房结自律细胞的电生理活动具有明显的抑制作用,此作用可能是通过非基因组机制发挥,与一氧化氮作用有关。

VHDL中间数据格式及其设计库

VHDL中间数据格式(VIDF)是VHDL设计环境(VDE)的要求,用来作为VDE中各设计工具的一个公共数据界面.VIDF允许它的开发者根据要求采用不同的实现方法.本文给出的是一种借鉴Ada的中间语言Diana而产生的VIDF表示,这种表示使得VIDF的形式较规范化.VIDF是存放在VHDL设计库(VDL)中的,本文也介绍了VDL的一种实现方法.

基于蚁群优化的内容中心网络服务节点选取算法

内容中心网络是一种全新的网络体系结构,通过内容名字进行寻址和路由。然而,现有的CCN路由在多个服务节点存在时采用全转发策略,导致不必要的资源开销。如何选取最优的服务节点成为CCN路由的一个重要研究课题。蚁群优化是一种启发式算法,通过发送探测蚂蚁来寻找最优解。在对CCN服务节点选取问题分析的基础上,基于蚁群优化机制,提出了一种分布式的服务节点选取算法ADSS。仿真结果表明,ADSS能够显著地提高内容路由性能,减少CCN节点上缓存内容的动态性。

结合图卷积神经网络的文献作者姓名消歧

在科学文献管理中,存在大量的科学技术文献需要被高效的识别、分类和保存.对于研究者来说,在研究该领域的相关知识时,通常会检索该领域的相关专家的文章,然而,姓名作为检索的常见搜索经常会出现歧义问题,这导致文献检索、统计和分析的质量下降.现有的方法在数据集上仍不能表现出良好的聚类效果,如何实现有效的消歧方法仍是一项挑战.本文提出基于图卷积神经网络的作者姓名消歧技术.首先使用BERT模型将文献作者、出版机构、摘要等多种属性信息嵌入到低维向量空间中,得到与作者相关的多种属性的嵌入向量,克服嵌入向量不够准确的缺陷;接下来以节点嵌入为基础,为每篇文献都构建文献局部图,使用图卷积神经网络对生成的文献局部图进行链路预测,有助于提高链路预测的准确性;最后,在图上使用简单的连通域搜索并动态剪枝进行聚类.基于实验表明,本文提出的方法有比较好的性能提升,能够提高作者姓名消歧的准确性.

基于多源的NDN端节点拥塞控制算法

文章以NDN网络现存拥塞控制算法的端节点拥塞信号获取不准确为研究问题,提出一种基于端节点的拥塞控制算法。这种算法从源头上控制拥塞,并依据多个拥塞信号进行端节点速率调整,以更贴近全局网络状态的方式进行端速率调整以保证吞吐量。文章考虑NDN多源特性,结合累积排队时延信息,设计端节点重传定时策略,避免过多重传加重网络拥塞,进而确保网络的稳定性。