MapReduce连接查询的I/O代价研究

数据的指数级增长给数据管理和分析带来了严峻的挑战.连接查询是数据分析中一种常用运算,而Map Reduce是一种用于大规模数据集并行处理的编程模型,研究基于Map Reduce的连接查询代价评估和查询优化,有着学术意义和应用价值.Map Reduce连接查询算法的性能主要取决于I/O代价(包括本地和网络I/O),而I/O代价与数据集以及连接运算的特征参数相关,通过对二元连接的I/O代价评估可以优化多元连接执行计划.基于此,首先提出了二元连接查询的I/O代价模型;随后,对现有二元连接算法进行形式化定义和简单扩展,归纳出6种基于Map Reduce连接查询算法,并通过算法白盒分析定义它们的I/O代价函数;最后,提出一种多元连接最优执行计划的选择算法.通过实验表明I/O代价模型的正确性且能够准确地反映算法的性能优劣.

一个块同步并行(BSP)的改进I/O代价模型

提出了一个改进的 BSP的 I/ O代价模型 ,不但易于实现 ,而且利用该模型能减少 I/ O、通信及同步时间 ,显著地提高 BSP程序的运行效率 .给出了在这两种模型下实现并行排序算法的时间代价比较 .

远程I/O技术方案在氯碱行业中的应用

摘要：新型的远程I／O系统是将传统的4～20mA信号以及开关量信号通过相应的I／O模块转换成数字信息，再通过通讯网关将数字信息以各种通用的开发式通讯协议，如MODBUS,Profibus-DP、Profibus-DP V 1 ,Foundation Fieldbus 等。传输到DCS／PLC等系统中实现远程监控的一种技术手段。

以I/O值筛选双乙烯砜结构拼活性黑新探

黑色染料是纺织印染应用广泛的染料,目前,活性染料很难找到纯正的黑,仍没有在620~700 nm波长内能够均匀全吸收的黑色染料品种。活性黑通常需要红、黄、蓝3色拼混而得。通过长期的摸索,试验证明活性黑KN-B（活性黑5）从性能、经济性等综合性考虑是拼黑的最佳选择,而黑KN-B缺少红色、黄色光谱,要想获得一个理想的黑就要选择一个与黑KN-N配伍性很好的红和黄。通过学习陈荣圻老师的相关文章结合申新的相关染料,做了拼黑相关试验及分析。

基于MapReduce的连接聚集查询算法研究

数据的指数级增长给数据管理和分析带来了严峻的挑战.连接聚集查询是数据分析中一种常用运算,而MapReduce是一种用于大规模数据集并行处理的编程模型,研究基于MapReduce的连接聚集查询算法有着学术意义和应用价值.首先在归纳和扩展现有连接算法的基础上总结出4种基于MapReduce的连接聚集查询算法;接着根据应用场景的不同又提出另外两种实现算法;同时提出I/O代价是决定基于MapReduce的连接聚集查询算法性能的主要因素;最后通过大量实验分析这6种算法在不同查询应用下的优劣,总结了它们各自的适用场景,并分析了各个算法的性能与数据特征之间的关系.

基于MapReduce的多元连接优化方法

多元连接是数据分析最常用的操作之一,MapReduce是广泛用于大规模数据分析处理的编程模型,它给多元连接优化带来新的挑战:传统的优化方法不能简单地适用到MapReduce中;MapReduce连接执行算法尚存优化空间.针对前者,考虑到I/O代价是连接运算的主要代价,首先以降低I/O代价为目标提出一种启发式算法确定多元连接执行顺序,并在此基础上进一步优化,最后针对MapReduce设计一种并行执行策略提高多元连接的整体性能.针对后者,考虑到负载均衡能够有效减少MapReduce的"木桶效应",通过任务公平分配算法提高连接内部的并行度,并在此基础上给出Reduce任务个数的确定方法.最后,通过实验验证本文提出的执行计划确定方法以及负载均衡算法的优化效果.该研究对大数据环境下MapReduce多元连接的应用具有指导意义,可以优化如OLAP分析中的星型连接、社交网络中社团发现的链式连接等应用的性能.

一种基于效益-代价均衡的磁带库调度算法

诸如数字图书馆等规模在1012字节以上的大型数据库需要在线存取大容量磁带库中的海量数据.由于这些需求都是对海量数据的随机存取,而磁带库的随机存取性能很差,所以,研究有效的磁带库随机I/O调度策略和算法是改善磁带库系统性能的重要课题.提出并研究了一种基于效益-代价均衡的调度算法,给出一种有效的效益-代价加权比的估算方法.该算法根据系统的工作负载特点,动态调节调度的效益和代价的加权比,从而改善了磁带库系统在各种负载下的系统性能.研究解决了已有磁带库调度算法的对工作负载敏感的问题,极大改善了调度算法在重负载下的有效性.

火力发电厂热控电缆优化敷设方案

本文以永川发电厂三期2X135MW工程循环流化床机组为依托,通过设置多路风压测量装置、仪表保护箱、接线盒、IDAS数据采集装置、一体化电动门、优化电缆路径、设置分支小桥架等措施,为电缆的合并和优化路径创造条件,从而达到控制热工电缆长度、施工工程量和降低工程造价的目的。

一种在移动GIS环境下基于R树的并行窗口查询系统模型

窗口查询(Window Query)是移动地理信息系统(Mobile Geographic Informa-tion System)各类具体应用中的核心功能。为了提高移动GIS系统的查询效率(I/O开销、响应时间、丢失率),本文对实时环境下窗口查询分解、调度和并行处理等问题做了阐述,讨论了基于内存R树(Memory R-tree)实现并行窗口查询的方法。

剖宫产产妇围手术期抗菌药物的合理用药研究

目的 探讨剖宫产产妇围手术期抗菌药物使用情况。方法 选取2015年12月~2016年12月慈溪市妇幼保健院收治的192行剖宫产术的产妇进行研究,按照入院顺序进行分组,分为对照组（95例）和观察组（97例）,均给予常规围手术期抗菌药物治疗。观察组实施科学用药干预,对照组不予以干预。统计2组的术后白细胞计数水平和术后体温复常时间以及住院时间,统计术后感染类型和感染率,并统计2组的治疗相关费用。结果 观察组的白细胞计数显著高于对照组,术后体温复常时间以及住院时间则显著短于对照组,差异均有统计学意义（P〈0.05）;术后2组患者均出现一定的感染现象,包括尿路感染、切口感染、产褥感染以及宫腔感染等,2组总感染率比较差异无统计学意义;观察组的抗菌药物费用、总药费、住院费用均显著低于对照组,且患者抗菌药费占总药费比例也显著低于对照组,差异均有统计学意义（P〈0.05）。结论 剖宫产产妇围手术期抗菌药物的使用过程中,通过实施科学干预可以获得理想的效果,促进临床用药的合理性与规范性,有效降低抗菌药物费用及住院费用等,促进患者的术后恢复,且不会增加术后感染的出现。

PLC输出的行列距阵控制法

在自动化药房等项目中，需要大量I／O点输出的，很可能需要上千个I／O点输出。笔者提出了PLC输出的行列距阵控制方式，可以用几十个I／O点输出达到控制上千个输出状态的目的。该方式对优化控制结构、减少成本有重要的现实意义。

行列矩阵控制法在自动化药房的应用

在自动化药房等项目中，需要大量I／O点输出的，很可能需要上千个I／O点输出。文中提出了PLC输出的行列矩阵控制方式，可以用几十个I／O点输出达到控制上千个输出状态的目的。该方式对优化控制结构、减少成本有重要的现实意义。

动态投入产出模型及其在高等教育成本分析中的应用

高等院校教育成本核算一直是人们关心的重要问题.把高等院校大学生培养过程,看作人才的生产与加工过程,投入高中毕业生(原材料)以及教学、办公楼等固定资本与教职员工等劳动工时,生产或毕业高校大学毕业生,从而建立高等教育的动态投入产出模型,并由此推导高等院校大学生教育成本的计算公式,指出在计算教育成本时,固定资本租金率与高校规模扩张速度之间的关系,指出进一步深入研究的方向.