大数据上基于Hadoop的不一致数据检测与修复算法

随着现代社会互联网的普及应用,产生的海量数据普遍存在质量问题。针对数据质量中不一致性问题进行研究,设计并实现了基于Hadoop并行平台的不一致数据检测与修复算法。采用数据依赖理论中的条件函数依赖,根据给定规则检测不一致数据集,对这些不一致数据求解修复方案,使得修复结果满足数据一致性要求,并给出修复结果的确定性概率。最后通过实验证明了该算法较已有的单机算法有更好的修复效果,当约束规则较少的情况下,算法执行时间呈线性增长。

容许两个盘故障的磁盘阵列数据布局与图分解的条件和存在性研究

从一个新的途径讨论容许两个盘故障的磁盘阵列数据布局 :把由数据单元和通过“异或”运算得到的校验单元组成的校验组用一个图表示 ,把校验组容许两个盘故障的阵列布局归结为校验组的单元集合的划分 ,进而转化为校验组的图的顶点和边组成集合的满足一定条件的分解 .证明了校验组容许两个盘故障的单元集合划分的充分必要条件及存在性 ;讨论了优化阵列布局方案性能的条件 ;给出了阵列布局的步骤 .从而为设计具有最优性能的容许两个盘故障的磁盘阵列数据布局方案提供了有效的途径 .

何首乌块根中砷、镉、汞和铅含量的检测及其富集特性

The contents of As, Cd, Hg and Pb in root tubers of annual and biennial plants of Polygonum multiflorum Thunb. in Jiangsu Province were 0.32, 0.24, 0, 1.25 and 0.20, 0.26, 1.67×10 -4, 1.32 mg·kg -1 respectively, which totally met the standards of GTSIEMPP (WM2—2001). Biology concentration factors (BCF) of Cd is 2.4-2.6, which indicates that the root tuber of P. multiflorum has a strong accumulative action to Cd. While the accumulative action to As, Hg and Pb is not strong, BCF are 0.025-0.015, 0-6.40×10 -4 and 0.06 respectively.

结合颜色和梯度信息的稀疏图像修复算法

现有基于稀疏性的图像修复算法仅利用颜色信息衡量样本块的相似度,易降低修复区域内结构部分的连通性及与邻域信息的连续一致性,同时在全局范围内搜索匹配块也增加了算法的运行时间.为解决上述问题,利用颜色与梯度模值信息度量样本块之间的距离,构造新的相似度以确定块结构稀疏度函数,利用块结构稀疏度确定填充顺序,同时构造新的匹配准则函数寻找匹配块;并利用块结构稀疏度值能够较好地反映样本块所处区域特征的特性,根据块结构稀疏度值自适应确定局部搜索区域大小.并通过实验验证在不同图像中颜色信息与梯度信息所占比例不同.实验结果表明,该算法较对比算法能够更好地保持结构部分的连贯性及与邻域信息的连续一致性,在峰值信噪比上至少提高1dB,并且算法速度提高4~11倍.

复合材料自动铺带技术研究(II)——柱面上沿“自然路径”铺带的压辊坐标生成

根据可展曲面上“自然路径”与测地线等价原理,应用沿弧长展开方法,研究了柱面上“自然路径”轨迹生成、铺带头轨迹坐标和姿态坐标计算模型与方法,讨论了简单边界的处理原则与方法,为实现柱面自动铺带CAD/CAM提供了依据。

改进的纹理合成图像修复算法

提出一种新的基于纹理合成的图像修复算法,针对Criminisi算法优先权函数不准确等缺点,改进优先权函数;另外在模板的选择上,利用方差表征频率的变化来选择模板的大小,不仅可以抑制噪声对模板选择的干扰,也更能体现图像的局部差异性,从而能更加准确地寻找最佳匹配块。算法经过实验仿真证明了其准确性。

磁盘阵列附网存储技术的研究

附网存储系统(NAS-Network Attached Storage)的实现需要三方(即服务器、客户机和磁盘阵列)通信协议的支持。该文提出了使用SMB(Server Message Block)作为三方通信协议的方案，并通过修改Samba软件和利用伪装技术实现了对客户机透明的附网存储。

结合彩色图像局部分割的Kinect深度图修复算法

针对Kinect深度图空洞和噪声存在降低三维目标检测和识别精度的问题,提出一种结合彩色图像局部分割的深度图修复算法。首先,利用区域连通性对空洞区域进行分析和标记;其次,根据空洞区域领域的深度直方图峰值数目判断空洞区域类型;再次,分割膨胀区域对应的彩色区域,获取空洞像素所在分割区域与其领域的交域(有效支撑区域),利用交域内的有效深度信息计算空洞像素;最后,利用引导滤波对深度图进行平滑、去噪。实验结果表明,经该算法处理后的深度图边缘细节更加清晰,具备微小梯度不变性,且测量精确度更高。

基于功能分析的产品创新方法研究

功能创新是产品创新的关键 ,功能分析是进行功能创新的前提和基础。文章首先分析了产品创新以及功能创新的重要性和必要性 ,接着引入了TRIZ理论中的两种功能分析方法 ,即物质 -场分析和TOP分析 ,并对两种功能分析方法进行了对比。在此基础上 ,提出了一种基于功能分析的产品创新方法 ,建立了基于功能分析的产品创新流程。这种方法包括四个组成部分 ,即用户创新、功能创新、原理创新和结构创新。其中 ,功能分析是功能创新的核心 ,功能创新是满足用户创新的前提条件 ,是进行原理创新和结构创新的目的和依据。最后 。

便携式定量荧光免疫分析仪

介绍了一种基于荧光免疫与免疫层析技术原理，可对人体血液中C-反应蛋白浓度进行定量检测的便携式荧光免疫分析仪。仪器以MSP430F1611微处理器为主控芯片，配合光电检测模块、机械扫描模块和控制与信息处理模块实现对c一反应蛋白的定量检测。C-反应蛋白与荧光标记物发生免疫反应后聚集在试纸条的检测带上，仪器通过测量检测带上荧光物质的含量，参照标准浓度曲线就可计算出待测样本溶液的浓度。实验数据表明，该仪器C-反应蛋白浓度的线性检测范围为1．00～27．00mg／L，检测稳定性C．V值〈7．00％（2．00～20．00mg／L），最低检测浓度为0．36mg／L，技术指标达到临床检测的要求。

基于页面写相关的闪存转换层策略

针对固态硬盘(SSD)的闪存转换层(FTL)策略诸如BAST、FAST增加了垃圾回收的成本,带来了固态硬盘性能的下降等缺点,提出了一种基于页面"写相关"的FTL策略PWRST。PWRST的基本思想是分析I/O请求的访问历史并找出"写相关"的页面,将"写相关"的页面存储到同一数据块。从而减少垃圾回收开销和I/O请求的平均响应时间。实验结果表明PWRST在Postmark和IOzone负载下的响应时间比BAST减少了35%,比FAST减少了26%。在TPC-C负载下的响应时间比BAST减少了12%,比FAST减少了10%。

基于ARM920T微处理器的IDE硬盘接口设计与实现

为了在嵌入式系统中实现对IDE 硬盘的读写, 介绍了基于ARM920T 处理器的嵌入式系统结构,设计了系统与IDE硬盘的接口电路,分析并改造了Linux操作系统下的硬盘驱动,最终在S3C2410 开发板上实现了对硬盘的稳定快速的读写。

一种提高磁盘阵列I/O性能的策略

通过资源重复途径构成的磁盘阵列Ｉ／Ｏ系统，有效地提高了Ｉ／Ｏ系统的数传率和响应时间．但是，对于Ｉ／Ｏ负载变化大的使用环境，常规阵列控制策略不能较好地发挥阵列系统的性能．本文提出了一种适合于Ｉ／Ｏ负载变化大的改进阵列控制策略，并分析了这种改进策略的Ｉ／Ｏ性能，最后用ＱＢＥＮＣＨ 分别对常规策略和改进策略测试了Ｉ／Ｏ响应时间和数传率．

RAID的并行I/O调度算法分析

由于越来越多的应用受限于I/O,存储系统正起着越来越重要的作用。磁盘阵列RAID是一种提供高性能I/O的最常见存储设备。本文分析了RAID并行I/O调度算法的I/O执行时间和磁盘利用率,为合理配置高性能阵列提供了依据。

基于插值的残缺图像的修复算法

在分析图像数据丢失的原因和特点的基础上 ,参照传统图像复原技术 ,提出了对图像按列进行恢复的方法 ,并借鉴数据插值的思想 ,设计了图像恢复插值算法 ,该算法基本满足了图像恢复的要求 ,并通过试验得到了该算法的适用条件。

面向视频流数据实时存储的RAID写策略

本文针对实际应用 ,介绍了常规磁盘阵列 ( RAID) I/ O过程 ,在分析常规 RAID写回策略的基础上提出了一种流水写回式策略 .这种策略充分利用了系统现有资源 ,扩大了并行性 ,提高了数传率 ,缩短了 I/

抛光液组分对硬盘盘基片超光滑表面抛光的影响

在硬盘盘基片的最终抛光中,研究SiO2溶胶颗粒、氧化剂、络合剂和润滑剂对盘基片Ni-P材料抛光性能的变化规律,获得较高的材料去除速率(MRR)和原子级光滑表面,以满足下一代硬盘盘基片制造的更高要求.结果表明,采用平均粒径25 nm的SiO2溶胶颗粒,易减少微划痕等缺陷;以过氧化氢为氧化剂,可大幅提高MRR;加入有机酸络合剂后,MRR显著增大,其中含有水杨酸的抛光液MRR最大,并讨论不同络合剂对盘基片去除的影响机理;丙三醇润滑剂的引入,使抛光中摩擦系数减小,盘基片的表面粗糙度得到明显降低.采用原子力显微镜(AFM)、光学显微镜和Chapman MP2000+表面形貌仪来考察盘基片抛光后的表面质量,基于抛光液各组分的影响作用,最终获得表面粗糙度Ra为0.08 nm的盘基片表面,且MRR达到0.132μm/min.

基于NAND闪存的高性能和可靠的PRAID-6

基于固态硬盘的RAID-6阵列,在每次数据更新时,都需要计算和写入校验信息,降低了阵列的性能和缩短了固态硬盘的使用寿命,该论文提出了一种基于延迟写入校验信息策略的RAID-6,称为PRAID-6.在每次数据更新时,PRAID-6只计算部分校验信息,写入非易失性存储器P-Cache.在垃圾回收时,将部分校验信息与原校验信息合并,产生新的校验信息,写入固态硬盘.通过实验测试结果表明PRAID-6的响应时间比RAID-6减少了30%,比RAID-5减少了10%.垃圾回收开销比RAID-6减少了20%,比RAID-5减少了15%.

放电等离子烧结技术

放电等离子烧结(SPS)技术是一种快速、低温、节能和环保的材料制备新技术。综述了SPS在国内外的发展和应用,介绍了SPS技术的发展概况、原理、特点及在材料制备领域的应用,对SPS技术的发展前景进行了展望。

多节点分级网络RAID存储结构研究

Storage network is popular solution to constraint of server in storage field. As the Gibson's standards ,the performance of multi-level networked RAID based Cluster is almost same to the improved 2D-parity. Compared with other structure, it's easy to realize.