基于Hadoop的SQL查询引擎性能研究

Apache Hadoop处理超大规模数据集有非常出色的表现,相比较于传统的数据仓库和关系型数据库有不少优势.为了让原有业务能够充分利用Hadoop的优势,SQL-on-Hadoop系统越来越受到工业界和学术界的关注.基于Hadoop的SQL查询引擎种类繁多,各有优势,其运算引擎主要包括三种:1传统的Map/Reduce引擎;2新兴的Spark引擎;3基于shared-nothing架构的MPP引擎.本文选取了其中最有代表性的三种SQL查询引擎—Hive、Spark SQL、Impala,并使用了一种类TPC-H的测试基准对它们的决策支持能力进行测试及评估.从实验结果来看,Impala和Spark SQL相对于传统的Hive都有较大的提高,其中Impala的部分查询比Hive快了10倍以上,并且Impala在完成查询所占用的集群资源也是最少的.然而若从稳定性、易用性、兼容性和性能等多个方面进行对比,并不存在各方面均最优的查询引擎,因此在构建基于Hadoop的数据仓库系统时,推荐采用Hive+Impala或者Hive+Spark SQL的混合架构.

增强现实环境下的人手自然交互

为了实现增强现实环境下的自然人手3D交互,提出一套针对不佩戴任何标记的人手的3D交互算法.该算法经过区域检测跟踪、特征点提取和3D稀疏结构重建等步骤获取人手的3D结构;在此基础上提出基于指尖、指向和手掌平面的人手3D交互模式;将从真实世界提取的3D交互信息对齐到虚拟世界,融合渲染并触发交互,实现自然人手3D交互.实验结果表明,该算法具有较高的沉浸感、精确度和易用性.

3-UPU型并联机构正向运动位置分析及工作空间研究

采用旋量理论,并结合多项式连续法和代数拓扑法,提出多项式连续拓扑解析法,求解正向运动位置解,可以避免工作空间解析式难表达和奇异现象;基于3-UPU型并联机构模型,进行运动特性分析,并运用三维软件Solid Works几何分析法选取尺度最优的并联机构模型和Simmechanics建模仿真法对其进行可视化工作空间研究,进而通过Matlab命令以数据化显示工作空间所有坐标点集。结果表明:尺寸优化后的3-UPU并联机构工作空间点集跳跃幅度小,运动更稳定。从而验证了该方法的有效性,可以为并联机构的结构优化设计和性能改进提供可视化依据,在工程应用上具有重要意义。

WinDbg必读

WinDbg是一个多用途的软件调试器，使用它不仅可以调试运行在Windows操作系统中的各种用户态程序（包括、NET程序和系统服务），而且可以调试运行在内核空间中的驱动程序和操作系统内核。除此之外，使用WinDbg还可以分析系统和应用程序崩溃所产生的故障转储文件（dump file），读写内存空间和I／O空间，察看CPU、芯片组和各种外部设备的状态（寄存器等），跟踪系统BIOS中的ACPI代码的执行过程，等等。另外，WinDbg的安装包比较小，目前版本大约15MB，安装过程简单迅速，对目标系统影响小，它的一个命令行版本（NTSD）已经预装在Windows系统之中可以随时使用，这些特征也使得WinDbg可以用在产品期调试和客户支持等不适合安装开发环境进行调试的情况。概而言之，WinDbg是解决Windows平台中的很多复杂软件问题的一个有效工具。

CPU对软件调试的支持

除了断点,还有一类常用的方法使CPU中断到调试器,这便是调试陷阱标志(debug trap flag)。可把各种陷阱标志想象成一面面“令旗”,当有陷阱标志置起时,CPU一旦检测到符合陷阱条件的事件发生,就会报告调试异常通知调试器。

权利移交——如何调试引导过程中的故障

上一期我们讨论了如何调试显示器点亮前的故障，在文章中我们提到，CPU复位（Reset）后，首先执行的是固化在主板上的POST程序（图1）。POST程序的核心任务是检测系统中的硬件设备，并对它们做基本的检查和初始化，并根据需要给它们分配系统资源（中断、内存和10空间等）。POST程序成功执行后，系统接下来要做的一个重要任务便是寻找和加载操作系统（OS）。对于不同的计算机系统和不同的使用需求，需要加载的操作系统可能位于不同的地点。最常见的情况是操作系统位于硬盘（Hard Disk）上，但是也可能位于光盘、优盘、软盘或者网络上。

步步为营——如何调试操作系统加载阶段的故障

上一期我们介绍了系统固件（BIOS）寻找不同类型的引导设备的方法，描述了固件向引导设备移交执行权的过程。对于从硬盘引导，首先接受控制权的是位于硬盘的0面0道0扇区中的主引导记录（Main Boot Record），简称MBR。MBR一共有512个字节，起始处为长度不超过446字节的代码，然后是64个字节长的分区表，最后两个字节固定是0x55和oxAA。

举步维艰——如何调试显示器点亮前的故障

显示器便是个人计算机（PC）系统中必不可少的输出设备，它是计算机向用户传递信息的首要媒介。用户也正是通过显示器来观察计算机所作的“工作”，与其交流。离开了显示器，我们便很难知道计算机在干什么。因为这个原因，在计算机系统启动的早期，要做的一个重要任务就是初始化显示系统以便可以通过显示器输出信息，俗称点亮显示器。

百废待兴——如何调试内核初始化阶段的故障

上期我们介绍了加载操作系统的过程。简单来说，负责加载操作系统的加载程序（OS Loader）会把系统内核模块、内核模块的依赖模块以及引导类型的驱动程序加载到内存中，并为内核开始执行准备好基本的执行环境。这些工作做好后，加载程序会把执行权移交给内核模块的入口函数，于是操作系统的内核模块就开始执行了。在今天的软件架构中，

使用调试器探索托管程序的执行起点

《软件调试》一书作者，英特尔亚太研发中心高级软件工程师。从事软件开发和研究十余年，对IA-32架构、操作系统内核、虚拟技术，尤其对软件调试有较深入研究。翻译（合译）作品包括《数据挖掘原理》、《机器学习》、《人工智能：复杂问题求解的结构和策略》等。

同步机制漫谈

更快是计算机世界的一个永恒主题。要做到更快有两个方向：一是提高串行执行的速度，二是并行计算（Parallel Computing）。并行计算又可分为同一CPU内部多个流水线间的并行、同一个系统内多个CPU间的并行、和同一个网络中多个计算机系统间的并行。

万马奔腾——如何调试登录会话建立阶段的故障

像Windows这样的操作系统通常都支持多个会话，每个会话有自己的输入输出设备和“桌面”（图1）。本期我们就描述一下建立会话的过程，并通过一个例子介绍如何调试这一阶段的典型问题。

拯救挂死的PowerPoint

这一期给大家讲一个真实的故事，起源是笔者亲身经历的一次应用程序挂死，主要内容是探寻挂死原因的求索过程，末尾是关于“谁之错”的思考。因为很想早点与大家分享这个故事，所以把上个月开始的托管系列中断一期（抱歉无法——征求读者同意）。

CPU对软件调试的支持

随着软件向大型化和复杂化方向发展，软件调试的难度也在不断增大。对于一些小的软件．我们可以不讲究什么方法，只要通过插入print语句等简单手段就可以解决问题了。但是如果是要调试一个比较大的系统，不讲究必要的调试技巧就会多花费很多时间甚至根本行不通了。

调试之剑

弗雷德里克·布鲁克斯（Frederick P．Brooks）博士在他那篇著名的《没有银弹——软件工程中的根本和次要问题》一文中，将软件项目比作可怕的人狼（werewolves），并大胆地预言十年内不会找到特别有效的银弹。该论文发表的时间是1986年，如今整整20年过去了，尽管不时有人惊呼找到了神奇的银弹，但是冷静的人们很快发现那只是美好的愿望。

基于数字签名和HSM的数据库篡改检测机制

随着电子商务、电子政务的迅速发展,越来越多的敏感数据被存储于数据库,数据库的安全面临着前所未有的挑战。提出了一种结合数字签名和硬件安全模块(Hardware Security Module,HSM)的数据库篡改检测机制。利用数字签名技术对数据库表进行横向和纵向两种签名,确保表内数据在遭到任意的修改后均能通过签名检测。同时利用HSM保护签名所用的私钥提供高效的签名运算能力,使其具有非常高的安全性和非常优越的性能。

VLPL-S在Knights Landing上的优化与性能评估

VLPL-S代码是基于Particle-in-Cell(PIC)算法开发的激光等离子体模拟程序,PIC算法是激光等离子模拟领域的常用主流算法之一。讲述了VLPL-S代码在Intel?新推出的Knights Landing平台上的早期移植及优化工作。通过采用在代码优化中常用的优化方法,例如访存优化、多线程优化、向量化,为VLPL-S代码实现了1.68倍的加速比。对于优化以后的VLPL-S代码,其在Knights Landing 7210P单节点上的性能是其在双路Xeon E5-2697v4节点上性能的1.53倍。还对比了不同优化方法在Knights Landing及Xeon平台上所获得的性能提升。结果表明,对于VLPL-S代码,以往CPU代码优化工作中常用的优化方法在新的Knights Landing平台中同样有效。

PCB插装生产线效率持续改善研究及应用

以某印制电路板装配企业(PCBA)插装线段(DIP)为研究对象,以作业测定为依据,在分析了停产原因及换线过程的基础上,提出了可行的持续改善方案来提高装配线的整体效率。达到了提升产能和瓶颈资源使用率的目的。

基于RTL验证的一种SoC系统性能检查创新方法

分析表明,在芯片设计中,不断增加的设计复杂性使得项目按时交付变得越来越困难,对芯片验证提出越来越高的要求,如果发现RTL漏洞太晚,或者修改这个漏洞的成本太高,会导致项目延误或芯片功能缺失。特别是SoC系统性能验证,需要花费更多的时间和精力。阐述基于一款集成了ARM和DSP核等IP的多媒体处理SoC芯片,对比了两种传统的系统性能检查方法:手动波形检查和使用VCS性能分析仪检查。但这两种方法都是手动检查,耗时和浪费宝贵的仿真资源,且不能自动生成数据分析报告。因此本文提出了一种创新的方法,构建了一套全新的系统性能检查环境,通过在AMBA/OCP NOC的每个端口上连接VIP,监测端口的数据传输并记录输出到性能分析板中,并使用脚本自动计算出系统性能数值。通过这种创新方法,能显著的加快SoC验证中的系统性能验证,并可以进行系统性能回归验证,在实际项目中取得了很好效果,且这种方法可以很容易地移植到其他SoC项目中。

嵌入式技术将深入日常生活

作为英特尔未来技术的重要领域，嵌入式技术一直是英特尔亚太研发中心的核心研究方向之一。嵌入式技术可以理解成是信息的取得和处理．而我们目前研究的最主要方向是随时进行的信息化处理。比如我们用计算机进行计算就是个比较明确的信息处理过程，