基于金蝶云苍穹平台的项目开发综合训练教学探索

分析金蝶云苍穹平台的特点,提出基于金蝶云苍穹平台的项目开发综合训练教学方案,介绍具体教学设计与实施过程,最后说明教学实践效果。

基于HBase的多分类逻辑回归算法研究

为解决在大数据环境下,用于训练多分类逻辑回归模型的数据集可能会超过执行计算的客户端内存的问题,提出了块批量梯度下降算法,用于计算回归模型的系数。将训练数据集存入HBase后,通过设置表扫描对象的起始行键参数,可取出大小合适的含训练样本及结果值的数据块;同时为避免客户端到服务端频繁的RPC调用,取出的数据块可进行多次迭代计算,以加快系数的收敛。当取出的数据块达到指定的迭代次数后,再按行键次序取出下一个数据块。如此循环,直到系数收敛或达到指定的循环控制阈值。多分类的逻辑回归问题可转换为二分类来解决,因此需要为每一个分类在训练数据表中设定结果值列,结合训练样本列簇,按块批量梯度下降算法得到每个分类的回归系数。实验结果表明得到的回归系数能准确地对测试样本进行分类。

应用WCF分布式框架实现移动数据同步

远程数据访问及合并复制同步方式存在数据安全性及不适合复杂网络环境的问题,而同步服务通过组件重构的方式实现数据同步,因此可以方便地将服务端同步组件和客户端同步组件分别部署。通过使用WCF封装服务端同步组件,可以使得服务端同步组件单独作为应用程序服务层为所有的客户端提供同步服务,从而解决了数据安全及复杂网络环境问题。可以自定义服务端同步适配器实现服务端和客户端之间的增量数据同步,利用同步服务冲突管理机制,又可以采用服务端优先或客户端优先方式解决数据冲突,从而给出一个完善的基于分布式框架的移动数据同步解决方案。

环境空气质量监测大数据存储模式研究

为解决传统的关系型数据库无法有效存储及查询海量空气质量监测数据的问题,设计了一个基于HBase的大数据存储模式。该模式以带时间戳的多版本形式存储空气质量监测物的实时数据,使用实时数据计算站点、城区的小时,日均值数据及评价后,将结果分别存储到对应的数据列中。通过设计包含地区编码、站点编码、时间信息维度的行健,将数据合理的分布在多个子区域及其包含的存储文件中,以便有效进行数据查询。实验结果表明该模式可以完全满足实时数据、小时均值数据及评价、日均值数据及评价的存储及业务逻辑的数据查询要求,从而证明了该存储模式的可行性。

Windows Phone数据访问技术研究

在移动互联网时代,必须有效解决智能终端设备如何访问关系数据库中的数据问题。Windows Phone给出的解决方案是,首先利用对象关系映射技术为关系数据库建立实体对象模型;然后使用REST风格的WCF数据服务封装实体对象上下文,Windows Azure可作为发布该服务的载体;最后遵循开放式数据协议的规范查询及操作数据。对相关技术进行了较深入的研究,并使用MVVM模式给出了一个具体的实例,论证了该方案的可行性。由于智能终端可以通过开放数据协议访问和操作部署在Windows Azure中的WCF数据服务,结果以XML的形式返回,从而使得Windows Phone数据访问的模式可以扩展到使用其它操作系统的智能终端平台,如Android、IOS等。

一个基于消息通知的工作流管理系统

介绍了一个基于消息通知的工作流管理系统,该工作流管理系统以消息通知机制为核心,以消息通知推动流程的运转.工作流模式定义及工作流引擎的设计都围绕消息通知机制进行.用任务表示流程中某个节点中所处理的表单实例,使得表单实例在各个节点的处理过程可以用任务状态表示,工作流引擎通过定时扫描正在处理的各任务状态,控制流程按设定的模式运行.

基于Internet的ASP.NET应用程序安全模型研究

提出了一个能解决基于Internet的ASP.NET应用程序安全问题的模型,对用户凭据安全及验证、基于角色的用户授权、安全数据通讯及受信子系统模型等问题作了较详细的描述.

时变维度层次版本控制方法研究

一般维度版本控制法可以很好地解决维度记录插入、删除、更新带来的时变问题,但对维度记录的主码改变、合并、划分、移动带来的时变问题却没有很好地解决。本文在参考一般维度版本控制方法的基础上,提出了一种层次维度版本控制方法,可以较好地解决由于主码改变、合并、划分、移动而带来的时变问题。

基于指标体系的决策支持模型研究

讨论了构成指标体系的关系结构,在说明指标、分组、阶码的基础上,重点描述了实用指标的形成过程.说明了指标体系多维数据集中的共享维度和事实数据表,最后对基于指标体系的决策支持模型作了分析.利用实用指标、时间、地区维度构成的多维数据集,可以方便的存储各种指标数据,并可以方便的进行时间序列数据抽取,从而为决策提供直观、有效的数据.由于指标是一种抽象的统计数据,所以基于指标体系的决策支持模型可以广泛的用于政府各职能部门及银行、电力等行业.

基于数据仓库的指标体系研究

政府及行业一般用报表的方式收集数据,报表中的各个数据项就是指标,不同的政府部门、行业所需要的指标的个数、种类是不一样的。指标体系用一种统一的方式来描述指标结构,因此可以为不同的应用生成不同的指标。以报表方式收集的指标数据往往是海量的,并且与时间密切相关,因此将指标数据存放在数据仓库中是合理的。数据仓库中存储的海量指标数据又为OLAP分析及进一步的数据挖掘奠定了基础。文中讨论构成指标体系的关系结构,描述了实用指标的形成过程,说明了指标体系多维数据集中的共享维度和事实数据表,最后给出了基于数据仓库的指标体系的应用。

空气质量实时监测系统的内存泄漏

空气质量实时监测系统要求每5 min从数据库中取出监测数据,并将数据动态显示在Google地图标记的信息窗口中.直接使用封装谷歌地图的控件及在脚本中定义局部谷歌地图实例对象,都会发生内存泄漏,原因是脚本语言没有提供回收对象实例的方法,所有局部对象实例的回收都由系统内置的垃圾回收机制自动完成.而垃圾回收机制何时运行,完全由操作系统决定,程序无法控制.提出将地图对象及相关的标记、信息窗体对象全局化定义,使得相关对象只定义及实例化一次,避免实例对象的重复定义,解决了系统内存的泄漏问题.

空气质量监测大数据区间的统计问题

为降低客户端和服务端之间的远程过程调用(RPC)通讯,提高对存储空气质量监测数据的HBase表的区间统计效率,提出了一种基于协处理器的大数据区间统计方法。使用终端协处理器可以将区间统计过程放在服务端运行,通过特定的协议将区间统计所需的参数从客户端传递到服务端,协处理器调用结束后,将结果返回到客户端,客户端对返回的消息进行处理汇总,最终得到区间统计结果。实验证明,使用终端协处理器进行空气质量监测数据区间统计较使用客户端扫描方式至少快一个数量级,极大地提高了统计效率。

面向工程教育认证的计算机专业课程体系建设

课程教学是培养学生解决复杂工程问题能力的重要手段,符合要求的课程体系是通过工程教育认证的基础。本文根据培养目标、毕业要求、课程体系三者之间的支撑关系,阐述了计算机科学与技术专业课程体系的构建及持续改进过程,并进行了实施效果分析。实践结果表明,新构建的课程体系能够有效地支撑毕业要求及培养目标的达成。

最大利润项集选择问题研究

最大利润项集选择是关联规则的一个具体应用。频繁项集可以反映出事务中商品项的销售是相互关联的,若从商品项集合中去掉与其他项有强关联的项,则必然会导致商品销售关联性的变化,从而导致销售利润的损失。丢失规则的提出可以量化这种利润损失的计算,为保证利润最大化,就必须对保留项集进行选择。最大利润项集选择问题是一个典型的NP难度问题,可以利用已知的二次规划NP完全问题来解决。

一个用于SaaS平台的可扩展数据模型

使用SaaS构建业务逻辑的租赁用户一般对数据有各自特定的需求,这就要求支持SaaS的数据模型必须是可以扩展的。针对现有的扩展数据模型不能解决数据类型共享及数据模型完全还原的问题,提出了一个可扩展的数据模型可以较好的解决这两个问题。多个不同的数据模型共享使用数据类型表,可以简化扩展数据模型的设计,完全还原的数据模型以强类型数据集的方式返回到业务逻辑层,方便编程及对数据类型进行验证。将租赁用户特定数据模型转换为可扩展模型的操作需要较复杂的程序逻辑保证,这也是使用可扩展数据模型必须付出的代价。

消除规范关系连接冗余的二次排序算法研究

使用MapReduce框架对规范的一对多关系实体进行连接操作时,一方实体的各个属性会在连接的结果中产生大量冗余.通过对二次排序算法进行优化,重新定义Map阶段的分区过程、Shuffle阶段的排序及分组过程,使得Map阶段的输出为包含一方实体属性值和多方实体排序值的组合键及包含多方实体属性值的集合.Reduce阶段将组合键进行分解,提取一方实体的主码作为HBase表的行健,并将组合键中一方实体的各个属性值及多方实体属性值集合分别写入HBase表中对应的列,从而既实现了连接的语义,又消除了冗余.实验证明,优化后的算法可以消除一方实体属性值在连接结果中的冗余,提高了对连接结果的查询效率.

基于SingalR的Web实时应用程序框架设计

针对传统Web实时应用程序实现技术的不足,构建基于SingalR的Web实时应用程序框架。该框架能处理客户端单向数据请求、客户端业务逻辑执行或改变应用程序状态后通知到其它连接的客户端及主动将更新数据定时推送到所有连接客户端或特定客户端这3种场景。客户端通过由SingalR生成的本地Hub代理类调用服务端方法,结果通过SingalR路由上下文返回到客户端,服务端通过SingalR路由上下文以广播的方式调用客户端代码,实现服务端、客户端之间的全双工通讯。实验结果表明,该框架可以满足Web实时应用程序的业务需求。

Spark集群中还贷问题的逻辑回归模型研究

在Spark集群环境下,通过Sparklyr调用MLib中的并行逻辑回归算法对大规模抵押贷款数据的训练集进行监督学习,使用R语言建立一个预测客户是否会如期归还贷款的逻辑回归分类模型。为了研究该模型的可信性以及获取效率,本文补充了伪判定系数、分类评价指标、测试集性能几个指标对模型可信性进行评价,并判定了模型的可信性。在获得了可信模型的基础上,实验结果表明:当数据量增加到一定阈值后,在集群环境下使用并行的算法获得逻辑回归分类模型的速度要优于对应的串行算法。

一种改进的时变维度版本控制方法

本文针对一般时变维度版本控制方法的不足,提出了一种改进的时变维度版本控制方法。改进后的时变维度版本控制方法可以利用星型模型方便的形成当前多维数据集和历史多维数据集,从而提高对当前数据的查询效率及正确反映维度记录的历史数据。

基于MapReduce的支持向量机参数选择研究

针对在分布式Hadoop集群环境下对支持向量机进行最优分类模型参数选择的问题,提出一种基于MapReduce框架的最优分类模型参数选择算法。该算法能以串行或单个MapReduce作业这两种方式完成最优模型参数的选择,在Map阶段读取存储在Hadoop分布式文件系统中的参数文件,并为每组参数生成具有不同键值的中间结果,以保证在Reduce阶段,每个并行执行的任务仅对一组参数进行交叉验证。实验结果表明,在集群内存资源合理消耗的前提下,为粗粒度最优参数搜索设置适当的Reduce数量,单个MapReduce作业方式相比于串行MapReduce作业方式算法运行效率至少提升了1.7倍,显著减少最优模型参数的获取时间。