基于Hadoop的大矩阵乘法处理方法

目前的矩阵乘法算法无法处理大规模和超大规模的矩阵,而随着MapReduce编程框架的提出,并行处理矩阵乘法成为解决大矩阵运算的主要手段。总结了矩阵乘法在MapReduce编程模型上的并行实现方法,并提出了实现高性能大矩阵乘法的策略———折中单个工作节点的计算量和需要网络传输的数据量。实验证明,并行实现算法在大矩阵上明显优于传统的单机算法,而且随着集群中节点数目的增多,并行算法会表现出更好的性能。

基于不同分类模型的基因芯片癌症诊断方法研究

基因芯片技术的发展为生物信息学带来了机遇,使在基因表达水平上进行癌症诊断成为可能。但基因芯片数据高维小样本的特征也使传统机器学习方法面临挑战。本文利用真实的基因表达数据,测试了目前主要的分类方法和降维方法在癌症诊断方面的效果,通过实验对比发现:基于线性核函数的支持向量机可以有效地分类肿瘤与非肿瘤的基因表达,从而为癌症诊断提供借鉴。

半导体生产废水处理的工程实例

针对集成电路芯片生产废水成分复杂、无机物含量高的特点,采用水解酸化-改良AAO-高效澄清池-V型滤池-臭氧BAC滤池-吸附滤池工艺进行处理。工程运行结果表明,在综合进水COD的质量浓度为300 mg/L,NH3-N的质量浓度为40 mg/L,氟化物的质量浓度为8 mg/L的情况下,出水COD的质量浓度为30-40 mg/L,NH3-N的质量浓度为0.2-2.0 mg/L,氟化物的质量浓度为1.0-1.2 mg/L,达到GB 3838—2002《地表水环境质量标准》中Ⅴ类标准。采用该工艺可满足大规模半导体芯片生产废水的处理要求。

稀土冶炼废水处理工程实例

针对稀土冶炼废水成分复杂、无机物含量高的特点,采用预处理-UF-RO-消毒处理工艺,UF-RO处理的浓水采用多级混凝沉淀-A^(2)O-过滤-消毒处理工艺。工程运行结果表明,在综合进水COD的质量浓度为120mg/L, NH_(3)-N的质量浓度为50 mg/L,总铬的质量浓度为0.8 mg/L的情况下,出水COD的质量浓度为30~50mg/L, NH_(3)-N的质量浓度为0.2~5.0 mg/L,总铬的质量浓度不超过0.1 mg/L,达到GB 18918—2002《城镇污水处理厂污染物排放标准》一级A标准。采用该工艺可满足大规模稀土冶炼废水的处理要求。

克拉维酸钾生产废水处理工程实例

针对克拉维酸钾生产废水成分复杂、污染物浓度高的特点,采用水解酸化-多级内循环厌氧反应罐(IC)-循环式活性污泥系统(CASS)-一级曝气生物滤池(BAF)-Fenton氧化-二级BAF的工艺路线。工程运行结果表明,在综合进水CODCr的质量浓度为8 000 mg/L、NH_3^-N的质量浓度为500 mg/L的情况下,出水CODCr的质量浓度为30~50 mg/L、NH3-N的质量浓度为1.2~5.0 mg/L,达到GB 18918—2002《城镇污水处理厂污染物排放标准》一级A标准。采用该工艺可满足大规模克拉维酸钾生产废水的处理要求。

基于项目层次相似性的推荐算法

针对协同过滤算法推荐效果依赖于相似度度量方法的问题,提出了一种基于项目层次结构相似度的推荐算法REHIS(recommendation hierarchical similarity)。首先利用关联规则挖掘和KNN(K nearest neighbor)算法完善项目层次结构,然后利用TopK算法计算项目之间的相似度,最后利用基于项目的协同过滤算法框架预测用户评分。为解决协同过滤算法扩展性差的问题,还把TopK算法推广到余弦距离和皮尔逊相关系数等常见的相似度度量方法。实验结果表明,与传统的协同过滤算法相比,REHIS能够获得更优的均方根误差,TopK算法可以减少最近邻项目的查找时间。