期刊文献+

基于大数据的桥梁监测信息分类技术研究 被引量:7

下载PDF
导出
摘要 针对桥梁健康监测获取海量数据却无法实时精确地监测评估桥梁结构状态的困难性,本立足数据挖掘算法理论,在Hadoop平台下运用KNN文本分类算法对桥梁结构缩尺模型加速度数据进行分类分析,采用分布式文件系统HDFS对监测数据进行存储和访问,应用Map/Reduce并行计算框架对桥梁各环境参数进行计算,并据此判断监测点属于何种工况,实现了桥梁监测海量数据的存储、访问、分类以及桥梁结构健康状况的判别,通过实验室缩尺模型工程实例验证了理论的有效性。实验结果表明,与传统的串行分类算法相比,基于Hadoop平台的并行分类算法具有较好的扩展性,并取得了基于大数据理论的桥梁监测技术研究的革新。
出处 《科技创业月刊》 2015年第5期95-98,共4页 Journal of Entrepreneurship in Science & Technology
  • 相关文献

参考文献11

  • 1黄荷.大数据时代降临[J].党政论坛,2012(22):52-53. 被引量:8
  • 2李登荣.文本分类及其相关技术研究[D].复旦大学博士论文,2005.
  • 3Samovsky M, Kacur T. Cloud-based classification of text documents using the Gridgain platform [C]. Applied Computational Intelligence and lnfor- matics, 2012 (7).
  • 4Caruana G, Li M, Qi M. A MapRe- duce based parallel SVM for large scale spam filtering[C]. Fuzzy Systems and Knowledge Discovery, 2011 (4).
  • 5ViktorMayer-Schnberger.BigData[M].杭州:浙江人民出版社,2013(1).
  • 6[英]维克托·迈尔一舍恩伯格,肯尼思·库克耶著.大数据时代[M].北京:人民出版社.2012.
  • 7向小军,高阳,商琳,杨育彬.基于Hadoop平台的海量文本分类的并行化[J].计算机科学,2011,38(10):184-188. 被引量:35
  • 8[美]TomWhite,著.周敏奇,王晓玲,金澈清,钱卫宁译.HadOOp权威指南(第2版)[M].北京:清华大学出版社.2011.
  • 9万川梅,谢正兰.深入云计算:Hadoop应用开发实战详解[M].北京:中国铁道出版社,2013:1-59.
  • 10张宁,贾自艳,史忠植.使用KNN算法的文本分类[J].计算机工程,2005,31(8):171-172. 被引量:98

二级参考文献32

  • 1高洁,吉根林.文本分类技术研究[J].计算机应用研究,2004,21(7):28-30. 被引量:36
  • 2周涓,熊忠阳,张玉芳,任芳.基于最大最小距离法的多中心聚类算法[J].计算机应用,2006,26(6):1425-1427. 被引量:72
  • 3豆增发,王英强,王保保.一种基于信息增益的K-NN改进算法[J].电子科技,2006,19(12):52-56. 被引量:5
  • 4Dasarathy B V.Nearest Neighbor(NN) norms:NN pattern classification techniques[M].LasAlamitos, California : IEEE Computer Society Press, 1991.
  • 5Sebastiani F. Text Categorization[Z]. Encyclopedia of Database Technologies and Applications. 2005..683-687.
  • 6Joachims T. A Probabilistic Analysis of the Rocchio Algorithm with TF1DF for Text Categorization[C]//Proceedings of the Fourteenth International Conference on Machine Learning. Morgan Kaufmann Publishers Inc. San Francisco, CA, USA, 1997.
  • 7Yang Y. An Evaluation of Statistical Approaches to Text Categorization[J]. Journal of Information Retrieval, 1999, 1 (1/2) :67-88.
  • 8Rocchio J J Jr. Relevance Feedback in Information Retrieval [M]. Salton G, ed. The SMART Retrieval System: Experiments in Automatic Document Processing. Prentice-Hall, Inc. , Englewood Cliffs, New Jersey, 1971 : 313-323.
  • 9Tzeras K, Hartmann S. Automatic Indexing Based on Bayesian Inference Networks[C]//Proc. 16th ACM Int. SIGIR Conference. 1993: 22-34.
  • 10Masand B, Lino G, Waltz D. Classifying News Stories Using Memory Based Reasoning[C]//15th ACM SIGIR Conference. 1992:59-65.

共引文献169

同被引文献45

引证文献7

二级引证文献40

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部