海量数据实时处理算法设计与分析
摘要
本论文针对海量数据的处理分析设计了相应的算法,主要是通过预处理、分布缓存和复用中间结果三种方法对MapReduce 算法进行优化处理.本文的实验部分会对房价方面的数据用hash 算法进行分析和处理.通过实验得出结论,该算法可以处理海量数据.
参考文献4
-
1John Gantz, David Reinsel .The 2011 Digital Universe study:Extracting Value from Chaos [J]. International Data Corporation(IDC), 2011.
-
2陈康,郑纬民.云计算:系统实例与研究现状[J].软件学报,2009,20(5):1337-1348. 被引量：1312
-
3D. Romano, Data Mining Leading Edge: Insurance&Banking,InProceedings of Knowledge Discovery and Data Mining, Unicorn,BrunelUniversity, 1997.
-
4刘军强,高建民,李言,连炜.基于逆向工程的点云数据预处理技术研究[J].现代制造工程,2005(7):73-75. 被引量：13
二级参考文献33
-
1Sims K. IBM introduces ready-to-use cloud computing collaboration services get clients started with cloud computing. 2007. http://www-03.ibm.com/press/us/en/pressrelease/22613.wss
-
2Boss G, Malladi P, Quan D, Legregni L, Hall H. Cloud computing. IBM White Paper, 2007. http://download.boulder.ibm.com/ ibmdl/pub/software/dw/wes/hipods/Cloud_computing_wp_final_8Oct.pdf
-
3Zhang YX, Zhou YZ. 4VP+: A novel meta OS approach for streaming programs in ubiquitous computing. In: Proc. of IEEE the 21st Int'l Conf. on Advanced Information Networking and Applications (AINA 2007). Los Alamitos: IEEE Computer Society, 2007. 394-403.
-
4Zhang YX, Zhou YZ. Transparent Computing: A new paradigm for pervasive computing. In: Ma JH, Jin H, Yang LT, Tsai JJP, eds. Proc. of the 3rd Int'l Conf. on Ubiquitous Intelligence and Computing (UIC 2006). Berlin, Heidelberg: Springer-Verlag, 2006. 1-11.
-
5Barroso LA, Dean J, Holzle U. Web search for a planet: The Google cluster architecture. IEEE Micro, 2003,23(2):22-28.
-
6Brin S, Page L. The anatomy of a large-scale hypertextual Web search engine. Computer Networks, 1998,30(1-7): 107-117.
-
7Ghemawat S, Gobioff H, Leung ST. The Google file system. In: Proc. of the 19th ACM Symp. on Operating Systems Principles. New York: ACM Press, 2003.29-43.
-
8Dean J, Ghemawat S. MapReduce: Simplified data processing on large clusters. In: Proc. of the 6th Symp. on Operating System Design and Implementation. Berkeley: USENIX Association, 2004. 137-150.
-
9Burrows M. The chubby lock service for loosely-coupled distributed systems. In: Proc. of the 7th USENIX Symp. on Operating Systems Design and Implementation. Berkeley: USENIX Association, 2006. 335-350.
-
10Chang F, Dean J, Ghemawat S, Hsieh WC, Wallach DA, Burrows M, Chandra T, Fikes A, Gruber RE. Bigtable: A distributed storage system for structured data. In: Proc. of the 7th USENIX Symp. on Operating Systems Design and Implementation. Berkeley: USENIX Association, 2006. 205-218.
共引文献1323
-
1查伟,孙燕琼,郑继平.基于云测试架构的FIVP解决方案[J].铁路技术创新,2021(S01):82-86.
-
2林少伟.人工智能法律主体资格实现路径:以商事主体为视角[J].中国政法大学学报,2021(3):165-177. 被引量：6
-
3胡祖林,肇杰.云计算下的网盘安全[J].计算机产品与流通,2020,0(1):164-164.
-
4张盛,任伟,王玉,黄金明,陈旭彤.基于Web的重力异常正演建模工具[J].地质论评,2023,69(S01):595-597.
-
5赵文韬.基于5G技术的黑龙江云计算产业发展[J].电子技术（上海）,2020,49(9):186-187.
-
6Longfei He,Mei Xue,Bin Gu.Internet-of-things enabled supply chain planning and coordination with big data services:Certain theoretic implications[J].Journal of Management Science and Engineering,2020,5(1):1-22. 被引量：6
-
7吴劲松,陈孚.云计算发展及应用研究[J].广西通信技术,2011(2):9-13. 被引量：5
-
8黄纬,温志萍,程初.云计算中基于K-均值聚类的虚拟机调度算法研究[J].南京理工大学学报,2013,37(6):807-812. 被引量：17
-
9孙凌宇,欧阳春娟,冷明,刘昌鑫,夏洁武.云计算与高等教育管理信息服务系统构建[J].山西财经大学学报,2012,34(S1). 被引量：9
-
10王荣荣.云计算技术基础上数字图书馆云服务平台的实现[J].河北北方学院学报（社会科学版）,2013,29(4):72-74. 被引量：2
-
1赵红梅,张阿红.算法设计与分析综述[J].科技信息,2010(35). 被引量：2
-
2房价报涨后[J].计算机应用文摘,2010(9):89-89.
-
3宋文.提高高级语言程序设计课程教学质量的思考[J].高等教育研究（成都）,1996,0(3):79-80.
-
4吴素萍.算法教学中的几点思考[J].电脑知识与技术,2008,0(12X):2799-2799.
-
5黄健.当前房地产市场大扫描[J].钱经,2008(9):40-41.
-
6陆红.房价大数据分析模型构建方法[J].数字技术与应用,2017,35(3):137-138. 被引量：2
-
7时寒冰.2009年,房地产业的洗牌之年[J].董事会,2009(2):99-99.
-
8佚名.Delphi中Appldle事件的巧用一例[J].中国计算机用户,1997(15):36-36.
-
9甄彤,范艳峰.基于Agent的分布式空间数据挖掘模型及实现[J].计算机科学,2004,31(10):96-97.
-
10声音/人物[J].数字商业时代,2009(16):15-15.
