Python爬虫技术在水泥厂数据采集中的应用被引量：1

Application of Python crawler technology in data acquisition of cement plant

下载PDF

导出

摘要介绍了基于Python语言的Scrapy爬虫技术在水泥厂数据采集中的应用。针对水泥厂设备众多、通讯协议不同、数据采集难度大等问题,采用一种带多类通讯协议的主动性网关,并提供HTTP接口数据服务,上位机采用基于Python语言的Scrapy爬虫技术获取设备数据信息。这种解决方法实施方便,软件开发周期短,提高了数据采集效率。

作者孟祥伟 MENG Xiangwei

机构地区中建材(合肥)粉体科技装备有限公司

出处《水泥》 CAS 2021年第12期66-68,共3页 Cement

关键词 Scrapy爬虫数据采集网关 HTTP接口

分类号 TQ172.6 [化学工程—水泥工业] TP393.092 [自动化与计算机技术—计算机应用技术]

引文网络
相关文献

参考文献2

1钟鸣泉,黄学武,郑华耀.基于ARM微处理器的多串口多协议网关设备设计[J].上海海事大学学报,2008,29(1):62-66. 被引量：6
2孙艺乘,张建敏.大数据数字媒体时代网络爬虫技术下的精准招商[J].贵州大学学报（自然科学版）,2017,34(2):80-84. 被引量：9

二级参考文献9

1许文,都云程,李渝勤,施水才.一种通用HTML网页主题信息提取方法[J].现代图书情报技术,2007(1):40-43. 被引量：11
2ATMEL Corporation. AT91R40008. DataSheet[K]. 2002.
3EXAR Corporation. ST16C654. DataSheet[K]. 2003.
4BRUCE E.Thinking in C++[M].刘宗田,译.北京:机械工业出版社,2000.
5刘金红,陆余良.主题网络爬虫研究综述[J].计算机应用研究,2007,24(10):26-29. 被引量：131
6金涛.网络爬虫在网页信息提取中的应用研究[J].现代计算机,2012,18(1):16-18. 被引量：11
7王树良,丁刚毅,钟鸣.大数据下的空间数据挖掘思考[J].中国电子科学研究院学报,2013,8(1):8-17. 被引量：93
8宋亚奇,周国亮,朱永利.智能电网大数据处理技术现状与挑战[J].电网技术,2013,37(4):927-935. 被引量：538
9魏中贺,李少波.基于云制造的数据挖掘研究[J].贵州大学学报（自然科学版）,2015,32(1):75-80. 被引量：4

共引文献13

1李大力.基于CAN总线通信中多协议转换器设计[J].计算机技术与发展,2011,21(9):124-127. 被引量：2
2黄晓中.驾驶室航行值班报警系统的设计[J].上海海事大学学报,2012,33(1):45-50. 被引量：3
3徐彦军,温宗周.基于串口设备的嵌入式Web服务器系统[J].计算机系统应用,2012,21(10):22-26. 被引量：3
4郑华耀,沈苏海.计算机技术和船舶自动化机舱探索[J].中国造船,2013,54(2):178-186. 被引量：5
5唐磊,赵江滨,马东芝.船舶电子设备串口数据的软件共享方法[J].交通信息与安全,2014,32(1):97-99.
6张即帅.基于爬虫技术的校园网络热点话题提取分类研究[J].自动化与仪器仪表,2018,0(3):90-92. 被引量：2
7盛逍遥,吴友邦,王翔,李丽.智能推荐算法在规国房系统中的应用[J].天津科技,2018,45(9):73-76.
8张喜红,王玉香.基于Scrapy的中药材网络信息采集方法研究[J].江汉大学学报（自然科学版）,2018,46(6):522-527. 被引量：2
9逄菲.基于Python的分布式网络爬虫系统的设计与实现[J].电子技术与软件工程,2018(23):6-6. 被引量：11
10彭芳.刍议大数据时代网络爬虫技术在商业银行中的应用[J].智能城市,2019,5(23):26-27. 被引量：1

同被引文献12

1余鸽,娄乐,徐方忠.抑郁障碍患者工作记忆损害研究[J].预防医学,2021,33(7):675-678. 被引量：3
2研究称重复性工作者神经容易受损[J].科技中国,2005(12):49-49. 被引量：1
3孙清廉.谨防重复性工作的危害[J].健康,1997,0(2):17-17. 被引量：1
4许金萍.基于SQL数据库的WinCC自定义报表的设计与实现[J].工业控制计算机,2016,29(12):14-15. 被引量：5
5于莉莉.采油与地面工程运行管理系统(A5数据库)的几点认识[J].化学工程与装备,2017(5):48-49. 被引量：5
6王晓冬.采油与地面工程运行管理系统商业智能体系的建设及应用[J].油气田地面工程,2019,38(5):96-100. 被引量：3
7魏刚,于忠涛,和鹏飞,袁洪水,李明明,袁则名.钻完井动静态数据集成应用技术研究与应用[J].石油工业技术监督,2020,36(5):53-55. 被引量：5
8贺明庆.注入站控制系统基于数据库的报表解决方案研究[J].中国设备工程,2020(13):224-225. 被引量：2
9邓启志,王伟琦,王博.基于实时数据库数据的一线场站报表应用系统设计与实现[J].中国信息化,2021(1):60-62. 被引量：2
10龙香妤.基于网络爬虫技术的数据抓取程序的设计[J].技术与市场,2021,28(10):41-43. 被引量：4

引证文献1

1李惠.油田措施方案数据半自动采集技术[J].化学工程与装备,2023(3):60-64.

1沈小其,何勇.基于ARM和FreeRTOS的剑杆织机主控系统设计[J].制造业自动化,2021,43(12):70-73. 被引量：6

水泥

2021年第12期

浏览历史

内容加载中请稍等...

Python爬虫技术在水泥厂数据采集中的应用被引量：1

参考文献2

二级参考文献9

共引文献13

同被引文献12

引证文献1

相关作者

相关机构

相关主题

浏览历史

Python爬虫技术在水泥厂数据采集中的应用 被引量：1

参考文献2

二级参考文献9

共引文献13

同被引文献12

引证文献1

相关作者

相关机构

相关主题

浏览历史

Python爬虫技术在水泥厂数据采集中的应用被引量：1