期刊文献+
共找到169篇文章
< 1 2 9 >
每页显示 20 50 100
Dynamic Analyses of PrP and PrP^(Sc) in Brain Tissues of Golden Hamsters Infected With Scrapie Strain 263K Revealed Various PrP Forms 被引量:14
1
作者 JIAN-MEIGAO CHENGAO +7 位作者 JUNHAN XIAO-BOZHOU XIN-LIXIAO JINZHANG LANCHEN BAO-YUNZHANG TAOHONG XIAO-PINGDONG 《Biomedical and Environmental Sciences》 SCIE CAS CSCD 2004年第1期8-20,共13页
Objective To expatiate dynamic changes in hamsters infected with scrapie strain 263K, to observe the presence and aggravation of various forms of PrP and PrPSc during incubation period, and to probe primarily the rela... Objective To expatiate dynamic changes in hamsters infected with scrapie strain 263K, to observe the presence and aggravation of various forms of PrP and PrPSc during incubation period, and to probe primarily the relationship between the onset of clinic manifestations and the presence of different PrPSc forms. Methods Hamster-adapted scrapie strain 263K was intracerebrally inoculated into hamsters. Different forms of PrP and PrPSc were monitored dynamically by Western blot and immuno-histochemical assays. The presence of scrapie-associated fibril (SAF) was assayed by electron microscopy analysis (EM) and immune-golden EM. Results PrPSc was initially detected in the brain tissues of the animals in 20 days post-inoculation by immunohistochemistry and 40 days with Western blot. Quantitative evaluations revealed that the amounts of PrP and PrPSc in brain tissues increased along with the incubation. Several high and low molecular masses of PrP were seen in the brains of the long-life span infected animals. Deglycosylation assays identified that the truncated PrP in the infected brains showed similar glycosylation patterns as the full-length PrP. The presence of short fragments was seemed to relate with the onset of clinical conditions. Conclusion These results indicate that infectious agents exist and accumulate in central nerve system prior to the onset of the illness. Various molecular patterns of PrPSc may indwell in brain tissues during the infection. 展开更多
关键词 Transmissible spongiform encephalopathies (TSEs) PRION scrapie GLYCOSYLATION scrapie-associated fibril (SAF)
下载PDF
免疫组织化学方法检测牛海绵状脑病(BSE)和羊痒病(Scrapie)
2
作者 刘雨田 吴晓东 +1 位作者 邹艳丽 王志亮 《中国动物检疫》 CAS 2004年第3期20-23,共4页
按照本实验室建立的牛海绵状脑病免疫组织化学方法 ,将自制单克隆抗体4C11与PK酶消化处理的牛海绵状脑病阳性切片和羊痒病阳性切片进行反应 ,发现单抗4C11不仅能与牛海绵状脑病阳性切片发生强烈的免疫反应 ,而且也能与羊痒病阳性切片发... 按照本实验室建立的牛海绵状脑病免疫组织化学方法 ,将自制单克隆抗体4C11与PK酶消化处理的牛海绵状脑病阳性切片和羊痒病阳性切片进行反应 ,发现单抗4C11不仅能与牛海绵状脑病阳性切片发生强烈的免疫反应 ,而且也能与羊痒病阳性切片发生强烈的免疫反应。从阳性切片和阴性切片的实验来看 ,单克隆抗体4C11没有非特异性染色反应 ,并且也没有背景染色。用瑞士进口单抗6H4进行的对照实验获得了同样的结果。因此 ,可以用自制的单克隆抗体4C11替代昂贵的进口单抗6H4来监测我国的牛海绵状脑病和羊痒病。 展开更多
关键词 免疫组织 化学方法 牛海绵状脑病 BSE 羊痒病 scrapie 检测技术
下载PDF
Comparison Study on Clinical and Neuropathological Characteristics of Hamsters Inoculated With Scrapie Strain 263K in Different Challenging Pathways 被引量:7
3
作者 JINZHANG LANCHEN +10 位作者 BAO-YUNZHANG JUNHAN XIN-LIXIAO HAI-YANTIAN BIN-LINGLI CHENGAO JIAN-MEIGAO GUI-PINGMA CAI-MINXU YONGLIU XIAO-PINGDONG 《Biomedical and Environmental Sciences》 SCIE CAS CSCD 2004年第1期65-78,共14页
Objective To understand the infectious characteristics of a hamster-adapted scrapie strain 263K with five different routes of infection including intracerebral (i.e.), intraperitoneal (i.p.), intragastrical (i.g.), in... Objective To understand the infectious characteristics of a hamster-adapted scrapie strain 263K with five different routes of infection including intracerebral (i.e.), intraperitoneal (i.p.), intragastrical (i.g.), intracardiac and intramuscular (i.m.) approaches. Methods Hamsters were infected with crude- or fine-prepared brain extracts. The neuropathological changes, PrPSc deposits, and patterns of PK-resistant PrP were analyzed by HE stain, immunohistochemistry (IHC) assay and Western blot. Reactive gliosis and neuron loss were evaluated by glial fibrillary acidic protein (GFAP) and neuron specific enolase (NSE) specific IHC. Results The animals inoculated in i.m. and Lp. ways with crude PrPSc extracts showed clinical signs at the average incubation of 69.212.8 and 65.5±3.9 days. Inoculation in i.c. and intracardiac ways with fine PrPSc extracts (0.00035 g) caused similar, but relative long incubation of around 90 days. Only one out of eight hamsters challenged in i.g way with low dosage (0.01 g) became ill after a much longer incubation (185 d), while all animals (4/4) with high dosage (0.04 g) developed clinical signs 105 days postinfection. The most remarkable spongiform degeneration and PrPSc deposits were found in brain stem among the five challenge groups generally. The number of GFAP-positive astrocytes increased distinctly in brain stems in all infection groups, while the number of NSE-positive cells decreased significantly in cerebrum, except i.c. group. The patterns of PK-resistant PrP in brains were basically identical among the five infection routes. Conclusion Typical TSE could be induced in hamsters by inoculating strain 263K in the five infection ways. The incubation periods in bioassays depend on infective dosage, administrating pathway and preparation of PrPSc. The neuropathological changes and PrPSc deposits seem to be related with regions and inoculating pathways. 展开更多
关键词 Transmissible spongifonn encephalopathy scrapie Strain 263K PrP^(Sc) Bioassay NEUROPATHOLOGY Inoculating pathways
下载PDF
Treatment of Scrapie Pathogen 263K With Tetracycline Partially Abolishes Protease-resistant Activity in vitro and Reduces Infectivity in vivo 被引量:1
4
作者 YAN-JUN GUO JUN HAN +8 位作者 HAI-LAN YAO BAO-YUN ZHANG JIAN-MEI GAO JIN ZHANG XIN-LI XIAO XIAO-FAN WANG WEI-QIN ZHAO DE-XIN WANG XIAO-PING DONG 《Biomedical and Environmental Sciences》 SCIE CAS CSCD 2007年第3期198-202,共5页
Objective To study the possible effect of tetracycline on protease-resistant activity in vitro and infectivity in vivo of a scrapie strain 263K. Methods Scrapie pathogens were incubated with tetracycline at different ... Objective To study the possible effect of tetracycline on protease-resistant activity in vitro and infectivity in vivo of a scrapie strain 263K. Methods Scrapie pathogens were incubated with tetracycline at different concentrations for various periods of time and protease-resistant PrP signals were evaluated with proteinase K-treatment and Western blots. The preparations treated with tetracycline were intracerebrally inoculated into golden hamsters and typical TSE manifestations were noted. PrP^5c in brain tissues of the infected animals was detected by PrP specific Western blot assays. Results Protease-resistant PrP was significantly reduced in or removed from the preparations treated with tetracycline in a dose-dependant manner. Compared with the control group after incubated for 53.75±0.50 days, the preparations treated with 5 mmol/L and 20 mmol/L tetracycline prolonged the incubation time of 61.5±1.73 and 59.5±0.58 days (P〈0.05). Conclusion Treatment of scrapie pathogen 263K with tetracycline reduces or removes its protease-resistant activity in vitro. 展开更多
关键词 scrapie PRION TETRACYCLINE Protease-resistant activity Animal experiment
下载PDF
Establishment of the Method of Immunohistochemistry Assay for the Detection of Scrapie in Chinese Short-Tailed Han Sheep by Monoclonal Antibody
5
作者 ZHANG Yong-qiang WANG Zhi-liang +3 位作者 WU Xiao-dong LIU Yu-tian ZHANG Hai-tao BAO En-dong 《Agricultural Sciences in China》 CAS CSCD 2008年第12期1516-1523,共8页
The method of immunohistochemistry assay for the detection of scrapie in Chinese Short-tailed Han sheep was established using monoclonal antibody. Genomic DNA was isolated from Chinese Short-tailed Hart sheep blood. U... The method of immunohistochemistry assay for the detection of scrapie in Chinese Short-tailed Han sheep was established using monoclonal antibody. Genomic DNA was isolated from Chinese Short-tailed Hart sheep blood. Using the polymerase chain reaction technique, PrP27-30 gene sequence was amplified from Chinese Short-tailed Han sheep genomic DNA. By recombinant DNA technology, the recombinant protein of Chinese Short-tailed Han sheep PrP27-30 was obtained. Then, using standard methodology of myeloma cell fusion, a panel of monoclonal antibodies was generated. With mAbs, scrapie in Chinese Short-tailed Han sheep was detected by immunohistochemistry assay. The recombinant protein of Chinese Short-tailed Han sheep PrP27-30 was obtained and a panel of six hybridoma cell lines secreting specific antibodies to Chinese Short-tailed Han sheep PrP27-30 related to scrapie was obtained with one fusion between myeloma Sp2/0 and spleen ceils from mice immunized with the purified recombinant protein. Four hybridoma cell lines can be used in immunohistochemistry assay for the detection of scrapie in Chinese Short-tailed Han sheep. So that the special monoclonal antibody developed in author's institute can be used to detect PrP^sc of scrapie in Chinese Short-tailed Han sheep by immunohistochemistry in China. 展开更多
关键词 Chinese Short-tailed Han sheep PrP27-30 scrapie monoclonal antibody immunohistochemistry assay
下载PDF
基于Scrapy框架的互联网招聘信息可视化技术研究
6
作者 郑灿伟 贺丹 +3 位作者 罗嘉惠 李琼娜 潘泽松 钟颖棋 《科技与创新》 2024年第6期6-10,共5页
互联网技术的飞速发展给人们获取信息带来了便利,而爆炸式增长的数据也为信息分析带来了挑战。尤其是毕业生在面对海量招聘数据时,容易迷失在海量数据中,因此本文借助网络爬虫Scrapy框架从招聘网站爬取了大量招聘岗位数据,并通过数据预... 互联网技术的飞速发展给人们获取信息带来了便利,而爆炸式增长的数据也为信息分析带来了挑战。尤其是毕业生在面对海量招聘数据时,容易迷失在海量数据中,因此本文借助网络爬虫Scrapy框架从招聘网站爬取了大量招聘岗位数据,并通过数据预处理、数据分析、数据可视化等一系列操作实现招聘信息的智能化分析。一方面能够及时了解招聘岗位的详细需求情况,为高校毕业生求职指明方向;另一方面便于高校根据市场人才需求情况及时调整人才培养方案,为社会培养出符合市场需求的高质量人才。 展开更多
关键词 Scrapy框架 招聘信息 数据分析 可视化
下载PDF
Scrapy框架辅助下的Python爬虫系统研究
7
作者 吕新超 《电脑知识与技术》 2024年第7期49-52,56,共5页
为了解决传统网络爬虫在大型网站上提取信息效率不高的问题,研究引入了Scrapy框架作为Python网络爬虫的提取方法。以某图书网站为案例,文章深入分析了该网站的页面结构,编写了高效的爬虫文件源码,用于提取目标网站的关键信息,包括图书... 为了解决传统网络爬虫在大型网站上提取信息效率不高的问题,研究引入了Scrapy框架作为Python网络爬虫的提取方法。以某图书网站为案例,文章深入分析了该网站的页面结构,编写了高效的爬虫文件源码,用于提取目标网站的关键信息,包括图书名称、价格、定价、作者和销量排名等。研究结果表明,通过对主流网站的信息提取实验,在实际应用中展示了该方法取得了良好的效果,可以成功提出需要的信息,并根据提取出的图书价格和销量排名信息可以分析出价格与销量之间的关系,实现了对大型网站的信息提取任务。研究为爬虫技术在数据采集和分析领域的应用提供了有力的支持,为信息爬取与处理提供了新的解决方案。 展开更多
关键词 网络爬虫 Scrapy框架 PYTHON语言 数据采集
下载PDF
基于Python的房产信息网站数据采集策略分析
8
作者 张楠 《集成电路应用》 2024年第1期344-346,共3页
阐述Python数据采集和数据分析系统的设计与流程,应用Scrapy框架爬取二手房网站中的数据信息,进行处理后存入数据库中,结合不同房源的地区数据、地区均价、装修情况、房屋户型等基础条件,合理分析二手房市场的现状信息、房屋价格走向、... 阐述Python数据采集和数据分析系统的设计与流程,应用Scrapy框架爬取二手房网站中的数据信息,进行处理后存入数据库中,结合不同房源的地区数据、地区均价、装修情况、房屋户型等基础条件,合理分析二手房市场的现状信息、房屋价格走向、检索目标,将数据结果进行可视化展示。 展开更多
关键词 计算机技术 PYTHON Scrapy 数据分析 数据可视化
下载PDF
基于Scrapy框架的分布式网络爬虫系统设计
9
作者 何佳知 《电子产品世界》 2024年第6期31-34,共4页
为保证网络爬虫抓取效率和稳定性,通过应用Scrapy框架,完成对分布式网络爬虫系统的设计。首先,介绍网络爬虫工作原理、Scrapy框架等相关技术。其次,在设计系统架构和系统数据库的基础上,分别设计代理池服务、实体管道、网页判重、网页... 为保证网络爬虫抓取效率和稳定性,通过应用Scrapy框架,完成对分布式网络爬虫系统的设计。首先,介绍网络爬虫工作原理、Scrapy框架等相关技术。其次,在设计系统架构和系统数据库的基础上,分别设计代理池服务、实体管道、网页判重、网页下载等模块。最后,测试系统性能。结果显示,设计的系统具有网页抓取成功率高、运行效率高等特点,符合预期设计标准和要求,可以为相关人员提供有效的借鉴和参考。 展开更多
关键词 Scrapy框架 分布式 网络爬虫系统
下载PDF
基于SVM的动态网页爬取方法研究
10
作者 刘君良 栾永明 +1 位作者 赵建楠 任川 《信息与电脑》 2024年第4期185-187,共3页
文章提出一种基于支持向量机(Support Vector Machine,SVM)的动态网页识别方法,并结合Scrapy开源网络爬虫框架构建了动态网页的网络爬虫,实现了对动态网页的高效识别和内容抓取。以httpbin.org为测试网站,使用SVM模型对静态和动态网页... 文章提出一种基于支持向量机(Support Vector Machine,SVM)的动态网页识别方法,并结合Scrapy开源网络爬虫框架构建了动态网页的网络爬虫,实现了对动态网页的高效识别和内容抓取。以httpbin.org为测试网站,使用SVM模型对静态和动态网页进行分类,随后利用Scrapy框架动态调整抓取策略,验证了该方法的可行性和有效性。 展开更多
关键词 支持向量机(SVM) 动态网页识别 Scrapy框架 网络爬虫
下载PDF
基于直觉模糊推理的校园网络舆情信息监测研究
11
作者 常红林 《长江信息通信》 2024年第1期161-163,共3页
在开展网络舆情信息监测时,由于语言值具有犹豫属性,导致监测结果的可靠性较低,为此,提出基于直觉模糊推理的校园网络舆情信息监测研究。以Scrapy框架为基础,对校园网络平台中目标事件相关的网络舆情信息进行采集,在舆情信息监测阶段,... 在开展网络舆情信息监测时,由于语言值具有犹豫属性,导致监测结果的可靠性较低,为此,提出基于直觉模糊推理的校园网络舆情信息监测研究。以Scrapy框架为基础,对校园网络平台中目标事件相关的网络舆情信息进行采集,在舆情信息监测阶段,引入了直觉模糊推理机制,利用语言真值直觉模糊矩阵校园网络舆情信息模糊集进行简化处理后,利用语言值犹豫度参数计算各组数据的语言值相容度,将不受六元语言真值直觉模糊关系影响的语言值作为监测结果。在测试结果中,Precision达到了67.88%,F1值也达到了53.12%。 展开更多
关键词 直觉模糊推理 校园网络舆情 信息监测 Scrapy框架 语言真值直觉模糊矩阵 语言值犹豫度参数
下载PDF
基于流程控制的国际气象通信数据收集管理系统的设计与实现 被引量:1
12
作者 顾文静 王鹏 +1 位作者 戴晴 韩鑫强 《气象科技》 2023年第1期31-39,共9页
近年来,天气和气候业务对国外数据种类和时效要求不断提高,为解决大量数据的收集分发压力以及管理问题,设计并实现了基于流程控制的国际气象通信数据收集管理系统。系统应用数据收集器Logstash、Inotify监听机制与分析平台Kibana等技术... 近年来,天气和气候业务对国外数据种类和时效要求不断提高,为解决大量数据的收集分发压力以及管理问题,设计并实现了基于流程控制的国际气象通信数据收集管理系统。系统应用数据收集器Logstash、Inotify监听机制与分析平台Kibana等技术,支持多种通信协议,扩展Scrapy网络爬虫功能,通过流程控制、任务调度等方式实现大量数据快速高效收集和集成管理,有效提高数据并行处理能力和可扩展性,且设计了全流程监视,保障数据时效。系统已经上线提供服务,为业务/科研用户提供全球观测数据、国外卫星数据和数值预报产品等300余种,日收集数据量约2 TB。 展开更多
关键词 国际气象通信 国外数据 收集处理 调度管理 Scrapy
下载PDF
基于Scrapy框架的微博用户信息采集系统设计与实现
13
作者 朱烨行 赵宝莹 +2 位作者 张明杰 魏笑笑 卫昆 《现代信息科技》 2023年第24期41-44,48,共5页
为深入了解新浪微博用户的有关情况,从中找出最有影响力的微博用户,发现当前新浪微博中的意见领袖,需要知道每位微博用户迄今为止已发表的微博数、关注数和粉丝数等信息。为此使用Python语言设计实现了一个基于Scrapy框架的网络爬虫,该... 为深入了解新浪微博用户的有关情况,从中找出最有影响力的微博用户,发现当前新浪微博中的意见领袖,需要知道每位微博用户迄今为止已发表的微博数、关注数和粉丝数等信息。为此使用Python语言设计实现了一个基于Scrapy框架的网络爬虫,该爬虫根据输入的微博用户标识号ID抓取该用户目前已发表的微博数、关注数和粉丝数等信息。由于要连续多次访问微博网站,为了不让微博网站拒绝访问,在设计的爬虫中使用了用户代理和IP代理,其中IP代理选用隧道代理这一动态类型。实验结果表明下载七千多位微博用户的信息用时6小时22分钟。 展开更多
关键词 Scrapy 网络爬虫 微博 用户代理 IP代理
下载PDF
跨境电商新品榜数据自动跟踪研究与实现
14
作者 叶文全 《电大理工》 2023年第4期1-6,共6页
选品是跨境电商运营的一个痛点,采集跨境电商新品榜数据能够获取市场趋势和竞争情况,为选品提供数据依据,使用人工跟踪新品榜数据难度大、效率低。因此,文章提出一种程序化实现新品榜数据自动跟踪的解决方案,使用Scrapy实现新品榜数据... 选品是跨境电商运营的一个痛点,采集跨境电商新品榜数据能够获取市场趋势和竞争情况,为选品提供数据依据,使用人工跟踪新品榜数据难度大、效率低。因此,文章提出一种程序化实现新品榜数据自动跟踪的解决方案,使用Scrapy实现新品榜数据自动采集,使用存储过程和表值参数实现数据批量存储,使用Selenium实现商品商标自动化验证。该方案能够自动、高效获得新品榜数据,并将R (REGISTER)标商品自动清除,降低侵权风险,为跨境电商选品提供科学的数据依据,解决了跨境电商选品难的痛点。 展开更多
关键词 跨境电商 Scrapy SELENIUM 存储过程 表值参数
下载PDF
基于Python的三种网络爬虫技术研究 被引量:19
15
作者 杨健 陈伟 《软件工程》 2023年第2期24-27,19,共5页
针对网络爬虫技术选型较多,影响抓取效率和准确性的问题,对基于Python语言的Requests、Scrapy和Selenium三种主流爬虫技术进行分析。首先,安装配置开发环境,完成单线程和多线程爬虫软件开发;其次,爬取“站长之家”网站10页、100页、500... 针对网络爬虫技术选型较多,影响抓取效率和准确性的问题,对基于Python语言的Requests、Scrapy和Selenium三种主流爬虫技术进行分析。首先,安装配置开发环境,完成单线程和多线程爬虫软件开发;其次,爬取“站长之家”网站10页、100页、500页和1,000页简历数据,计算爬取时间;最后,通过爬取“中国裁判文书网”中的数据验证突破反爬虫机制的能力。实验结果表明,Requests爬虫使用一行代码就能实现数据爬取,开发定制灵活;Scrapy爬虫技术平均每页的抓取时间为0.02 s,并发性能突出;Selenium爬虫技术破解网站反爬虫机制能力强。因此,开发网络爬虫技术要综合考虑业务需求和技术特点,只有这样,才能达到最佳的数据抓取效果。 展开更多
关键词 网络爬虫 Requests技术 Scrapy技术 Selenium技术
下载PDF
基于Scrapy的新浪微博数据爬虫研究 被引量:4
16
作者 邓晓璐 姚松 《现代信息科技》 2023年第3期44-47,共4页
为了快速获取到新浪微博中的数据,在学习和分析当前爬虫技术的原理、核心模块和运行过程的基础上,文章将探索实现一个基于Scrapy框架的网络爬虫工具,以完成数据捕获等目标。该工具可根据一个或多个微博关键词搜索相关微博信息,并将搜索... 为了快速获取到新浪微博中的数据,在学习和分析当前爬虫技术的原理、核心模块和运行过程的基础上,文章将探索实现一个基于Scrapy框架的网络爬虫工具,以完成数据捕获等目标。该工具可根据一个或多个微博关键词搜索相关微博信息,并将搜索结果写入本地文件。实验结果显示:该爬虫拥有较好的加速比,可以快速地获取数据,并且这些数据具有一定的实时性和准确性。 展开更多
关键词 Scrapy 新浪微博 数据抓取
下载PDF
基于Python的网络爬虫技术研究 被引量:1
17
作者 崔欢欢 《信息记录材料》 2023年第6期172-174,共3页
随着网络中数据量的快速增长,网络爬虫作为搜索引擎中非常关键的一项技术,如何准确、高效地批量获取到更具价值的信息一直是其研究难点。针对此问题,本文基于Python语言的Scrapy框架展开了深入研究,在此基础上构建了通用的网络爬虫框架... 随着网络中数据量的快速增长,网络爬虫作为搜索引擎中非常关键的一项技术,如何准确、高效地批量获取到更具价值的信息一直是其研究难点。针对此问题,本文基于Python语言的Scrapy框架展开了深入研究,在此基础上构建了通用的网络爬虫框架,并针对其关键模块的功能实现进行了详细阐述,为相关研究提供了一定的参考价值。 展开更多
关键词 网络爬虫 PYTHON语言 Scrapy框架
下载PDF
基于Python技术的校园网搜索引擎设计 被引量:2
18
作者 闫丽丽 《信息与电脑》 2023年第17期183-185,共3页
传统搜索引擎模式存在新消息获取不及时、无法搜索通用引擎等问题,为此设计基于Python技术的校园网搜索引擎。首先分析搜索引擎的建立流程,其次分析Scrapy爬虫框架的工作原理,再次借助统一资源定位系统(Uniform Resource Locator,URL)... 传统搜索引擎模式存在新消息获取不及时、无法搜索通用引擎等问题,为此设计基于Python技术的校园网搜索引擎。首先分析搜索引擎的建立流程,其次分析Scrapy爬虫框架的工作原理,再次借助统一资源定位系统(Uniform Resource Locator,URL)去重策略优化校园信息查询流程,最后分析Scrapy爬虫框架爬虫防禁止策略。 展开更多
关键词 校园网搜索引擎 Python技术 Scrapy爬虫框架
下载PDF
基于大数据技术的数据分析处理平台设计与实现
19
作者 杨宇 刘昉 《电脑与电信》 2023年第1期81-85,共5页
针对目前大数据分析处理组件多而乱、平台技术架构复杂等问题,综合应用MapReduce、Hive、Sqoop等大数据技术,结合Scrapy数据采集框架,设计一种数据分析处理平台,利用SpringBoot及Vue技术搭建Web系统,实现处理结果的可视化。应用该平台... 针对目前大数据分析处理组件多而乱、平台技术架构复杂等问题,综合应用MapReduce、Hive、Sqoop等大数据技术,结合Scrapy数据采集框架,设计一种数据分析处理平台,利用SpringBoot及Vue技术搭建Web系统,实现处理结果的可视化。应用该平台对中国蔬菜网上的某一批发市场数据进行分析处理,得出年度蔬菜最高最低差价、年度价格排名前十的蔬菜品种等指标统计结果,分析结果对该批发市场的蔬菜投放及价格调控具有一定的指导意义。 展开更多
关键词 大数据 数据分析 Scrapy Hive HDFS Sqoop Springboot Vule 中国蔬菜网
下载PDF
基于线性回归的房产分析与展示系统设计
20
作者 毛晨希 董可扬 宋瑾钰 《软件导刊》 2023年第7期104-111,共8页
线上营销平台房源数据离散分布,帮助消费者正确搜集房源信息、预测房价、制定购房决策对于提高购房效率具有重要作用。以房地产线上营销平台的结构化房产信息为研究对象,首先采用网络爬虫技术Scrapy框架采集并处理小区信息、房源信息等... 线上营销平台房源数据离散分布,帮助消费者正确搜集房源信息、预测房价、制定购房决策对于提高购房效率具有重要作用。以房地产线上营销平台的结构化房产信息为研究对象,首先采用网络爬虫技术Scrapy框架采集并处理小区信息、房源信息等数据,选取其中具有代表性的特征,基于最小二乘法建立并优化多元线性回归模型,进行房产价格预测;然后开发一个基于Vue框架的Web端房产信息分析与展示系统,后端采用SpringBoot框架连接关系型数据库MySQL存储数据。最终实现了房源信息检索、比较及数据可视化功能,为购房者提供了房源价格展示、分析以及购房辅助决策服务。 展开更多
关键词 Scrapy 网络爬虫 最小二乘法 多元线性回归 房价预测
下载PDF
上一页 1 2 9 下一页 到第
使用帮助 返回顶部