基于Python的网络爬取

随着信息数据的规模急剧膨胀,人们对数据的依赖性也愈来愈强。利用网络爬虫可以从海量的数据中去找到自己需要的数据,通过对数据的整理和分析从而获得有用的信息。提出了一种利用网络爬虫技术来获取网络中的新冠病毒数据,其方法:(1)利用浏览器调试工具分析URL获取接口地址;(2)使用requests进行数据的采集;(3)把采集的数据存储到表格当中;(4)对存储的数据进行分析并且可视化。

基于Python的网络爬虫设计与实现

科技时代的进步,互联网中存在着大量的数据,采集有价值的数据进行分析是大数据时代最重要的部分。通过爬虫程序获取数据是一个快速有效的方式。介绍了Python爬虫爬取网络中不同数据,以及如何应对一些反爬虫技术。

一种基于C8051F340的液位控制系统设计

本文主要介绍了一种基于C8051F340的液位实时控制系统。通过这个系统我们不仅能进行进程监测,也能通过无线发射模块进行远程监控。同时采用增量式PID控制算法对液位进行智能控制。本系统能实现了实时控制与无线传输的结合,实现了远程控制功能,具有广阔的推广应用前景。本文介绍了该系统电路组成和设计原理。

基于Rest架构的高校运维平台设计与实现

随着移动互联网的快速发展,越来越多的系统开始支持移动设备访问,而传统高校运维平台只是单一网站,严重缺乏对移动设备的支持。通过对高校运维系统的需求分析,提出一种基于Rest架构的高校运维平台,该平台支持网站、安卓、ios等多种前端接入,并基于Spring Boot框架实现。经功能测试和性能测试证明该平台具备较强的稳定性和支持较高的并发。

基于安卓平台的高校运维系统设计与实现

随着移动互联网的快速发展,越来越多的系统开始支持移动设备访问,而传统高校运维系统只是单一网站,严重缺乏对移动设备的支持。通过对高校运维系统的需求分析,提出一种基于安卓平台的高校运维系统,并基于MVP架构实现。经相关功能测试和性能测试证明该系统能够稳定运行且能承受较大的压力。

结合评分习惯加权的稀疏矩阵插值推荐技术

插值估计可缓解推荐系统的稀疏问题,但其效果会影响预测性能。以logistic用户习惯(habit)评分加权改进Jaccard(HabJac)相似度量,并通过K近邻获得插补评分。进而,通过融合正则化奇异值分解(RSVD)技术提出了新的HISVD推荐算法,并获得最终预测。用户的习惯评分被定义为其出现频次最高的评分,并且logistic权值同评分与习惯评分之间的欧氏距离正相关。在四个现实数据集上的实验结果表明:a)HISVD在不同数据集上,最优情况下的参数比较稳定;b)HISVD在MAE和RSME指标上均超过了主流算法。

基于安卓的乡村旅游平台设计研究

无污染,纯绿色的乡村边远地区的旅游目前缺乏有效的宣传途径。针对该问题,从旅游者的角度,设计了基于安卓手机的乡村旅游平台。描述了该系统的设计架构,技术特点。通过该平台,旅游者可以了解乡村旅游景点的吃住行等信息。

智慧乡村旅游公共服务平台的设计研究

人们的生活的随着互联联网的快速发展,也在发生在翻天覆地的变化。乡村旅游加互联网智慧旅游平台可以给人们提供更方便快捷的乡村旅游新体验。如何构建智慧乡村旅游平台?从旅游者和乡村旅游经营者的角度,设计了智慧乡村旅游平台。描述了该系统的设计架构,技术特点。旅游者通过该平台可以进行乡村旅游的吃住行,乡村旅游经营者可以在该平台发布旅游的相关信息。

基于html5的机器实时监控系统设计与实现

实时数据的采集和监控运用于很多领域。目前市面上的监控系统都需要用户在电脑或者手机上面安装特定软件。为了解决在多平台上面进行数据的实时采集和监控,采用html5技术实现了在工业生产当中对我们的机器设备进行实时数据监控。采用模块化的思想,对系统的架构和功能给出了具体的实现方法。测试结果得出,无论在手机还是电脑上面都可以直观的进行实时监控和控制,具有良好的可视化效果。

基于SDN的Hadoop数据中心网DECMP方法

提出一种基于软件定义网络(software defined network,SDN)的Hadoop数据中心网动态等价成本多路径路由(dynamic equal-cost multipath routing,DECMP)方法.所提方法由3个模块组成:链路监控模块、Hadoop监视器引擎模块、基于软件定义网络DECMP的调度和路由模块.在DECMP调度和路由模块中提出多路径Dijkstra路径查找算法以提供具有相同最小权重的多个路径.然后,DECMP调度和路由模块根据网络资源需求以及数量和大小,来获得数据中心网络中每个流的有效带宽利用率,为Hadoop Map Reduce shuffle阶段动态分配有效路径,提高数据中心网络路由性能.实验结果表示,与其他现有方法比较,本文DECMP方法在链路利用率和吞吐量方面都有所提升.

多元时序上状态转移模式的三支漂移检测

多元时序数据上的无监督模式漂移检测是机器学习领域的一个研究热点。然而,对模式及其漂移现象的定义十分灵活,使得该任务的难度较高。受“三分而治”思想启发,文中提出了一种基于FUP-STAP增量挖掘的、针对带通配符区间的状态转移模式的三支漂移检测算法(Three-Way Drift Detection Method for State Transition pAttern with Periodic Wildcard Gaps,3WDD-STAP),它由状态转移模式(STAP)的增量算法改进而来。在不使用额外参数的情况下,3WDD-STAP可同时获得频繁的以及发生漂移的STAP。根据增量前后的支持度变化情况,模式漂移被定义为3类:I类漂移表示本来频繁的STAP在增量后变得不频繁,需扫描增量数据集;II类漂移表示本来不频繁的STAP在增量后变得频繁,需扫描原始数据集;III类漂移表示STAP在增量后维持了频繁或者不频繁,视为正常,不扫描数据集。在空气质量与石油工程设备监控两个真实数据上的实验结果表明:1)α和β的值越大,两类漂移模式的数量越少,反之亦然;2)I类漂移的STAP在不同数据集上服从不同分布;3)所得STAP模式及其漂移现象均有很强的可读性。

基于JADE算法定位技术的研究

文中重点对在TD-SCDMA系统中,采用JADE-MUSIC算法联合提取TOA和AOA定位参数,实现单基站定位的技术进行了分析和研究。通过上行同步偏移参量获得TOA值,通过智能天线的DOA估计获得AOA值,实现TOA与AOA相结合的单站定位是现在比较盛行的方法。但这种方法受限于同步偏移参量的步进。针对此,对基于经典JADE-MUSIC谱估计算法的联合AOA和TOA参数提取的单站定位技术进行区域划分进行一定的研究。