基于Scrapy的深层网络爬虫研究

随着大数据时代的到来,网络爬虫已经成为很普遍的技术,无论是做项目、科研、创业或者写论文,获得大量数据并且对数据进行分析都是必不可少的。但是目前存在深层网(Deep Web)的数据量是表层网(Surface Web)数据量的数百倍,乃至上千倍。传统的爬虫对表层网数据进行获取已经无法满足我们的需求,同时因为深层网数据通常没有各种复杂的标签结构等,使得其本身更加清晰,干净,故而我们深入研究深层网络爬虫是非常有必要的。本文将会通过Python的Scrapy爬虫框架,对深层网络爬虫进行研究,通过分析深层网络特点制定合适的Scrapy爬虫策略,最后通过实际操作,对指定的爬虫策略进行验证。

基于Petri网的航班延误问题分析

航班延误是指航班降落时间(航班实际到港挡轮挡时间)比计划降落时间(航班时刻表上的时间)延迟15分钟以上或航班取消的情况。航班延误问题是各个国家、各个航空公司高度重视的事情,因为它不仅仅会影响用户的出行安排、出行心情,也会影响到航空公司的效率,甚至是一个国家的名声。笔者将通过对数据的基础采集、系统整理进行层次分析,搭建了有色Petri模型以及时间Petri网模型,通过链式分析、波及分析等,制作出模型优化解决方案,综合性分析我国航班延误问题是否在全球范围内最严重以及造成航班延误的原因,最后提出相关的改进措施。

基于因子分析法对长吉珲高铁带动旅游经济发展进行研究

影响游客选择出游目的地的因素,包括交通因素、食宿因素、消费、娱乐设施、亲友意见、空间距离、旅游氛围、景观口碑8个。通过对每个因素评分和Matlab计算综合评定KMO数值为0.65,大于0.5,说明各指标间具备相关性,适合使用因子分析法进行分析,进而使用因子分析法对长吉珲高铁带动旅游经济发展进行相关研究。

基于遗传算法的教室资源合理分配研究

教室资源的高效利用提高了教学资源的利用率和教师的授课效率。随着"走班制"教学模式的兴起,传统的以班级为单位的固定式教学方式已经落伍,人工安排教室和课程已经无法满足新教学模式的需要。针对教室资源的分配问题,提出了基于遗传算法的教室分配方法。从学生因素、老师因素、教室因素、时间因素以及课程因素等约束上入手,在特定条件下对不同的目标进行优化组合,合理地协调硬约束条件和软约束条件。

对GUI设计原则的探究与浅析

对于GUI这门新兴设计领域来说,我们的理论基础和设计经验还并不完善和丰富。本文以GUI的若干设计原则为主线,阐明在设计实践中需要我们认真思考的几个重要方面。从而提高我们对GUI的理解和认识;提高我们在GUI设计中的实践能力。