基于Selenium的Ajax异步加载页面的数据采集技术

互联网中的许多网站均为Ajax站点,而Ajax页面的原始源代码中并无通过异步加载方式呈现到页面中的数据,因此其数据的采集颇为困难。针对此问题,介绍一种基于Selenium的Ajax页面数据采集方案,并通过具体的实例说明其关键技术。

Ajax跨域通信解决异步加载及信息同步实操——以石家庄市文献资源平台为例

文献资源平台通常汇聚各类文献资源和服务,在解决统一登录时,多项服务需自动登录,且需确保信息同步。该文以石家庄市文献服务平台解决统一登录为例,提出通过循环验证Ajax登录方式,实现异步加载信息同步,并给出实操。

基于Web异步加载的产品结构树设计及其软件实现

针对装备制造业产品信息管理日益发展的需求,提出了一种基于W eb实现产品结构树异步加载的方法,并且实现了产品信息查询、产品数字模型信息的动态浏览等功能,为企业产品推广和信息技术的应用提供了有效的平台。

Web中的异步加载应用

在传统的Web应用中,通常使用同步加载技术进行页面元素的加载,然后再对页面进行渲染。在加载过程中由于网络延迟或存在大图片、大文件脚本等元素,会在客户端浏览时产生"网页停止响应"的假象,严重影响了用户的体验。通过使用异步模块加载机制,使得网页的渲染速度得到极大提高,明显增强了用户体验的亲切感。

AMD异步加载引擎设计与实现

采用一种改进的核心算法实现AMD异步加载引擎,该算法相对于传统的算法具有更强的可扩展性和可维护性。同时,基于AMD的核心算法框架实现其基本类库,并对AMD规范的利弊进行了分析。

Web异步加载技术分析及信息爬取策略实现

随着网页编写技术的不断发展与进步,异步加载技术得到了广泛的应用,如何高效完整的获取异步加载数据显得极为重要。以知乎话题和上交所股票信息为研究对象,利用爬取异步加载时的json请求地址和webdriver模拟网页浏览,设计爬取网页异步加载信息的框架和流程,实现异步加载信息的采集技术,对比采集的速率以及采集到内容的完整性。实验表明,可以使用基于json请求构建的信息爬取方法高效获取普通网页信息,使用基于webdriver的动态信息爬取方法完整的获取社交网站信息。

面向图计算系统的异步计算-加载模型

本文提出了全新的异步计算-加载模型,该模型是对核外(out-of-core)图计算系统的进一步优化.在异步计算-加载模型中,计算过程和I/O加载过程并行进行,较长的I/O加载时间能够"隐藏"数据计算时间,从用户程序角度来看,整体系统的运行时间几乎只有I/O加载时间,从而提高系统性能;此外,本文的异步模型能够根据不同的访问需求和硬件特性创建不同的线程组:计算线程和I/O加载线程.计算线程数量由服务器计算能力决定,I/O线程数量由服务器的I/O处理能力决定,这样既保证充分利用硬盘带宽又保证高效的计算;异步模型利用LIBAIO引擎的batch机制使得各线程的工作负载更加均衡.实验结果说明,与原先的同步模型相比,本文的模型能将整体系统性能提升高达一倍,并且有更好的带宽利用率和负载平衡性.

基于Ajax的移动端异步交互新闻系统开发

基于Ajax异步加载与交互技术构建的多媒体新闻系统以及响应式界面设计方法创建的新闻界面以实现网络新闻的异步交互以及移动端跨平台应用。提出了多媒体新闻资源库XML的异步加载方法,以及响应用户需求动态调取新闻多媒体资源的方法,并在此基础之上进行了实例开发与测试,实现了新闻数据的动态调用与异步更新,解决了实时调用大量新闻资源的难题。同时,基于新闻系统界面的响应式设计解决了设备屏幕自适应和浏览器兼容性问题,大大方便了网络新闻在移动端设备上广泛传播与互动。

一种海量地形影像数据的快速漫游算法

海量地形影像数据的快速浏览是GIS、虚拟现实、数字地球等领域应用的关键技术与难点之一。计算机硬件技术的发展特别是GPU技术的发展,使得当前LOD技术朝着硬件友好的方向发展;海量影像数据的不断出现,使得LOD技术越来越多地考虑纹理数据的显示效果。本文结合LOD和计算机硬件技术的发展现状,以高效展示影像数据为主要目的,采用数据分块、异步加载的数据组织和调度策略,通过纹理的分辨率来控制LOD的细化层次,采用添加skirt的方法来填充边界裂缝,实现了任意网格大小的海量地形影像数据的快速漫游。

基于Android的智能外卖点餐系统的设计与实现

为提升互联网餐饮行业的服务质量,更好地满足客户随时随地点餐的需求,基于Android Studio开发环境,采用C/S架构,以及Gradle和Genymotion等开发工具,开发出以智能手机为媒介的外卖点餐系统。最终实现了用户的菜单浏览、收藏、下单、用户中心以及摇一摇选餐等功能。测试结果表明,该系统具有良好的用户交互体验,操作简捷方便,具有广泛的使用前景。

油田应急救援可视化决策关键技术研究

以油田应急救援可视化决策系统为基础,对系统构建过程中遇到的各种关键技术进行分析,为油田应急救援可视化决策提供技术支持。

基于WebGL的城市三维场景可视化研究

针对网络环境下城市三维场景的传输与可视化需求，采用适合网络交换和渲染的三维模型数据结构glTF（gl Transmission Format），分析了基于glTF组织与构建三维场景的依据和方法。同时，通过异步加载、本地缓存、可见性剔除等技术，对场景数据进行高效调度与绘制。依据这些理论和技术，设计了充分考虑可视化效率的B／S模式系统服务架构，并基于WebGL开发了城市三维场景可视化平台，宴验表明平台能流畅地实现城市三维场景的绘制，可视化效果以及用户体验良好。

基于Android的移动教务系统设计与优化技术

该文介绍的移动教务系统基于Android平台构建,利用流行的Roboguice注入型框架、Image Loader图片加载技术、Async Http Client网络异步请求技术、JPush推送技术、Holo Graph图表绘制等技术进行开发,同时运用View Holder模式、Bitmap压缩等技术,对＂移动教务系统＂进行优化。

制造企业门户中产品信息的研究与应用

提出一种产品信息在制造企业门户中的加载和显示方式,分析其数据结构体系,设计数据库表结构,并且实现Web方式浏览产品装配图的功能,为企业的产品信息发布与推广和管理信息化的发展奠定了良好的技术基础。

高校网上跳蚤市场Android客户端设计与实现

针对传统的实体跳蚤市场不能满足高校学生实时、高效地进行二手交易的需求的问题,在Android平台下,设计并开发了校园二手交易应用软件"高校网上跳蚤市场"。该软件同时考虑了交易的可靠性、消息发布与查找的实时性以及查找物品的高效性,采用了大学生学号信息实名注册及物品分类发布与查找的机制。同时,软件中的数据渲染采用了异步加载的方式,而且通过定义接口和抽象类来管理服务器与客户端之间的通讯。实际应用情况表明,与实体跳蚤市场和现有的网上跳蚤市场相比,该软件不仅使高校学生的二手物品交易更便捷,而且解决了网上二手交易的可信度及安全问题。

基于Leap Motion的虚拟翻书系统设计与实现

随着计算机技术的发展,非接触式的交互越来越受到人们的重视。为了提高学习兴趣,增强学习的交互性,结合Leap Motion体感交互设备,在学习和掌握相关技术的基础上,设计并实现虚拟翻书系统。针对挥手翻页的姿势识别问题,重点研究坐标变换技术,将不同坐标系的数值进行处理判断;针对翻页的特效问题,重点研究曲面变形技术,将不同的平面进行旋转缩放;针对图片资源加载缓慢的问题,研究异步加载技术,避免资源切换出现的停顿现象。经实践证明,系统具有良好的运行效果,达到预期目标。

基于Gecko浏览器内核的谷歌翻译爬虫

异步加载技术在Web中广泛使用,这给网络爬虫开发带来一些困难。本文提出一种基于Gecko浏览器内核的异步数据采集方法。此方法模拟浏览器加载网页,完成用户输入,触发执行脚本,最终获得目标数据。应用上述方法,设计并实现了面向谷歌翻译的专用爬虫,能够批量生成双语平行语料,并采用轮询检测机制进一步提高爬虫效率。实验结果表明:本文所提出的解决方案是行之有效的,如何模拟用户操作是实现爬虫的基础,如何检测目标数据是提高效率的关键。

移动互联网下数据可视化技术及应用

随着移动带宽技术的发展,更多的传感设备、移动终端随时随地地接入网络。针对移动终端设备下的数据可视化是可视化技术在移动终端应用中提出的一种新的数据分析和处理技术。本文介绍了数据可视化的概念以及模型,提出了一种移动终端下的具有交互功能的数据可视化回路模型,并给出了电子商务数据在移动终端的可视化的应用。实验表明该数据可视化技术借助图形化手段,会生成直观的比较结果,通过按需加载的模式能够显著地提升性能,提高用户的体验指数。

处理超软土真空预压的新方法及室内试验研究

为提高超软土的真空预压处理效果,提出一种真空载荷施加方式——异步真空吸水法。通过对竖向排水体的间隔连接及真空度的差异选择,实现相同时间下相邻排水体内差异真空,并根据其出水量进行真空度的调节,以缓解黏土颗粒聚集淤堵影响排水效果。通过T形管模拟异步真空吸水的地基土排水过程,发现异步真空吸水法的排水量较传统真空预压法提高29.3%,处理后土体含水率较传统方法降低4.5%,十字板剪切强度提高30%,处理效果优于传统真空预压法。

基于百度地图API的气象信息显示系统设计与实现

介绍一种基于百度地图API的气象信息显示系统。通过控件定位、加载大量数据、添加覆盖物、地图缩放、添加城市列表等技术,系统页面可实时动态显示宁夏地区各县市气象要素以及银川河东机场发布的实况气象报文,为民航气象人员判断复杂天气演变趋势和制作短临预报提供数据支持。采用AJAX异步加载技术访问数据库获取数据,进行局部页面更新,避免了地图不断加载导致页面响应速度慢的问题。通过系统网页,用户可实时了解宁夏地区各县市天气情况,统计机场关键天气要素,查看气象数据。测试结果表明,该系统有助于提高复杂天气短临预报和临近预报的准确率。