基于Spark的大数据热图可视化方法

针对普通客户端浏览和分析大数据困难的问题,结合Spark和LOD技术,以热图为例提出一种面向大数据可视化技术框架.首先利用Spark平台分层并以瓦片为单位并行计算,然后将结果分布式存储在HDFS上,最后通过web服务器应用Ajax技术结合地理信息提供各种时空分析服务.文中重点解决了数据点位置和地图之间的映射,以及由于并行计算导致的热图瓦片之间边缘偏差这2个问题.实验结果表明,该方法将数据交互操作与数据绘制和计算任务分离,为浏览器端大数据可视化提供了一个新的思路.

基于三维卷积神经网络的肺结节假阳性筛查

从CT影像中检测肺结节在肺癌的早期诊断中至关重要,而肺结节假阳性的筛查是提高肺结节检测准确度的重要一步。为了从大量候选结节中快速准确地区分出真正的肺结节,设计了一个3D卷积神经网络(CNN)筛查肺结节假阳性。提出了网络模型,通过恒等映射和残差单元来加速模型训练,采用单连接路径重复利用特征并重组新特征。基于该模型的肺结节假阳性筛查方法,与基于2D CNN的方法相比,不仅可以省略数据切片步骤,而且能够充分利用CT影像的空间信息;与其他基于3DCNN的方法相比,具有参数量小、模型训练快的优点。该方法在LUNA16数据集中的假阳性筛查中取得了较高的敏感度。