Distributed C-Means Algorithm for Big Data Image Segmentation on a Massively Parallel and Distributed Virtual Machine Based on Cooperative Mobile Agents

The aim of this paper is to present a distributed algorithm for big data classification, and its application for Magnetic Resonance Images (MRI) segmentation. We choose the well-known classification method which is the c-means method. The proposed method is introduced in order to perform a cognitive program which is assigned to be implemented on a parallel and distributed machine based on mobile agents. The main idea of the proposed algorithm is to execute the c-means classification procedure by the Mobile Classification Agents (Team Workers) on different nodes on their data at the same time and provide the results to their Mobile Host Agent (Team Leader) which computes the global results and orchestrates the classification until the convergence condition is achieved and the output segmented images will be provided from the Mobile Classification Agents. The data in our case are the big data MRI image of size (m × n) which is splitted into (m × n) elementary images one per mobile classification agent to perform the classification procedure. The experimental results show that the use of the distributed architecture improves significantly the big data segmentation efficiency.

Protection of Basic Human Rights in the Application of Big Data to Counter Terrorism

In the era of big data,the ways people work,live and think have changed dramatically,and the social governance system is also being restructured.Achieving intelligent social governance has now become a national strategy.The application of big data technology to counterterrorism efforts has become a powerful weapon for all countries.However,due to the uncertainty,difficulty of interpretation and potential risk of discrimination in big data technology and algorithm models,basic human rights,freedom and even ethics are likely to be impacted and challenged.As a result,there is an urgent need to prioritize basic human rights and regulate the application of big data for counter terrorism purposes.The legislation and law enforcement regarding the use of big data to counter terrorism must be subject to constitutional and other legal reviews,so as to strike a balance between safeguarding national security and protecting basic human rights.

基于Hadoop的高校教学质量评测系统构建与评估方法

为了确保高校教学质量评估的客观性、系统性和全面性,提出利用大数据全面服务教育评估,并基于Hadoop构建评测系统,在Hadoop分布式架构基础上,提出利用分布式算法对高校教学质量各方面进行评估。评测系统主要从学校管理质量、教师教学过程、学生的学习行为以及学业质量等4个方面对高校教学质量进行评估,自下而上划分为数据访问层、业务逻辑层和表示层,各功能子系统均采用模块化设计;针对不同大数据的特点,提出利用主成分分析法对学校管理质量大数据进行评估,采用分布式算法对教师教学过程、学生学习行为和学业质量进行评估;当数据量较小时传统单机算法运行效率较高,当数据量较大(大数据样本)时分布式算法的运行时间明显少于单机算法,且随着数据量的增大,运行效率优势越明显。

基于贪婪算法的大数据兼容性云存储方法仿真

现阶段云环境下大数据的存储仍存在存储效率低、带宽合理性差的问题,因大数据的数量巨大、难收集和分析的特点,导致很难实现大数据的精准兼容存储。为此提出基于贪婪算法的大数据兼容性云存储方法。根据大数据云存储流程获取数据存储基本框架。引入贪婪算法,通过贪婪算法的循环迭代重构云存储节点的比特功率,使初始云存储环境转化成具有相同访问数据选择策略的优化云存储环境,提高大数据云存储流程的兼容性,完成大数据兼容性的云存储。实验测试结果表明,提出方法在规定时间内的数据漏存储量较少,且用户下载数据的响应时间始终低于5ms,大数据兼容性云存储的错误样本量低于100bit,说明提出方法的可应用性较强,研究价值较高。

应用导向下的“统计学习方法”教学探索与实践

“统计学习方法”是以数据为研究对象、以计算机及网络为平台、通过统计理论建立模型并对数据进行分析和预测的学科,该课程的学习有助于提升学生的实践意识和应用意识,满足大数据时代下对统计数据分析人才的需求。本文在大数据环境下,以应用人才培养为导向,以统计数据分析方向的学生为服务对象,深入挖掘“统计学习方法”在专业课程体系中的地位和作用,构建了适应于数据分析背景的课堂教学和实验教学体系,有助于提升学生的创新思维和实践能力,培养多元化创新型人才。

城市轨道交通系统的层次化功能结构解析——以上海为例

解析城市轨道交通系统的功能结构对于建立以轨道交通为骨架的城市空间结构至关重要,其有助于优化城市空间布局,促进交通与土地利用融合,进而推动城市可持续发展。本文利用交通刷卡大数据,基于轨道交通站域的功能相似性和邻接关系提出了功能站组的概念,并形成了一套“站域功能分类—站组范围划定—站群结构识别”的方法体系。以上海市轨道交通系统为例,针对单个站域,构建表征站域土地利用功能的连续客流时间序列,并依据时间序列特征分类得到站域功能类型;将多个具有相似的出行模式和土地利用功能的相邻站域划定为功能站组;以功能站组为基本单元,采用社区发现算法,对功能站组间的客流交互网络进行分析以识别站群。研究结果表明,城市轨道交通系统的“站域—站组—站群”层次化功能结构解析方法综合了场所空间和流空间视角,有助于认识特大城市轨道交通系统的功能结构特征,并为轨道交通系统的发展提供多层次的空间优化建议。

智媒时代互联网广告的算法“黑箱”与治理路径探析

随着互联网技术的更新迭代,人工智能、算法等技术逐渐嵌入日常随处可见的广告中,也因其“黑箱”问题给广告治理带来权力滥用、技术异化、隐私窥视等难题。算法“黑箱”的封闭性、歧视性和风险性等特征使算法在应用中直接影响互联网广告的制度。破解这些难题的路径在于:规制算法权力、改革算法生态、设立数据收集壁垒、推进“黑箱”透明。

大数据辅助审判的潜在风险与防范路径

大数据辅助审判技术在提升审判质效、实现司法公正等方面发挥重要作用,但应用该技术带来的潜在风险同样不应被忽视。大数据辅助审判在技术赋能层面面临着数据基础不坚实、信息安全存在隐患和算法运用产生风险等问题,在技术应用实效层面又存在着技术僭越辅助地位、部分特殊场景的强行应用引发负面效果等风险。风险产生的缘由主要在于大数据系统开发行为缺乏统一指引和规范、审判人员应用大数据技术存在思维误区以及技术瓶颈难以突破三个方面。为此,我们应加强对数据开发共享的统一指引,提升司法数据信息安全保护力度,完善针对算法的法律规制,通过原则确立、权限与程序设置将技术应用限制在辅助地位,构建大数据辅助审判技术动态分层适用制度。

大数据杀熟是否可以避免——基于演化博弈和仿真的分析

以节约公共资源和支持市场自由发展为出发点,建立平台与用户之间的演化博弈模型,探讨用户在可以自由切换平台的情境下,不同均衡点的形成条件及其稳定性。根据理论推导的条件,使用Octave进行数值仿真,以分析影响平台算法杀熟定价的因素,并确定不使用杀熟定价的理想状态所需满足的条件。同时,研究旨在探索除监管外,哪些措施可以帮助实现这一理想状态。研究结果表明,避免大数据杀熟并不一定需要依赖实时监控或罚款等手段,以市场化手段发展多个平台和鼓励平台竞争可能是最直接且可行的方法。

协同过滤下混合大数据无损挖掘算法研究

大数据具有大规模性、多样性以及价值性,由于海量数据间的较高相似度,导致数据挖掘过程易受冗余干扰,出现数据丢失、损坏等问题。为解决上述问题,提出基于协同过滤算法的混合大数据无损挖掘方法。对混合大数据集成预处理,去除冗余,将不同来源的相同数据无损融合。采用协同过滤算法的时间衰减函数,计算挖掘项目间相似性。在混合大数据特征关联度的约束下,实现混合大数据无损挖掘。实验结果表明,所提方法应用下,混合大数据量高达25000MB时,数据挖掘所需时间仅为45ms左右,且挖掘精度高达95%以上,数据挖掘结果与目标具有一致性。

基于大数据关联规则算法的卡林型金矿床元素富集规律及找矿方法研究

大数据时代的到来,为卡林型金矿床开拓了新的找矿思路。本研究应用关联规则算法,挖掘滇黔桂“金三角”卡林型金矿床内微量元素与金矿化海量数据之间的关联性,提取元素异常组合,分析控制因素,定量构建找矿标志。结果显示矿床内元素异常组合分为4组:(1)强正关联显著富集元素(As、Sb、Hg、Tl、Ag、W和Rb),显示硫化和黏土化作用;(2)较强正关联略富集元素I(Zr、Th、Ta、Nb和Hf)和强负关联强迁出元素(Li和Sr),显示去碳酸盐化作用;(3)较强正关联略富集元素II(Sn、Zn、Ni、V、Co和Cu),显示硫化作用;(4)弱关联基本无富集元素(Cd、Pb、Ba、Bi、U和Mo),与成矿无显著关联。从大数据角度获取的元素异常组合,与学界关于Au主要在去碳酸盐化、硫化和黏土化条件下形成的认识一致。通过关联规则算法分别对与硫化和去碳酸盐化相关的元素建立定量找矿标志。硫化找矿标志:样品中As、Hg、Sb、Tl、W、Ag和Rb等元素内中高含量项数≥1、≥2、≥3、≥4和≥5时,对应的Au矿化分别为≥4.5×10^(-9)、≥47.0×10^(-9)、≥150×10^(-9)、≥500×10^(-9)和≥1000×10^(-9);样品内高含量项数≥1、≥2和≥3时,对应的Au矿化分别为≥150×10^(-9)、≥500×10^(-9)和≥1000×10^(-9);找矿过程中两组指标配合使用,确保不漏矿,高效圈矿。去碳酸盐化找矿标志:样品中Zr、Th、Ta、Nb和Hf含量任意两项出现正异常,认为样品经历过去碳酸盐化作用。定量识别的硫化和去碳酸盐化找矿标志可望在卡林型金矿找矿预测中发挥重要作用。本研究基于关联规则算法分析矿床元素富集规律、控制因素和定量构建找矿标志的方法,也可为其他类型矿床开展类似研究提供新思路。

基于模型算法的注塑制品质量预测控制研究进展

介绍了模型算法在注射成型技术中的应用,综述了相关模型算法在注射成型各阶段的预测控制成效,最后提出模型算法在注塑制品质量预测控制中的未来研究方向和相关技术发展趋势。

基于大数据技术的LNG加注站智能选址方案设计

为实现“双碳”目标,国家大力推动交通清洁能源的使用,因此合理布局和建设LNG加注站就非常重要。基于交通车辆卫星定位数据的算法技术,运用机器学习模型和大数据架构等先进技术,实现对LNG加注站的智能识别,并对路段流量和LNG重卡加注行为进行智能统计分析,搭建站点价值分析模型,进行LNG加注站的规划布局和建站选址。根据对交通大数据的分析,确定了全国6000余个LNG加注站的位置分布和其中的高价值站点,借助地图进行标注并打造加注站数据系统,大幅度提高了LNG加注站选址的科学性及效率。

基于Bigtable与MapReduce的Apriori算法改进

为提高Apriori算法挖掘频繁项目集的效率,引进了Bigtable技术与MapReduce模型来对Apriori算法进行优化,设计出大数据环境下挖掘频繁项目集的新算法BM-Apriori算法。与单纯基于MapReduce模型的Apriori改进算法相比,新算法利用Bigtable的时间戳属性代替了键/值对的产生,只需扫描数据库一次即可,节约了模式匹配的时间。同时,BM-Apriori算法在项集列表中新增事务标号列,自动获取事务标号以计算支持度。将BM-Apriori算法在Hadoop平台上进行了实验,结果表明Bigtable技术的融入使得BM-Apriori算法具有更高的效率与可拓展性。

数字时代大数据辅助司法证明的构造及其风险防控

“大数据辅助证明”有助于提升事实认定的科学性与准确性。大数据辅助证明以整体主义为指引,在证据推理环节通过大数据技术高效组织数据,整合经验概括对个案中的推论命题和要件事实等的确定形成类型化指引;在证据评价环节可以辅助证据标准的数据化校验与证明力概率评价的科学化。如果对大数据智能产生非理性崇拜,那么其有可能异化为新的神明裁判方式,侵蚀理性主义传统,导致认知偏差难以得到控制,证明责任的界限模糊化,以及用“客观规律”代替“认识论概率”等问题,而且会增加事实认定在各方面的附随风险。为应对挑战,司法证明的重心应当从“信息规制”迈向“风险防控”,并坚守数据技术的辅助性,诉讼主体的认知交互性和证明的外部可检验性原则。当大数据辅助证明诱发的风险无法通过隔离、警示和对抗等手段预防时,应当合理分配证明过程中的风险。

基于联邦学习的政务大数据平台应用研究

当前数字政府建设已进入深水区,政务大数据平台作为数据底座支撑各类政务信息化应用,其隐私数据的安全性和合规性一直被业界广泛关注。联邦学习是一类解决数据孤岛的重要方法,基于联邦学习的政务一体化大数据平台应用具有较高的研究价值。首先,介绍政务大数据平台及联邦学习应用现状;然后,分析政务大数据平台面临的隐私数据的采集、分类分级、共享三大管理挑战;接着,阐述基于联邦学习的推荐算法和隐私集合求交技术的解决方法;最后,对政务大数据平台隐私数据的未来应用进行了总结和展望。

自动化行政裁量中算法风险感知的特征与演化研究——基于网络舆情的大数据分析

随着自动化行政裁量的应用越来越广泛和多元,算法权力扩张、异化、寻租等风险愈发显著,对政府的算法治理造成了挑战。论文运用大数据分析方法,对河南部分村镇银行储户被赋红码事件的全国9328条相关微博文本进行挖掘,发现公众对算法风险具有高度的敏感性,舆情的爆发性较强且情感值较为负面,其中意见领袖是负面情感的主要引领者;公众关注度呈现高度的空间聚集性,经济发达地区的关注度聚集性更强;两次赋红码事件的公众情绪有显著的差异,且随着事件的演化,不同主体关注的焦点也呈现出高度的异质性。基于分析结果,政府在自动化行政裁量中的算法治理依然面临较大挑战,需要重点关注的方向包括:明晰行政裁量中算法权力的边界;减少自动化行政裁量中因委托-代理关系引发的道德风险问题;提升算法风险沟通的及时性和有效性,避免公众消极态度的产生。

基于改进模糊聚类算法的大数据随机挖掘仿真

大数据挖掘是从大量有噪声的、随机模糊的大数据中提取有价值信息的过程,由于海量大数据具有多维性、稀疏性以及动态性等特点,准确获取其分布特征的难度较大,随机挖掘难以直接实现。为此提出基于改进模糊聚类算法的大数据随机挖掘方法。利用建立的语义概念树模型获取大数据的特征分布关系,并根据模糊语义分析法得出大数据的语义相似性、关联性条件,提取大数据特征。优先确定最佳聚类数,采用改进模糊聚类算法对其聚类,实现基于改进模糊算法的大数据随机挖掘。实验结果表明,上述方法的大数据模糊聚类效果较好,随机挖掘准确率可达到95%以上,实验所得结果验证了上述方法较强的应用有效性。

基于高分遥感图像处理技术的公路勘查方法研究

针对公路高分遥感勘测技术中,遥感图像易受天气干扰、数据分析精确度低等问题,研究了基于高分遥感图像处理技术的公路勘查方法。设计了双行信息采样电路以及采样信息保持电路,实现了公路勘查过程中的高清图像信息采集,由此避免因自身电源频率、外部磁场等因素的干扰而产生图像噪点,保证采集图像信息的准确性。此外,采用一种暗通道先验模型去云雾技术,能够有效排除云雾天气对遥感图像采集的干扰。通过基于Storm的大数据算法,提高系统的整体数据分析及传输能力。试验结果表明,该方法不仅增强了去云雾能力,还可以还原正常图像85%左右的图像特征点。该方法具有很强的数据处理、抗干扰以及数据传输能力。

大数据环境下基于BIM与CNN的电力工程造价优化算法

针对大数据环境下电力工程造价在精准化、动态化等方面存在的不足,提出了一种基于BIM与CNN的电力工程造价优化算法。利用BIM技术的特点进行电力工程全生命周期的造价管理,实现了造价的动态化管控。并且采用Levenberg-Marquardt规则算法改进卷积神经网络,通过改进后的CNN网络对每个工程环节的造价完成预测,从而优化整个工程的施工方案。结合相关的电力工程造价数据,基于Matlab对所提算法进行实验测试。结果表明,当学习率为0.010时CNN网络的性能最佳,所提算法的预测准确率为94%,并且与造价的真实值最为接近。