双MapReduce改进的Canopy-Kmeans算法

由于传统的Canopy-Kmeans算法在中心点的选取存在随机性,其迭代过程的冗余计算降低了算法的运行效率.文中基于＂最小最大原则＂和三角不等式原理,在Hadoop平台上提出了一种基于双MapReduce改进的Canopy-Kmeans算法.实验结果表明：设计的并行算法精确率在不同大小的数据集上平均提高了15.3%,加速比和扩展性随着数据规模和节点的不断增加也相应的提高了1.5~3倍,解决了Canopy中心点选中存在的问题和迭代过程中冗余的距离计算.

基于MapReduce的Canopy-Kmeans算法的并行化

数据挖掘的聚类算法Canopy-Kmeans是分析数据内在价值的常用工具之一,传统的基于集中控制的方式算法执行效率,在今天大数据环境下,有待改进。文章数据源为某省运营商在2014年7月经过脱敏后的话单信令数据,通过传统的集中控制方式和基于MapReduce的方式。通过实验,我们可以看出使用MapReduce方式具有良好的可行性,而且执行效率也得到明显改善[1]。

基于Canopy-Kmeans算法的电力企业流量数据分析研究

针对电力企业关键信息基础设施大量业务数据易遭受网络攻击的现象,基于各业务信息系统下已有的网络安全设备,通过辅助设备采集流量数据,采用Canopy-Kmeans算法进行数据分析研究。首先通过实验证明了Canopy-Kmeans算法在处理流量数据时,相比传统K-means算法,具有更好的聚类效果,准确率提高约11%;然后以采集到的电力关键业务系统的流量数据为基础,基于Canopy-Kmeans算法进行挖掘分析实验,完成相同类型流量数据的聚类,分析出攻击流量与业务流量的特征项,排除部分误报信息,合理开展网络安全防护工作。

基于Canopy-Kmeans++算法的网络威胁流量检测

针对传统的无监督Kmeans算法聚类时间长、准确率低等问题,提出一种改进型的Canopy-Kmeans++算法对网络威胁流量进行检测。首先,通过前置粗聚类环节确定实际聚类簇数,避免了因簇数选择不准确导致的类标签与实际类特征存在差异的问题;其次,进一步使用Kmeans++算法,引入基于距离加权的概率分布质心选择方案;最后,通过对KDD Cup99数据集中抽样选取的测试子集进行算法效果比对,可以看出所提出方法相比于传统Kmeans、Kmeans++方法在聚类效果和聚类速度上均有提升。相关研究结果可为异常网络流量的聚类算法性能优化提供参考。

基于MapReduce的Canopy-Kmeans改进算法

针对分布式Canopy-Kmeans算法中Canopy选取的随机性问题,采用"最小最大原则"对该算法进行了改进,避免了Cannopy选取的盲目性;采用MapReduce并行计算框架对算法进行了并行扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景。以海量互联网新闻信息聚类作为应用背景,对改进后的算法进行了实验分析。实验结果表明:该方法较随机挑选Canopy策略在分类准确率以及抗噪能力上都明显提高,而且在处理海量数据时表现出较大的性能优势。

基于Hadoop平台下的Canopy-Kmeans高效算法

介绍了Hadoop平台下MapReduce的编程模型;分析了传统聚类Kmeans和Canopy算法的优缺点,并提出了基于Canopy的改进Kmeans算法。针对Canopy-Kmeans算法中Canopy选取的随机性问题,采用"最小最大原则"对该算法进行改进,避免了Cannopy选取的盲目性。采用MapReduce并行编程方法,以海量新闻信息聚类作为应用背景。实验结果表明,此方法相对于传统Kmeans和Canopy算法有着更高的准确率和稳定性。

基于Hadoop平台Canopy-Kmeans聚类算法优化改进研究

在分析Hadoop平台架构和Canopy-Kmeans聚类算法的基础上,对Canopy-Kmeans算法进行了并行化优化改进,通过统计学思维对数据分组抽样后聚类以方便并行化和降低时间复杂度,利用最小最大原则优化Canopy初始中心点选取,用数据异度均值抽样法保证从原数据中均匀提取数据样本,并对Kmeans迭代计算过程进行优化。结合Hadoop平台下MapReduce框架将改进算法进行并行化设计实现。实验表明,对海量数值数据进行聚类时,改进的Canopy-Kmeans并行算法是有效的、收敛的,在聚类准确率和时效性上都有一定程度的提升。

云计算平台上的Canopy-Kmeans并行聚类算法研究

针对大数据的高维特性及海量性,提出云计算平台中的Canopy-Kmeans并行聚类算法,通过三角不等式原理,能够使计算冗余降低,使算法执行速度得到提高。对Canopy-Kmeans并行聚类算法进行深入的研究,并且在大量不同大小数据集中的实验结果表明,所设计的并行聚类算法具有良好的加速比、数据伸缩率及扩展率等特点,能够在海量数据挖掘及分析中使用。

算法解释制度的体系化构建

算法解释在算法治理中举足轻重。算法解释承载着权益保障、社会交往和风险治理三重意义,其在技术层面上的障碍正在逐渐被突破,可以通过多种技术机制实现。在算法治理活动中,应根据常规场景、关键场景和争议场景分别限定选择解释的路径选择和技术方案,通过冻结机制、抽样机制和镜像机制固定算法解释,并使之接受外部的验证与审查,确保算法解释真实、有效。算法解释的系列机制应被进一步构建为体系化的算法解释制度,在这一制度框架内,对解释路径与精度、解释时限、解释瑕疵责任等要素的合理配置,可以实现社会效益与规制负担的精细平衡。

改进A^(*)算法和人工势场法的路径规划

A^(*)算法存在折线路径多和搜索节点多的问题,人工势场(artificial potential field,APF)法存在局部最优和不可到达的问题,针对两种算法存在的问题进行了研究。利用欧氏距离与投影距离提出一种新的混合式启发函数,依据该函数对A^(*)算法的流程进行改进,减少A^(*)算法的搜索节点,提高搜索效率。利用新A^(*)算法生成的最优节点作为APF算法的局部目标点,辅助机器人摆脱局部最优点;通过加入机器人和目标点的位置关系改进势场函数,修改斥力的增益,优化斥力的生成方向。在改进的基础上将两种算法融合提出一种新的算法,利用APF法的势场函数引导A^(*)算法的搜索。从路径长度、避障效果、迭代次数对改进算法进行对比分析,仿真结果表明,提出的改进算法搜索效率高,实现避障的同时保证计算的路径最优。

算法嵌入政府治理:逻辑、风险与规制

伴随着现代信息技术的迅猛发展,智能算法在推动经济社会不断发展的同时也成为推动国家治理现代化的重要驱动力。现阶段如何推进算法技术更有效地嵌入政府治理,在充分发挥技术效益的同时反制技术滥用,实现公共价值最大化目标是亟须关注的时代命题。从“技术—权力—规则”三个维度搭建研究算法嵌入政府治理的分析框架,探索算法技术赋能政府治理的价值意蕴与运作逻辑。聚焦算法技术黑箱阻滞公共责任认定、算法权力削弱政府与民众自主性、算法规则偏好导致治理正义性减损等风险与挑战,提出在实践中要推进技术适度透明化以明晰责任关系链条、规范算法权力运作并坚持人本主义治理理念、明确算法规则决策限度以强化治理正义性等实践进路。

算法审计需求论

算法审计是算法治理体系的重要成员,本文以经典审计理论为基础,提出算法审计需求的一个理论框架。算法的合约类委托代理关系中存在完备合约,监管类委托代理关系中算法相关法律法规发挥了类似完备合约的作用,这两类关系中都不存在算法审计需求。算法的资源类委托代理关系中,由于激励不相容、信息不对称、合约不完备和环境不确定同时存在,必须建构算法治理体系来应对算法代理问题和次优问题,算法审计基于审计固有功能对算法责任履行情况实施鉴证,发现其中存在的代理问题和次优问题,报告给委托人及其他利益相关者并推动整改,从而为算法责任的良好履行提供一定的保障。

如何实现“黑箱”下的算法治理?——平台推荐算法监管的测量实验与策略探索

近年来,平台推荐算法的快速发展和广泛应用深刻改变了互联网信息内容的供给方式,同时也引发了一系列算法风险与现实问题。平台推荐算法治理与监管成为政府规范算法应用的重点内容之一,无论是算法备案制度的探索,还是实现算法透明化的设想,均面临着一定的困难和挑战。在不打开算法“黑箱”的前提下,平台推荐算法规制与监管是否有可行之道?论文基于机器行为学思想,采用实验方法,以用户视角对推荐结果进行跟踪记录,通过实验数据的对比分析,验证了平台推荐算法结果差异的可测性。基于实验结果,论文提出了通过对不同平台推荐结果进行大规模数据测试和检验,测量平台推荐算法运行逻辑与推荐效果,从而实现“黑箱”下有效的逆向监管,以期丰富未来算法治理的选择。

基于改进模拟退火遗传算法的高速公路服务区自洽能源系统高能效优化

针对高速公路自洽能源系统高能效优化的问题,基于改进模拟退火遗传算法(SA-GA),提出了一种综合考虑经济目标和环保目标的自洽能源系统高能效优化运行策略。首先根据高速公路服务区自洽能源系统中各电力单元特性,建立一种综合考虑系统经济性和环保性的能效目标函数;其次根据高速公路服务区自洽能源系统的分类,建立了不同类型系统对应的约束条件;为避免遗传算法易陷入局部最优的缺陷,引入模拟退火算法,对改进后的SA-GA算法采用降温函数,寻找全局最优解;利用新疆某高速公路服务区自洽能源系统发电和负荷数据,并在传统服务区负荷的基础上进一步考虑新能源汽车充电站的影响。测试函数测试结果表明:SA-GA算法在求解速度和稳定性方面有明显提升,改进SA-GA算法对夏季、冬季典型日能效优化的结果,相较于遗传算法,在寻优精度提升约为20.33%。

积极伦理观下算法歧视治理模式的革新

算法技术已借助大数据技术被广泛应用,成为影响人们日常生活的重要角色,其也因技术中立性不断遭受现实挑战而呈现出事实上的歧视性。重新审视算法歧视及其治理路径是发挥算法积极作用、避免算法消极影响的重要前提。传统伦理观念影响下的算法歧视治理模式存在价值观念偏航、治理结构失衡及技术治理落后的问题,影响算法歧视治理实效。社会发展促进了伦理观念的革新,积极伦理观的树立可以为算法技术向善的实现提供理论指引。算法治理结构的优化及反歧视技术水平的提高是纠正算法歧视的重要前提,理念、制度及技术三维措施的综合运用方可在算法领域实现科技向善的伦理目标。

教育数字化转型中的算法权力及其规制

依托框架优势、机器优势和嵌入优势的全新算法,将会随着数字平台的搭建、数据资源的挖掘、“人–机”交互的设计,由单纯的计算工具向事务运行规则转变,进而演变为教育数字化转型中不容回避的权力议题。教育数字化转型中的算法权力既有益于管理风险、规范行为和辅助决策,也可能由于自身的局限以及它与教育之间的冲突,导致教育的风险异化、行为降格和决策失衡。要将算法权力规制到安全、可靠的“笼子”之中,除借助算法目标的教育审查、算法设计的教育解释、算法运行的教育监管、算法应用的教育鉴别、算法信息的教育备案、算法责任的教育认定,以构建从背景、过程到结果的规范机制;还应诉诸教育之于算法的祛魅、平衡与扬弃,以凸显“入乎其内却又出乎其外”的制衡思想。

算法审计内容论

以经典审计理论为基础,提出算法审计内容的一个理论框架。算法审计对象是算法责任履行情况,主要包括:代理人(算法使用者)的算法全面责任、算法开发者的算法开发责任、算法营运者的算法营运责任和算法监管者的算法监管责任。算法审计对象要落实到算法审计主题,算法全面责任、算法开发责任、算法营运责任的审计主题都是算法系统,算法监管责任的审计主题包括算法监管信息、算法监管行为和算法监管制度。基于不同的算法审计主题形成不同类型的算法审计业务,基于算法系统形成算法系统审计,基于算法监管信息、算法监管行为和算法监管制度分别形成算法监管信息审计、算法监管行为审计和算法监管制度审计。在算法审计业务实施中,必须将各个审计业务的审计主题分解为审计标的,算法系统的审计标的包括输入数据、算法设计和算法影响,每一个有独立计算方法的算法监管信息都可以成为独立的审计标的,每一个有独立规则的算法监管行为都可以成为独立的审计标的,每一项有独立规范对象的算法监管制度都可以成为独立的审计标的。

基于混合遗传算法的多无人机巡逻路径优化

假设无人机巡逻的起、终点均为派出所,提出了一种融合传统遗传算法和爬山算法的警用无人机巡逻路径优化模型——混合遗传算法。按照轮盘赌法则,进行种群个体的选择,以增大优秀种群个体被选中的概率,达到较好的优化效果。同时定义了与路径优化相适应的基因交叉和变异规则。仿真结果表明,提出的混合遗传算法在寻优效果上明显优于传统遗传算法。

论政策共识构建中的算法支配:模式与维度

人类社会进入算法时代,政策共识构建无论是在科学化发展还是在民主化进程中都受到算法影响,当这种影响发展到一定程度时则会出现算法支配的现象。根据算法的自动化程度与相对于人类的独立性,政策共识构建中的算法支配可分为四种模式:工具性支配、平台式支配、博弈性支配、自动化支配。四种模式对政策共识构建的影响体现在不同层面,但都是从四个方面展开:通过代码设计对政策诉求进行标准化解读;对个体感知做出隐蔽控制以此编辑诉求内容;形成严密的审查体系对行为进行监控并做出引导;设定计算规则塑造共识构建的程序和方式。总体而言,政策共识构建的算法支配体现为技术支配与权力支配的混合,需要基于对算法的全面认知做出应对。

算法歧视的敏捷治理——以D短视频平台为例

敏捷治理作为社会治理的新范式,是对回应式治理和集中式治理的进阶和超越,是塑造未来数智世界和元宇宙治理的现实路径。以敏捷治理化解算法歧视的技术与伦理风险,实现算法治理成为一项重要的理论和现实议题。通过参与式调查对D短视频平台的内容展开田野调查,深度剖析短视频平台算法运作的逻辑机理,总结归纳算法歧视的形态和成因,探索尝试算法治理的可行举措和实践进路。研究发现,基于用户偏好、平台优先等平台价值观念是D短视频平台算法运作的隐形逻辑;主观设计下歧视性推送和定价是D短视频平台算法歧视的突出表现;灵敏感知、快速响应、持续发展的敏捷治理机制是逾越“算计”陷阱的有效手段。因而,为应对算法歧视的风险挑战,政府亟须以敏捷治理赋能算法歧视治理,塑造多元参与、多管齐下的治理格局,实现整体智治、协同共治、动态管治,从而实现算法“善治”,优化算法治理的中国方案。