基于Sparklyr聚类的我国海事行政处罚特征及影响因素分析

为了分析我国海事行政处罚案由的类别和特征,揭示不同类别处罚事件发生次数的影响因素,以414 475条海事行政处罚数据为样本,使用Sparklyr分布式聚类技术实现了大规模处罚案由文本的有效聚类,并使用卡方检验提取了不同处罚案由文本的语义特征。继而,使用方差分析及LSD多重比较研究了海事辖区、季节、案由类别以及它们之间的交互对处罚事件发生次数的影响。研究表明:Sparklyr分布式聚类有效解决了单机环境下难以应对的大规模海事行政处罚案由文本的聚类问题,揭示了海事违法行为的多样性,不同类别处罚事件的发生次数存在很大差异,海事辖区、季节、海事辖区与案由类别的交互均是这种差异产生的显著影响因素,据此提出了差异化海事监管的建议。