基于信息增益的Hadoop瓶颈检测算法

当今,Hadoop已经成为了大数据存储和大数据挖掘的主要平台。虽然Hadoop平台通过分布式的机器集群来实现高性能的并行计算,但由于其由廉价主机组成,故当集群负载增大时,便不可避免地在某机器上出现瓶颈。针对此问题,提出一种基于信息增益的瓶颈检测算法,该算法通过计算各个资源的信息增益来检测集群的瓶颈资源。实验证明了该瓶颈检测算法具有可行性。

大数据时代机器学习的新趋势

当前,大数据技术和应用吸引了众多的关注,对大量结构繁多的数据进行分析并获得知识,需要充分利用机器学习的相关技术和成果。本文主要讨论了大数据时代机器学习的发展新趋势和研究重点,并对与大数据相关性大的几个关键技术进行了分析介绍。

基于微博API的分布式抓取技术

随着微博用户的迅猛增长,越来越多的人希望从用户的行为和微博内容中挖掘有趣的模式。针对如何对微博数据进行有效合理的采集,提出了基于微博API的分布式抓取技术,通过模拟微博登录自动授权,合理控制API的调用频次,结合任务分配控制器高效地获取微博数据。该分布式抓取技术还结合时间触发和内存数据库技术实现重复控制,避免了数据的重复爬取和重复存储,提高了系统的性能。本分布式抓取技术具有可扩展性高、任务分配明确、效率高、多种爬取策略适应不同的爬取需求等特点。新浪微博数据爬取实例验证了该技术的可行性。

一种分布式的舆情分析系统架构

随着互联网数据的快速增长,针对如何对互联网数据进行有效的收集和分析,提出一种基于分布式平台的系统架构。该架构包括爬虫模块、Web模块以及分布式平台三大模块,其中爬虫模块负责数据的收集,Web模块负责简单任务的处理以及分析结果的可视化展示,分布式平台提供数据的存储以及复杂任务的计算功能,3个模块的结合为网络上海量数据的爬取、存储与分析提供了一个很好的解决方案。最后,针对社交网站新浪微博的应用案例验证了该分布式舆情分析系统架构的可用性。

基于DPI的用户兴趣实时分类

近年来,随着大数据发展热潮兴起,电信运营商能获得的DPI数据规模越来越大。如何对如此海量的DPI数据进行实时的挖掘和分类是运营商研究的热点。设计了一种基于混合n-gram特征的URL分类算法和基于Doc2Vec模型的文本分类算法相结合的DPI数据分类方法,大大提高了DPI数据的分类速度和分类准确率,为电信运营商进行精准营销提供了良好的基础。

基于LTE网络的智能关断技术试验与分析

随着LTE网络的大规模建设,运营商面临着空前激烈的竞争环境,这导致无线接入网络的能源消耗问题变得日益严重。为降低LTE网络能耗现状,首先分析了LTE网络基站关断休眠、通道关断休眠、载频关断休眠、符号关断休眠、MBSFN子帧调整关断休眠和PSU关断休眠等技术的原理,随后对满足试验条件的技术进行现网测试分析,通过对比节能措施实施前后基站能耗、网络性能指标以及路测结果的差异,验证了措施的节能效果和对网络性能的影响。

IP路由器基于业务流量的动态节能技术研究与测试

为了论证IP路由器设备节能技术应用的经济性和可行性,分析了IP路由器的能耗结构特点,研究其基于业务流量的动态节能技术方案,包括智能风扇调速、端口关断休眠、CPU智能调频/关核、电源智能管理、子卡通道化休眠、交换网板温备份,并对各项节能技术进行了实验室测试。通过对比节能技术实施前后的设备能耗差异,验证其节能效果及对运行质量和运营维护的影响。

FTTH建设项目能耗评估方法与模型研究

FTTH已成为运营商"最后一公里"的主流接入方案,随着FTTH的规模发展,接入网的能耗需重点关注,但针对FTTH网络的能耗评估仍缺乏有效的手段。本文通过对FTTH建设项目能耗影响因素的研究和分析,建立了FTTH网络能耗模型,实现了FTTH网络能耗状况的可视化呈现及评估,为运营商FTTH网络实现节能减排提供建议和参考。

大容量通信设备能耗测试的简易方法研究

为了降低大容量设备能耗测试的成本和难度,简化测试工作,在传统测试方法的基础上,通过分析历史测试数据,研究了电源转化率稳定后业务板卡与整机能耗的线性模型,提出了大容量通信设备能耗测试的简易方法,并经过实验室测试验证了该方法的可行性。

电信大规模社交关系网络图数据挖掘研究

电信技术的发展使得通话网络几乎覆盖了整个社会,对电信运营商来说,这个庞大的社会网络蕴藏着巨大的商机。尤其在日益激烈的市场竞争中,客户关系的维护、客户潜在价值的挖掘以及有针对性地对客户进行营销等对电信图数据的挖掘,受到了强烈关注。通过对比,研究了当前针对类似电信网络的大规模社交关系网络图数据进行挖掘的分布式和单机图计算工具和框架,并对单机图计算工具Graphchi的单机处理数据能力进行了可行性和可用性测试,同时采用单机Graphchi对电信社交关系网络的数据进行了图挖掘研究和应用。

基于关键词规则匹配的企业客户行业分类研究

企业行业分类信息在CRM(客户关系管理)中有着重要的作用,文章提出了一种针对公司名称基于关键词和剔除词进行规则匹配的方法来进行自动行业分类,有效解决在没有其他辅助信息的情况下对客户进行管理分类的难题,同时文章以某电信公司客户抽样数据为测试集对本方法的可行性进行了测试,并取到了较好的效果,大大减少了人工方式采集信息的复杂程度,为企业节省了费用。

5G通信卡中SUCI隐私保护的研究

通信卡作为移动用户的身份识别码和鉴权数据的载体,其安全是整个手机通信中的安全基础。2G、3G和4G通信中,卡片入网信息是由国际移动用户识别码(International Mobile Subscriber Identity,IMSI)提供,一般情况下,空口上不会出现IMSI,而是临时移动用户标识(Temporary Mobile Subscriber Iedntity,TMSI)(IMSI初步加密),但当网络没有存储TMSI的时候,就需要用户将IMSI发送给网络,IMSI会暴露在空中接口从而被不法分子获取。5G通信中,为了保证安全,抵抗重放攻击,引入了用户永久标识符(Subscription Permanent Identifier,SUPI)、隐藏性用户标识符(Subscription Concealed Identifier,SUCI)的概念,SUPI类型分为IMSI和网络特定标识符(Network Specific Identifier,NSI)2种类型,加密后的SUPI即成为了SUCI,它作为用户身份识别码和鉴权数据及的载体,不让IMSI暴露在空口中,从而保证了终端和网络鉴权安全正常的进行。

光接入网络节能技术研究与测试

针对光接入网能耗的现状和网络特点,分析了光接入网组网环境下的网络能耗分布及影响能耗的主要因素,研究了光接入网、设备的节能方法和节能新技术,并进行了实验室测试验证,为绿色光接入网的建设和推广提供了经验和依据。

NoSQL理论体系及应用

NoSQL在各大互联网商中掀起开发热潮,并随着时间很快普遍化。本文详细介绍了NoSQL的理论体系,对其三大基石进行了深入研究;根据其理论特点进行了NoSQL和RDBMS之间的对比分析;针对具体情况,对数据库如何选择的问题进行了探讨;最后介绍了NoSQL产品的选择方法。

基于云平台的分布式高性能网络爬虫的研究与设计

随着大数据时代的到来,数据成为最宝贵的资源,而网络爬虫技术作为外部数据采集的重要手段,已然成为数据分析的标配。介绍了一种高性能、灵活和便捷的基于云平台的爬虫架构设计和实现。从爬虫的整体架构、分布式设计以及各模块的设计等角度进行了详细的阐述。爬虫各模块用Docker封装,Kubernetes做集群的资源调度和管理,在性能优化上采用了MD5去重树算法、DNS优化和异步I/O等多种策略组合的形式。实验表明,对比未优化的方案,爬虫在性能上具有较明显的优势。

CDMA基站主设备能效评估方法研究与测试

电信网络是能源消耗大户,也是全球气候变暖的重要因素。电信网络中的移动通信设备,尤其是移动基站设备存在能耗高、集成度低、能效差的问题。建立了相应的能效评估模型,为CDMA基站的能效水平进行分级,并制定了相关的低能效标准。参照移动基站节能参数和测试方法的国家标准,测试了现网主要基站设备的能耗,然后使用正态分布算法和K-means聚类算法分析基站的能效。根据分析结果,制定了低能耗基站的划分标准,并对所有基站的能效综合值进行分级。建立了基站能效分级模型和低能耗标准,为运营商在CDMA基站选型及退网等方面的工作提供了参考和依据,可降低成本支出,提高经济效益。

全业务运营下综合业务管理平台的业务模式研究

全业务运营下的综合业务管理平台实现基于固网/移动网/互联网/融合的信息化应用与行业解决方案的接入与管理、合作伙伴管理、能力的接入与管理和客户一站式服务等功能。从业务分类、业务定购、业务使用、业务计费、业务结算和业务能力开放等方面对综合业务管理平台的业务模式进行了详细的研究。

移动互联网Always online状态对网络的影响及应对策略探讨

本文以移动互联网应用快速发展为背景，分析移动互联网应用Always online状态下对移动网络的需求，从而导出其对中国电信cdma20001x／EV—DO移动网络的影响，在此基础上根据电信移动网络现状并结合移动网络演进相关技术就应对策略方案进行探讨。