大规模云同步归集数据系统的异步并行优化

国民经济非垂直管理行业或领域建立大数据中心,需要配备能大规模云同步归集行业数据的软件系统,"行业数据云通用的同步枢纽与大数据联合体平台"(GSMS)就是为此而研制的。GSMS主要用于通过互联网大规模同步采集各地异构自治系统(或设备)的业务或事实数据并加以开发应用。在实际应用中,当众多GSMS客户线程各自并发地向GSMS数据中心同步数据时,所产生的大规模数据同步会话将汇聚在GSMS服务端,从而形成处理瓶颈。此外,同步会话全程串行的锁步机制也会制约大规模数据同步归集的性能。为此,提出并实现了一种异步并行化改进GSMS系统方案:将服务端高时耗计算环节从数据同步串行锁步过程中分离出来,为其引入基于多道消息队列中间件的异步并行处理机制,并提供相应的松弛同步事务保障措施。实践表明,正确地实现这种异步并行处理能有效提升服务端处理速度并满足同步系统的可靠性和一致性要求。

省域房产大数据热力图人工智能预测系统

省域范围房产交易与登记大数据可视化呈现的建模分析预测对于研究我国城乡建设、区划经济的布局趋势,呈现城镇建设发展指标的时空演化,辅助支持科学决策、宏观调控等具有重要意义.考虑到这些经济活动数据的预测建模涉及到尚无明确数学表达的、因素作用复杂的事物状态演变过程,受近代人工智能深度神经网络技术在类似复杂场景成功应用的启发,我们采用相关的长短时记忆网络模型(LSTM)与全连接层(FC)技术等AI技术,建立起宏观可视化的省域房产大数据热力图预测系统.本文的主要系统建设实践是,利用所获的广东省域(东沙群岛除外)历年积累的房产法定业务大数据,基于各市房屋建成年份时序,实现对区域房产套数和面积等基本指标的年末地理热力图建模预测功能.本文创造性提出“网格累计量预测+市域增量预测修正”的总体预测建模计算框架,为省域房地产大数据人工智能建模预测增加了网格粒度调选和局部结合全局预测修正的调优途径,提高了预测模型的适用性.应用分析表明,建模预测系统的计算结果具有较高的合理性和实用性.

广东省建设行业从业管理基本服务云平台

“广东省建设行业从业管理基本服务云平台”(以下简称为“云平台”)始于2004年广东省建设领域人才资源及诚信系统建设预研项目。“云平台”系统建设内容主要来源于三大任——(1)主体任务:2008年9月,为推动全省建设系统电子政务,提高行政效能和服务水平,广东省建设厅下达(粤建办发[2008]4号)“广东省建设系统企业信息库、人才信息库、法规标准信息库和行政服务平台管理信息服务系统”(简称“三库一平台”)建设的工作任务。