基于DIND的大数据实验平台探索与应用研究

大数据实验教学平台是大数据专业人才培养的基础设施和关键保障。针对目前大数据集群部署复杂、资源利用率较低等问题,综合考虑大数据专业人才培养方案、行业技能要求、资源利用率等因素,提出了基于容器嵌套技术(docker in docker, DIND)的大数据实验平台建设方案。平台主要由内外两层Docker容器组成:外层Docker容器提供大数据实验基础环境和交互式界面,内层Docker容器提供大数据计算集群环境。平台具有贴合培养方案、集群部署快、资源利用率高、投入成本低、使用便捷等优点。4个学期的教学实践表明,学生实验完成度高、实验投入时间长、能很好掌握大数据专业知识,实现了提高教学质量、培养学生工程实践能力的目的。

基于中文字邻接图的食品抽检公告实体及关系联合抽取

在对中文食品抽检公告进行实体与关系抽取时,常会出现包含大量食品名称与食品分类的长句,现有深度学习模型在进行实体关系抽取时,只将文本看作一串字词序列来编码,当句子较长且词间距离过大时,词间强依赖关系的学习效果会减弱。而这一问题在食品领域的实体关系抽取中少有被关注,所以该研究提出基于改进中文依存句法树与多特征融合的实体关系联合抽取模型(TAG-JE),该模型将词间具有的强依赖关系通过句法依存树建立关系图,再根据中文BERT编码的字处理模式,将关系图转化为字邻接图,再由图神经网络学习字邻接图的结构特征,最后将之与BERT提取的文本上下文特征融合,融合权重通过门网络结构自主调节,以获得公告文本的多特征融合特征表示。获得的融合特征将采用主流的联合抽取模型进行实体与关系的抽取,并在关系判断时使用强化学习训练的关系选择器来优化关系的嵌入信息,以提升联合抽取方法在关系判断上的准确率。为了验证TAG-JE的效果,将其与主流的深度学习模型在自建的非结构化食品抽检公告数据集上进行了抽取效果对比,结果证明TAG-JE的精确率、召回率与F1值分别达到90.86%,90.50%,90.68%,相对其他基线模型都有较大提升,证明了其在中文食品抽检文档中的知识挖掘能力。针对中文公共数据集的试验中,该模型相对GraphRel与CasRel这些经典联合抽取模型也取得较好的结果,证明TAG-JE也有较好的泛化效果。研究结果可为食品安全中文知识图谱的构建提供技术参考。