基于多任务学习的意图检测和槽位填充联合方法

随着预训练语言模型在自然语言处理(NLP)任务上的应用,意图检测(ID)和槽位填充(SF)联合建模提高了口语理解的性能。现有方法大多关注意图和槽位的相互作用,忽略了差异文本序列建模对口语理解(SLU)任务的影响。因此,提出一种基于多任务学习的意图检测和槽位填充联合方法(IDSFML)。首先,使用随机掩盖mask策略构造差异文本,设计结合自编码器和注意力机制的神经网络(AEA)结构,为口语理解任务融入差异文本序列的特征;其次,设计相似性分布任务,使差异文本和原始文本的表征相似;最后,联合训练ID、SF和差异文本序列相似性分布三个任务。在航班旅行信息系统(ATIS)和SNIPS数据集上的实验结果表明,IDSFML与表现次优的基线方法SASGBC(Self-Attention and Slot-Gated on top of BERT with CRF)相比,槽位填充F1值分别提升了1.9和1.6个百分点,意图检测准确率分别提升了0.2和0.4个百分点,提高了口语理解任务的准确率。

改进Wav2Lip的文本音频驱动人脸动画生成

为了提高中文唇音同步人脸动画视频的真实性,本文提出一种基于改进Wav2Lip模型的文本音频驱动人脸动画生成技术.首先,构建了一个中文唇音同步数据集,使用该数据集来预训练唇部判别器,使其判别中文唇音同步人脸动画更加准确.然后,在Wav2Lip模型中,引入文本特征,提升唇音时间同步性从而提高人脸动画视频的真实性.本文模型综合提取到的文本信息、音频信息和说话人面部信息,在预训练的唇部判别器和视频质量判别器的监督下,生成高真实感的唇音同步人脸动画视频.与ATVGnet模型和Wav2Lip模型的对比实验表明,本文模型生成的唇音同步人脸动画视频提升了唇形和音频之间的同步性,提高了人脸动画视频整体的真实感.本文成果为当前人脸动画生成需求提供一种解决方案.

公共文化资源标签推荐方法

资源标签在信息爆炸时代具有不可或缺的作用,利用标签能够在很大程度上减轻推荐系统的工作量,提高其准确度。基于国家公共文化云平台资源,本文设计一种基于资源标签相关性的公共文化资源推荐方法。首先,提出BERTGSTCNN模型(Integrating Global Semantics BERT TextCNN Model),该模型通过挖掘资源文本的局部及整体与标签之间的深度语义关系,得到资源与标签间文本相关性;然后,基于TF-IDF算法挖掘资源与标签间关键词相关性;最后,通过感知器模型将二者相融合得到资源与标签的相关性,最终得到公共文化标签资源推荐序列。分别在Reuters-21578和国家公共文化云数据集上进行多组实验,结果表明该方法资源推荐效果优于基线模型。

基于风格迁移的虚拟试穿研究

针对现有方法无法满足为用户设计个性化服装的同时呈现出试穿效果的问题,提出一种结合风格迁移的虚拟试穿方法。首先通过语义分割算法对用户图像和服装图像进行处理以指导虚拟试穿合成,利用ALIAS归一化保留服装的细节;其次利用VGG19网络分别提取内容图像和风格图像的特征,将符合用户个性化审美的图像风格化;最后利用纹理编码器提取风格化图像的特征,并将其迁移到用户图像的服装区域,实现符合用户需求的个性化试衣效果。实验结果表明,基于风格迁移的虚拟试穿方法可以让用户直观看到个性化服装的上身效果,为以消费者决策为导向的交互式智能服装试穿平台的开发提供思路。

融合领域词典的文旅客服问句匹配模型

在文旅领域智能问答中,用户问句文本表征稀疏、口语化表达、一词多义及特定领域词汇的识别困难使得常见的匹配模型难以将用户问句与标准问句进行精准匹配。针对此问题,本文构建了文旅客服问句匹配数据集和相应的领域词典,在此基础上提出一种融合领域词典的文旅问句匹配模型SBIDD(Improved SBERT Model for Integrating Domain Dictionaries)。模型利用Sentence-BERT对问句进行向量化表示,在孪生网络模型中融入领域词典,增强问句的领域词权重,使得模型对领域词汇的识别能力大幅提升。在自建数据集和公开数据集ATEC 2018 NLP上分别进行实验。结果表明,构建的模型与5种经典文本匹配模型DSSM、BiMPM、ESIM、IMAF、TSFR-RM及基线模型SBERT相比效果更优,F1值达到95.65%,比基线模型提升了2.75%,且模型在检索任务上表现出更高的适配性和鲁棒性。

融合时间序列特征的群组推荐模型

针对传统的群组推荐预定义策略过于单一,忽视用户与项目之间的交互性,无法捕捉时间推移所造成的用户偏好迁移等问题,提出一种融合时间序列和注意力机制的群组推荐模型TAGR(time-attitation group rememdation)。首先通过层次聚类划分出高相似度群组,其次引入时间序列模型来捕捉用户偏好迁移过程,获取每个时刻用户行为的兴趣偏好,并聚合各时刻兴趣偏好作为用户偏好。最后结合注意力机制,获得用户权重进行偏好融合来表示群组偏好,最终作为推荐模型的输入。通过在Goodbook与MovieLens数据集上与NCF、AGREE等模型进行对比,TAGR在归一化折扣累计增益和命中率2个指标上都得到了显著提高。

数字文化资源知识图谱多目标跨域推荐方法

数字文化资源具有资源丰富、种类繁多等特点。针对数字文化资源的推荐,考虑到其资源类型的异构多样性,又可以划分为多个不同的子类别域。然而目前大多数的推荐方法仅针对单个物品类别域,无法捕获用户偏好在多个域之间的传播,并有效地利用其他域所提供的信息。基于此,一种基于知识图谱的多目标跨域推荐模型(knowledge graph multi-target cross-domain recommendation model,KGMT)被提出。首先通过知识图谱构建不同域之间的联系,并生成其中有关用户和物品的全局域嵌入。然后采用一种基于自注意力机制的融合注意力模块来联合目标域和全局域的嵌入表征,有效地利用全局域信息来提高每个目标域的推荐效果。最后分别在豆瓣和国家文化云平台的真实数据集上进行了多组实验,实验结果证明KGMT的表现优于基线模型,同时提高了多个目标域的推荐指标。

融合双层注意力机制的群组偏好融合策略研究

当前推荐系统研究热点及其演变趋势之一是个性化推荐由关注个体推荐逐步转向关注群体推荐。目前多数群组推荐方法在选择偏好融合策略时习惯采用预定义的静态策略,而静态策略的特点就导致算法无法最大化模拟出群组决策的真实过程。在前人研究的基础之上提出一种基于双层注意力机制的群组推荐方法,该方法充分考虑到群体用户的差异性和相互影响,以及对于不同领域的决策权等问题。计算群组内每位成员对其他成员的注意力权重,获得群组成员特征向量,再计算每个成员在选择某一个项目的注意力权重,为群组生成对于该项目的偏好向量,以此来充分还原群组用户之间的交互以及群组决策的过程。通过在CAMRa2011和Meetup数据集上与COM、SIG、AGR、AGREE、FastGR等方法在不同参数条件下进行了对比,在归一化折扣累计增益和命中率两个指标上,相较基线模型平均提高了0.025 4和0.030 7。

基于深度语义的三阶段式问题检索模型

随着检索式问答技术的日趋成熟,如何有效利用现有的模型和检索工具,达到问答系统的整体优化,是亟待研究的现实问题.提出了一种基于深度语义的三阶段式问题检索模型(TSFR-RM),用于构筑智能客服问答系统.首先基于深度学习方法计算用户问题和知识库问题的文本表征相似度,锁定top-k候选答案集,同时赋予模型泛化检索的能力;其次针对用户问题与知识库问题答案对,构造多角度语义特征,进行精确比对计算;最后构造状态预测模型返回问题检索精准答案.通过真实文旅机构客服问答数据集实验及实际应用效果表明,该模型相较于其他基于特征和表征的问题检索模型,在精确率(precision)性能指标上最高提升9.3个百分点,提升优化了智能客服检索系统的准确性.

基于GIS的空间分析及其发展研究

空间分析是基于地理对象空间布局的地理数据分析技术,GIS的空间分析功能偏弱已经严重地阻碍了其作为空间数据分析和研究工具的使用。新兴的智能计算技术为空间分析提供了新的机遇和发展契机,神经网络、进化计算和人工生命在基于GIS的空间分析建模应用上具有巨大潜力。研究发现基于GIS空间分析的发展将向时空分析领域拓展,同时急待建立基于智能计算技术的时空分析的有效模型和统一框架,形成GIS与时空分析模型高度融合的时空决策平台。

基于本体的教学资源库及课件开发系统设计

针对教育界虽然拥有丰富的教学资源,而互联网上却缺少可重用的教学课件及微教学单元的现状,设计了互联网教学资源库知识构架及知识表达形式,给出了基于本体的教学资源库及课件开发系统的结构、功能及多媒体课件的管理方法。研究表明,基于本体的教学资源库提供可重用的教学资源库设计及开发部件,对教学资源库的框架描述上升到知识级,有利于对教学资源库的语义查询和共享使用。

个性化定制产品虚拟展示技术及实现

为了满足客户对产品的个性化定制和三维虚拟展示的需求,提出了一种基于Unity3D平台的个性化定制工业产品的三维虚拟展示技术。以陶瓷产品为研究对象,针对陶瓷产品的形状和纹理特征,描述了产品的个性化建模、定制交互设计方法以及基于Unity3D平台的二次开发的技术实现途径,采用Web3D技术结合数据库技术实现了个性化产品的定制和三维虚拟展示系统。通过所建立的定制与虚拟展示系统,用户可以实现在线对陶瓷产品进行个性化定制及设计,包括陶瓷产品的种类选择、样式选择、贴图选择及产品色系的选择设计,并可以通过旋转移动等操作实时观看所设计陶瓷产品的三维真实感效果,具有较好的实用价值,为个性化定制产品的定制和虚拟展示提供了可行的技术路线和支撑手段。

基于需求分解的知识系统建模方法

通过对知识系统的需求分析及分解,将知识系统的知识划分为领域概念知识(概念本体)、系统知识(任务本体)、控制知识和解释知识四大部分,初步建立了各部分的实现框架和相应的策略,其中概念本体描述知识系统的静态知识,任务本体描述知识系统的动态知识。以一个简化农业种植结构配置知识系统为例,建立了系统的应用本体求解模型。这种基于需求分解的知识系统建模方法具有面向问题和应用、实用性强等优点。

基于本体的MAS黑板模型研究

探讨了基于本体的多智能代理黑板知识库系统(OMSBS)的体系结构及OMABS中Agent的模型、组织和交互方式。提出了一种描述混合知识类型的本体知识表达模型。本体在OMSBS中作为领域知识智能代理的知识库,是知识共享和智能代理之间通讯的基础,设计了一类调度智能代理以控制知识源智能代理的行为。OMSBS可以表达混合类型知识及其推理过程,具有良好的适应性和扩展性,呈现出开放结构。

基于生成式对抗网络的文物图像超分辨率重建及色彩修复

针对历史久远导致的文物表面暗旧、图像褪色等问题,提出了一种生成式对抗网络的文物图像超分辨(cultural relics super-resolution generative adversarial network,CR-SRGAN)模型。该模型针对图像的退化问题,通过在原始的双三次插值下采样的基础上加上噪音和色彩暗旧处理得到高分辨图像对应的低分辨率图像数据集,然后利用得到的高低分辨率图像训练生成对抗网络,2个子网络不断博弈优化自身性能,最终实现暗旧文物图像的色彩修复和超分辨图像生成。实验结果表明:相比于双三次插值,CR-SRGAN在峰值信噪比(peak signal to noise ratio,PSNR)上平均提高了0.86 dB,在结构相似度(structural similarity,SSIM)上平均提高了0.04,另外从主观来看,褪色图像重建纹理时色彩也得到了一定的修复。

科研第二课堂培养创新思维能力研究与实践

针对地方及行业在新时期对创新型应用人才的实际需求,以及目前教学型高校大学生创新能力培养中出现的缺少长效机制及创新能力培养的不连续、不系统等问题,提出了科研第二课堂培养应用型人才创新能力的思路,给出了利用科研第二课堂,培养学生的创新意识、创新思维和创新技能的教学方法和培养模式,对大学生第二课堂的教育实践具有一定的借鉴意义。

一种VANET信息查询模式及分析

提出了一种基于车载自组织网络的车辆实时信息查询模式。在该模式下,实时交通及设施服务信息和用户查询都采用自组织网络传染病路由的方式进行数据传输和发布,只有当查询和实时报告信息在某个节点匹配后,为了节省查询时间,将查询结果信息通过基础设施网络返回查询节点。针对该车辆实时信息查询模式建立了系统模型,对系统查询机制和延时进行了理论分析和推导,并在STRAW/SWANS环境下验证了推导结论,为系统的参数设置和优化提供了理论依据。

面向应用领域的知识系统建模及实现

针对知识系统建模过程中不同类型知识的组织、表示、控制和实现等问题,将用户需求作为重要的切入点,通过对用户的需求分析和分解将知识系统数据结构划分为领域概念知识(概念本体)、领域系统知识(方法本体)、需求分解知识(需求本体)、知识系统控制知识和解释知识5大部分,建立了各部分的数据结构,明确了相互之间的关系。提出了基于层次案例规划(hierarchicalcase basedplanning,HCBP)的需求本体建立检索及面向目标的黑板控制结构和改进算法。实例测试表明,该方法不仅有利于不同类型知识块的重用,而且提高了系统的执行效率,大大缩短了知识系统的开发周期。

基于改进ASM模型的人体特征点定位和建模方法

针对传统的Procrustes归一化方法需要多次迭代且计算量大的缺陷,采用标记定位点的方法,以平均形状作为初始化规则模型,只经过一次平移旋转及缩放即可达到训练集对齐的效果;传统ASM算法计算时间较长且易使特征点因灰度模型相似而错误匹配,采用以特征点为中心,选取其周围的矩形区域灰度分布训练灰度模型,并选择24邻域点进行目标搜索。实验结果表明:改进的ASM方法进行人体特征点定位,减少了算法迭代次数,缩短了算法运行时间,提高了定位精度。

一种融合协同因子的知识图谱传播推荐模型

针对传统推荐模型存在的稀疏性和冷启动问题,引入知识图谱作为辅助信息,可缓解以上问题并具有可解释性。然而相比用户偏好传播,知识图谱更倾向知识传播且难以捕捉高阶关系。为此,文中将协同因子模块融合到知识图谱传播推荐算法中,以捕捉高阶关系和发现隐式模式。此外,设计了一个由共现矩阵密度参数构成的密度门,使得协同因子模块能够通过感知共现矩阵的稀疏性来控制输出。最后分别在电影、图书和音乐这3个公开数据集上进行对比实验,实验结果表明该模型在点击率预测场景中表现较好,在知识图谱实体关系难以解释用户兴趣偏好的数据集上指标提升明显。