一种基于long short-term memory的唇语识别方法

唇动视觉信息是说话内容的重要载体。受嘴唇外观、背景信息和说话习惯等影响,即使说话者说相同的内容,唇动视觉信息也会相差很大。为解决唇语视觉信息多样性的问题,提出一种基于long short-term memory(LSTM)的新的唇语识别方法。以往大多数的方法从嘴唇外表信息入手。本方法用嘴唇关键点坐标描述嘴唇形变信息作为唇语视频的特征,它具有类内一致性和类间区分性的特点。然后利用LSTM对特征进行时序编码,它能学习具有区分性和泛化性的空间-时序特征。在公开的唇语数据集GRID、MIRACL-VC和Oulu VS上对本方法做了针对分割的单词或短语的说话者独立的唇语识别评估。在GRID和MIRACL-VC上,本方法的准确率比传统方法至少高30%;在Oulu VS上,本方法的准确率接近于最优结果。以上实验结果表明,本文提出的基于LSTM的唇语识别方法有效地解决了唇语视觉信息多样性的问题。

基于Transformer-LSTM的闽南语唇语识别

针对端到端句子级闽南语唇语识别的问题,提出一种基于Transformer和长短时记忆网络(LSTM)的编解码模型.编码器采用时空卷积神经网络及Transformer编码器用于提取唇读序列时空特征,解码器采用长短时记忆网络并结合交叉注意力机制用于文本序列预测.最后,在自建闽南语唇语数据集上进行实验.实验结果表明:模型能有效地提高唇语识别的准确率.

单侧唇裂继发畸形中上唇过长的手术修复

目的:探讨一种新的治疗单侧唇裂继发畸形中上唇过长的手术方法。方法:利用口轮匝肌塑形、悬吊和红白唇皮肤粘膜脱套技术使上唇全层上提并切除多余的皮肤和肌肉,以达到两侧对称的效果。结果:本组患者37例患者中26例效果满意,11例效果基本满意。结论:本手术治疗方法设计合理,效果较可靠,对于单侧唇裂继发畸形上唇过长是一种较好的术式。

青春期早期唇腭裂继发上颌发育不足的治疗及其长期稳定性的临床研究进展

上颌前方牵引技术和牵张成骨技术前移上颌骨,是目前常用的治疗青春期早期唇腭裂继发上颌发育不足患者的2种方法。上颌前方牵引技术的疗效主要与其牵引时机、牵引装置相关,而关于其治疗后的长期稳定性尚存在争议。牵张成骨技术的疗效主要与其不同的牵张方式有关,包括面罩式牵引、坚固外固定牵引和内置式牵引3种,而有关该治疗技术的长期稳定性也与其牵张方式相关。现本文就这2种常用治疗技术的疗效及其长期稳定性的临床研究进展作一综述。

7个水稻品种(系)的光周期反应特性

在人工气候室中,研究了7个不同类型水稻品种(系)的抽穗期对16h 长光照和10h 短光照的反应特性.结果表明:(1)不论是早稻还是晚稻,籼稻还是粳稻,均存在明显的“长日促进期”,把水稻基本营养生长期分为长日亚期(BVP—Ⅰ)和短日亚期(BVP—Ⅱ)是合理的;(2)长日照对不同品种有不同程度的抽穗阻滞效应;(3)强感光的晚稻品种未观察到长日补偿期,在连续16h 长光照下未能进入幼穗分化.

牵引成骨术治疗唇腭裂继发颌骨畸形稳定性的研究进展

牵引成骨术(distraction osteogenesis,DO)在口腔颌面外科的应用越来越广,为唇腭裂继发颌骨畸形治疗提供了新的手段。DO按牵引类型主要分为内置式牵引(intraoral distraction osteogenesis, IDO)和外置式牵引(extraoral distraction osteogenesis, EDO)2种,在大距离前徙上颌骨时,唇腭裂牵引成骨术后的长期稳定性和复发的报道还很少。本文就牵引成骨治疗唇腭裂继发颌骨畸形术后的长期稳定性的临床研究进展作一综述。

基于BiLSTM-Attention唇语识别的研究

为了解决唇语识别中唇部特征提取和时序关系识别存在的问题,提出了一种双向长短时记忆网络(BiLSTM)和注意力机制(Attention Mechanism)相结合的深度学习模型。首先将唇部20个关键点得到的唇部不同位置的高度和宽度作为唇部的特征,使用BiLSTM对唇部特征序列进行时序编码,然后利用注意力机制来发掘不同时刻唇部时序特征对于整体唇语识别的不同权重,最后利用Softmax进行分类。在公开的唇语识别数据集GRID和MIRACL-VC上与传统的唇语识别模型进行实验对比。在GRID数据集上准确率至少提高了13.4%,在MIRACL-VC单词数据集上准确率至少提高了15.3%,短语数据集上准确率至少提高了9.2%。同时还与其他编码模型进行了实验对比,实验结果表明该模型能有效地提高唇语识别的准确率。

基于混合结构VANETs的安全消息传播算法

为提高车载网VANETs(vehicle Ad Hoc networks)中安全消息的传播性能,提出基于IEEE 802.11p和长期演进LTE(long-term evolution)的混合结构VANETs的安全消息传播算法,记为IEEE-LTE,其目的在于降低安全消息的传输时延和提高安全消息的传输成功率。当基于IEEE 802.11p网络割裂时,利用LTE形成节点间的连通,提高安全消息传播的性能。IEEE-LTE是基于簇化的拓扑,簇头具有IEEE 802.11p和LTE的双重接口,链接VANETs和LTE网络,簇头利用IEEE 802.11p与簇成员节点通信,利用蜂窝技术与基站通信。仿真结果表明,IEEE-LTE算法能够获取高安全消息传输成功率,维持低时延。

基于CNN与Bi-LSTM的唇语识别研究

针对唇语识别过程中唇部特征提取和时序关系存在的问题,提出一种卷积神经网络(CNN)和双向长短时记忆网络(Bi-LSTM)相结合的深度学习模型。利用CNN学习唇部特征,并将学习到的唇部特征送入Bi-LSTM进行时序编码,通过Softmax进行分类。建立NUMBER DATASET和PHRACE DATASET两个大型汉语数据集以解决汉语唇语数据缺失问题。将该模型与传统的唇语识别方法在两个数据集上进行实验对比,发现在NUMBER DATASET上识别准确率为81.3%,比传统方法提高了8.1%,在PHRACE DATASET上识别准确率为83.5%,比传统方法提高了9%。实验结果表明该模型能有效提高唇语识别的准确率。

有机硅在唇部彩妆品中的创新应用

通过成膜性能实验及观察膜的微观结构,研究MQ型有机硅树脂复配不同类型有机硅原料的薄膜特点,得到复配MT型有机硅树脂或复配硅胶混合物对薄膜柔韧性的提升明显。进一步通过抗迁移性能测试和感官评估的方法研究复配方案在唇釉配方中的表现,结果表明,MQ型与MT型有机硅树脂以4∶6的复配比例添加时,能够达到的持久力最佳。MQ型有机硅树脂与硅胶混合物复配后的不沾杯唇釉在滑感和不搓条的指标上均提升明显;同时还考察在哑光唇膏的配方中,通过添加有机硅弹性体,对比传统的硅粉配方,达到长效保湿、锁水的效果。在滋润度肤感评价中,也有明显提升。