基于双分支注意力U-Net的语音增强方法

针对语音增强网络对全局语音相关特征提取困难、对语音局部上下文信息的捕捉效果不佳的问题,提出了一种基于双分支注意力U-Net的时域语音增强方法,该方法使用U-Net编码器-解码器结构,将单通道带噪语音经过一维卷积后得到的高维时域特征作为输入。首先利用残差连接设计了基于Conformer的残差卷积来增强网络降噪的能力。其次设计了双分支注意力机制结构,利用全局和局部注意力获取带噪语音中更丰富的上下文信息,同时有效表示长序列特征,提取更多样的特征信息。最后结合时域频域损失函数构建了加权损失函数对网络进行训练,提高网络的语音增强性能。使用了多个指标对增强语音的质量和可懂度等进行评价,在公开数据集Voice Bank+DEMAND上的增强后的语音感知质量(PESQ)为3.11,短时可懂度(STOI)为95%,信号失真度(CSIG)为4.44,噪声失真测(CBAK)为3.60,综合质量测度(COVL)为3.81,其中PESQ相较于SE-Conformer提高了7.6%,相较于TSTNN提高了5.1%。实验结果表明,所提方法在语音降噪的各个指标都表现出更优的实验结果,能够完成语音增强任务的相关要求。

深度复数轴向自注意力卷积循环网络的语音增强

单通道语音增强任务中相位估计不准确会导致增强语音的质量较差,针对这一问题,提出了一种基于深度复数轴向自注意力卷积循环网络(deep complex axial self-attention convolutional recurrent network,DCACRN)的语音增强方法,在复数域同时实现了语音幅度信息和相位信息的增强.首先使用基于复数卷积网络的编码器从输入语音信号中提取复数表示的特征,并引入卷积跳连模块用以将特征映射到高维空间进行特征融合,加强信息间的交互和梯度的流动.然后设计了基于轴向自注意力机制的编码器-解码器结构,利用轴向自注意力机制来增强模型的时序建模能力和特征提取能力.最后通过解码器实现对语音信号的重构,同时利用混合损失函数优化网络模型,提升增强语音信号的质量.实验在公开数据集Valentini和DNS Challenge上进行,结果表明所提方法相对于其他模型在客观语音质量评估(perceptual evaluation of speech quality,PESQ)和短时客观可懂度(short-time objective intelligibility,STOI)两项指标上均有提升,在非混响数据集中,PESQ比DCTCRN(deep cosine transform convolutional recurrent network)提高了12.8%,比DCCRN(deep complex convolutional recurrent network)提高了3.9%,验证了该网络模型在语音增强任务中的有效性.

加强涉外法治体系建设的顶层擘画——论学习贯彻习近平总书记重要讲话精神

习近平总书记在中央政治局第十次集体学习时就加强涉外法治建设所作系列重要论述,是马克思主义法治理论中国化的最新成果。“长远所需”和“当务之急”,凸显了新形势下加强涉外法治建设的重要性和紧迫性。中国涉外法治建设成就巨大、来之不易,但仍存在不少短板弱项,亟待弥补。我国海外利益全方位多层次高速度拓展,外部法律风险与挑战前所未有,干涉与反干涉、制裁与反制裁外交斗争激烈,客观上要求强化法治思维,善用法治方式,“以法斗法”“以法制法”,丰富外交斗争法律“工具箱”,一体推进涉外立法、执法、司法、守法和法律服务,形成涉外法治工作大协同格局。必须坚持统筹推进国内法治和涉外法治,不断完善涉外法治体系和能力建设,为中国式现代化行稳致远营造有利法治条件和外部环境。

法律权力概念辩疑

权力是法律主体通过实施法律所规定宣告式言语行为、从而产生法律地位的资格,这里的法律地位与宣告式言语行为所包含的意愿相一致。法律权力概念具有普遍性,并非是由公法所专享的概念。法律权力既可以改变法律主体自身的法律地位,也可以改变他人的法律地位,且不以他人的同意为必要条件。法律权力具有构成性,它的核心在于使得行为人的意愿产生与之一致的法律地位,而不在于对行为人表达该意愿的行为加以规制。法律权力即便有时可以作为法律权利的构成因素,也不能将之视为法律权利的特殊形态,两者的内涵具有明显的差别。

60岁以上原发性肝癌患者术后谵妄发生风险预测模型的构建及验证

目的分析构建老年原发性肝癌患者术后谵妄发生风险预测模型,并验证其应用价值。方法采用回顾性分析方式,选择2020年3月—2023年1月武汉科技大学附属天佑医院收治的老年原发性肝癌患者175例,记录患者术后谵妄发生率,并就可能影响谵妄发生的各因素进行单因素及多因素回归分析,构建其预测模型,并对该预测模型的临床应用价值进行验证分析。计量资料两组间比较采用成组t检验,计数资料两组间比较采用χ^(2)检验,对可能影响老年原发性肝癌患者谵妄发生的各因素进行单因素及多因素Logistic回归分析,采用ROC曲线分析模型对患者谵妄发生的预测价值。结果175例老年原发性肝癌患者中,发生术后谵妄患者41例,发生率为23.43%。单因素分析结果显示,年龄、合并两种以上基础疾病、肝功能ChildPugh分级、术前血乳酸值、手术时间、术前血红蛋白以及术前血清白蛋白与患者术后谵妄发生有关(t=3.534,χ^(2)=12.000,χ^(2)=4.938,t=7.561,t=5.768,t=5.141,t=6.148,P值均<0.05)。对上述单因素分析具有统计学意义的各因素进行多因素Logistic回归分析结果显示,手术时间、术前血红蛋白、术前血清白蛋白以及年龄进入回归模型(P值均<0.05),为影响老年原发性肝癌患者术后谵妄发生的独立危险因素。根据多因素Logistic回归分析结果,构建老年原发性肝癌术后谵妄预测模型:-2.222+3.678×手术时间-2.441×术前血红蛋白-3.904×术前血清白蛋白+1.807×年龄。对上述预测模型的预测效果进行分析,该模型ROC曲线下面积为0.931(P<0.001,95%CI:0.890~0.971),最佳截断值为-1.604(敏感度为87.80%,特异度为87.30%)。前瞻性纳入2023年2月—2023年6月在武汉科技大学附属天佑医院行根治性治疗手术的老年原发性肝癌患者56例进行模型验证,根据上述建立的风险预测模型,其中高危组患者14例,低危组42例,高危组患者术后谵妄发生率显著高于低危组(71.43%vs 11.90%,χ^(2)=16.056,P<0.05)。结论年龄、手术时间、术前血清白蛋白以及术前血红蛋白是影响老年原发性肝癌患者术后谵妄发生的重要因素,根据上述因素拟定相应的风险预测模型,且该模型预测效果良好,值得进一步深入分析。

基于统计的语音传输指数预测方法实验对比

良好的言语可懂度是语言声厅堂声环境设计的重要目标,语音传输指数(STI)是言语可懂度的客观评价参量。在设计阶段就能对STI做出准确预测,对语言声厅堂的声环境控制具有重要意义。基于统计的STI预测方法是IEC 60268-16标准推荐的主要预测方法,但对于使用该方法时的影响因素以及预测精度,当前仍缺少系统性的实验对比研究。该文使用4个房间中13个测点共52种听音条件下的STI实测结果,分析了基于统计的STI预测方法的精度以及影响因素,结果表明:考虑和不考虑直达声的两种预测方法,都存在着系统偏差,预测结果普遍小于实测值;在距离声源较近测点的预测都产生了较大误差,在距离声源较远测点的预测误差相对较小;基于单指数衰变声场不考虑直达声的预测方法操作简单,但误差较大,52种听音条件的平均误差达到了-0.032,最大误差达到了-0.131;考虑直达声的预测方法误差相对较小,52种听音条件的STI平均误差为-0.018,最大误差为-0.080;预测精度主要受所使用的信噪比、扬声器的指向性、房间的声场条件等因素影响,并对这些因素的影响进行了对比分析。结果可为STI预测方法的使用者提供参考。

多模态特征的越南语语音识别文本标点恢复

越南语语音识别系统输出的文本序列缺少标点符号,恢复识别文本标点有助于消除歧义,更易于阅读和理解。越南语语音识别文本中常出现破坏语义的错误音节,基于文本模态的标点恢复模型在识别带噪文本时存在标点预测不准确的问题。利用越南语语音中的语气停顿及声调变化指导模型对带噪文本作出正确的标点预测,提出多模态特征的越南语语音识别文本标点恢复方法,利用梅尔倒谱系数(MFCC)提取语音特征,利用预训练语言模型提取文本上下文特征,基于标签注意力机制实现语音与文本多模态特征融合,增强模型对越南语带噪文本上下文信息的学习能力。实验结果表明,相较于基于Transformer和BERT提取文本单一模态特征的标点恢复模型,所提方法在越南语数据集上精确率、召回率和F1值均至少提高10个百分点,验证了融合语音与文本特征对提升越南语语音识别带噪文本标点预测精确率的有效性。

脑卒中后构音障碍患者构音器官运动功能与言语清晰度的相关性

目的 探讨脑卒中后构音障碍患者构音器官运动功能与言语清晰度(SI)之间的关系。方法 选择2020年11月至2023年10月北京博爱医院收治的住院脑卒中后构音障碍患者67例,采用SI测试和Frenchay构音障碍评价(FDA)进行评定,SI≤65%为低SI组,SI> 65%为高SI组。结果 除颌位置外,高SI组FDA各项评分均低于低SI组(Z> 1.543, P <0.05)。FDA各项评分均与SI呈负相关(r <-0.343, P <0.001),其中与唇运动、舌运动和喉控制3项评分的相关性最大(r <-0.6)。结论 脑卒中后构音障碍患者构音器官运动功能与SI相关,特别是唇、舌、喉的功能。

基于跨语种声学分析的帕金森病检测方法

基于语音的帕金森病检测具有非介入式、成本较低和无创等优点。当前公开的帕金森病语音数据集大多来源于单一语种,存在数据容量不够大、受试者母语发音特点差异小等特点。单一语种数据集上训练的帕金森病检测模型在面对跨语种语音数据时,将出现性能下降。为避免语种差异带来的影响,提升模型在跨语种场景下的检测性能,该文引入对抗迁移学习和特征解耦的思想,提出一种帕金森病跨语种声学分析模型(CLSAM)。首先,将基于多头自注意力机制的Transformer编码块和多层神经网络级联,组成特征提取器模块,用于将从源域和目标域语音中提取的原始Fbank语音特征初步解耦为两个向量,即域不变病理信息表征向量和域信息表征向量;设计了目标任务不一致的双重对抗训练模块,显式地分离域不变病理信息和域信息;最终,提取跨语种语音数据中的域不变病理信息用于帕金森病检测。该文在公开的MaxLittle帕金森病语音数据集以及自采的帕金森病语音数据集上,采用十折交叉验证的方法验证了所提方法的有效性。实验结果表明:与传统机器学习方法以及现有的迁移学习算法相比,所提模型在跨语种场景中的检测准确率、敏感度和F1分数等性能均有明显提升。

人工耳蜗植入年龄对患儿听觉言语变化规律的影响

目的 探究双耳重度感音神经聋(sensorineural hearing loss,SNHL)患儿人工耳蜗植入(cochlear implantation,CI)后听觉言语变化规律及影响因素。方法 前瞻性选取2018年1月至2021年6月于河南科技大学第二附属医院耳鼻咽喉科行单侧CI治疗的患儿216例,符合纳入、排除标准203例,人工耳蜗开机后漏诊32例,最终纳入171例。R软件spline函数拟合术后24个月听觉能力轨迹;多变量线性混合回归模型动态分析影响听能发育的协变量;Cox模型明确年龄与听能发育的关联性;E值法行敏感性检验;Spearman秩相关分析年龄与语言交流相关性。结果 CI植入后患儿语前听能恢复轨迹为Y=16.14+10.89X-0.54X2+0.01X3(0≤X≤24)。CI植入前协变量为听阈、语言模仿能力和术前佩戴助听器,CI植入后6~12月协变量为语言模仿能力和术后佩戴助听器,CI植入后24月协变量为术后佩戴助听器和语训时长。经Cox模型调整后,植入年龄与听能发育程度存在显著负关联效应(HR=2.07,95%CI:1.81~2.30)。在CI植入后3~24月,患儿轮流交流能力、主动交流能力、视觉交流能力和听觉注意力逐步提高,并与年龄呈负相关性。结论 CI植入年龄越早SNHL患儿术后听觉言语发育越好,早发现早治疗是提高患儿术后听力恢复、语言发展的重要措施。

基于机器学习的语音增强技术

主要研究基于机器学习的语音增强技术,以提升语音信号的质量。首先,介绍基于机器学习的语音增强系统框架。其次,详细探讨谱减法与深度神经网络(Deep Neural Network,DNN)相结合的语音增强方法的数学原理。最后,采用NOISEX-92数据集测试与评估提出的方法。实验结果表明,基于谱减法与DNN的语音增强方法在提升信噪比和语音清晰度方面取得显著的效果,能够有效提升语音通信质量。

构音障碍语音识别算法研究综述

构音障碍作为一种医学难症,目前主流的语音识别技术并不能很好地适应这一领域的需求。同时针对构音障碍的语音识别技术利用预训练及个性化训练相结合的方式,通过数据驱动进一步提升了算法性能,识别字错误率进一步降低,但是目前针对构音障碍的语音识别技术离实际商用还存在一定的距离,该技术的发展受数据规模和技术的限制。到目前为止,尚未出现针对构音障碍语音识别方面的综述文章,亟需将该领域中各种数据集的构建方法和先进技术进行对比分析,以方便进入该领域的研究人员快速获取这方面的知识。对现有数据集、主流算法、评估方式进行了调研,总结了国内外主流构音障碍数据集的规模、形式和特点。分析了构音障碍语音识别的主流算法,并给出了不同算法的性能和特点。最后,研究了基于构音障碍患者的严重等级的算法模型性能评价指标,并讨论了未来的研究方向,以期能够为从事构音障碍语音识别的研究人员提供帮助,助力该领域的快速发展。

自动语音识别模型压缩算法综述

随着深度学习技术的发展,自动语音识别任务模型的参数数量越来越庞大,使得模型的计算开销、存储需求和功耗花费逐渐增加,难以在资源受限设备上部署.因此对基于深度学习的自动语音识别模型进行压缩,在降低模型大小的同时尽量保持原有性能具有重要价值.针对上述问题,全面综述了近年来该领域的主要工作,将其归纳为知识蒸馏、模型量化、低秩分解、网络剪枝、参数共享以及组合模型几类方法,并进行了系统综述,为模型在资源受限设备的部署提供可选的解决方案.

基于多维度注意力机制和复数Conformer的单通道语音增强方法

为提高被噪声干扰的语音的可理解性和语音质量,针对用于语音增强的深度复数网络对语音复数谱中关键声学特征提取不充分、关联信息建模不合理的问题,提出了基于多维度注意力机制和复数Conformer的单通道语音增强方法(SE-MDACC)。在复数U-Net架构下引入复数Conformer,对语音幅度和相位的相关性进行建模;利用多维度注意力机制,构造更加丰富的特征来增强卷积层的表示能力;在残差连接中加入注意力门控机制强化重构语音的细节信息。实验结果显示,相比于深度复数卷积递归网络,SE-MDACC的客观评价指标语音质量感知评估和短时客观可懂度分别提升15.299%、1.462%,表明SE-MDACC可充分提取语音声学特征并对幅度和相位相关性进行合理建模,有效提升语音质量和可理解性。

李氏一指禅推拿联合Vocastim-Master吞咽言语诊治仪治疗脑卒中吞咽功能障碍的疗效观察

目的观察李氏一指禅推拿联合Vocastim-Master吞咽言语诊治仪治疗脑卒中吞咽功能障碍的疗效。方法将60例脑卒中吞咽功能障碍患者随机分为对照组和观察组,每组30例,实际对照组完成30例,治疗组29例。两组均予以常规内科治疗及常规吞咽功能康复训练,对照组采用Vocastim-Master吞咽言语诊治仪治疗,观察组在对照组治疗的基础上联合李氏一指禅推拿治疗。治疗前和治疗3周后分别采用吞咽功能评分、改良曼恩吞咽能力评估量表(modified Mann assessment of swallowing ability,MMASA)评价吞咽功能,采用临床肺部感染评分(clinical pulmonary infection score,CPIS)评价肺部感染情况,采用改良Barthel指数(modified Barthel index,MBI)评价日常生活活动能力,采用肌骨超声测定舌骨—甲状软骨间距离缩短率(approximation shortening rate,ASR),并根据治疗前后洼田饮水试验分级变化判定临床疗效。结果与治疗前比较,治疗后两组患者吞咽功能评分、CPIS、舌骨与甲状软骨之间的最短距离(minimum hyoid-larynx approximation,MIHLA)显著降低(P<0.05),MMASA评分、MBI、ASR显著升高(P<0.05);观察组吞咽功能评分、CPIS、MIHLA降低程度和MMASA评分、MBI、ASR升高程度显著大于对照组(P<0.05)。观察组基于洼田饮水试验分级的临床疗效明显优于对照组(P<0.05)。结论李氏一指禅推拿联合Vocastim-Master吞咽言语诊治仪治疗能够改善脑卒中的吞咽功能障碍患者吞咽功能,降低肺部感染发生率,提高日常生活活动能力,修复舌骨与甲状软骨相互靠近的机制。

“潜水”还是“学习”:在线协作学习中“在线倾听”行为再审视

学习者“在线倾听”行为是一种复杂的社会化活动,是在线协作学习对话的前提和基础,但并未引起正视和积极理解。基于对话教学理论视角,研究采用滞后序列分析、内容分析、社会网络分析等研究方法,分析学习者“在线倾听”行为模式特征,及其对学习者认知过程、批判性思维和学习绩效的潜在影响。研究发现,学习者“在线倾听”行为是在线协作学习的常态行为,存在显著性差异,在时间结构上呈现周期性和阵发性;专注的“在线倾听”,高频次的回顾/反思倾听,有益于学习者高水平知识建构和批判性思维发展;高、低绩效学习者群体的“在线倾听”行为模式存在显著差异,高绩效组“在线倾听”行为更专注、行为路径更完整。这些发现为理解和解释数字教育场景下在线学习发生的内隐规律和内在机制提供理论支撑和实践参考。

言语刺激强度对健听者听配能的影响——瞳孔测量研究

目的探究言语刺激强度对健听者听配能的影响。方法选取38例健听成人,采用语速x刺激强度的言语理解测试范式,将瞳孔扩张听配能测量和听觉任务完成准确度及反应速度相结合,观察阈上范围内20 dB SPL的强度变化对听配能和任务表现的影响。结果语速对平均瞳孔扩张有显著影响(P<0.001,η_(p)^(2)=0.618),但刺激强度对平均瞳孔扩张无显著影响(P=0.213,η_(p)^(2)=0.040)。增加言语刺激强度能够显著提升任务反应速度(P=0.043,η_(p)^(2)=0.099),在正常语速下,还能够显著提升言语理解准确度(P<0.001,η_(p)^(2)=0.374)。结论健听人群听觉舒适阈范围内将言语声刺激强度增加20 dB SPL能够提高聆听效率,但该效应可能并不是通过改变可听度或唤醒度,从而影响听配能结果,可能是改变听觉处理速度。

老年性聋患者认知功能初探

目的探究老年性聋患者的听力异常与认知功能是否具有相关性,为认知功能减退的听力学干预提供参考。方法本研究纳入100名老年性聋患者,均进行纯音测听、言语识别能力评估后行简易精神智能状态量表(mini-mental stateexamination,MMSE)评估。结果本研究中,男性46例,女性54例,患者平均年龄为71.20±6.86岁,60~69岁组MMSE得分27.64±2.57;70~79岁组26.56±2.14,≥80岁组23.1±2.12,3组之间比较均具有统计学意义(P<0.05),其中每两组之间比较均具有显著差异(P<0.05)。轻度听力损失组MMSE得分28.50±2.38,中度听力损失组26.29±2.60,中重度听力损失组26.13±3.06,重度听力损失组27.17±2.59,极重度听力损失组26.25±2.55,各组之间比较无统计学差异(P>0.05)。低言语识别能力组24.25±2.51,高言语识别能力组26.34±2.73。老年性聋患者言语识别能力越低,其MMSE得分越低,且两组之间差异具有显著性(P<0.05)。结论年龄越大、听力损失程度越重以及言语识别能力越低下,老年性聋患者的认知功能越容易受到影响。

面向域外说话人适应场景的多层级解耦个性化语音合成

个性化语音合成任务旨在合成特定说话人音色的语音。传统方法在合成域外说话人语音时,与真实语音存在明显音色差异,解耦说话人特征仍较为困难。本文提出面向训练时未出现的域外说话人适应场景下的多层级解耦个性化语音合成方法,通过不同粒度特征融合,有效提升零资源条件下域外说话人语音合成性能。本文方法采用快速傅里叶卷积提取说话人全局特征,以提高模型对域外说话人的泛化能力,实现句子粒度的说话人解耦;借助语音识别模型解耦音素粒度说话人特征,并通过注意力机制捕捉音素级音色特征,实现音素粒度的说话人解耦。实验结果表明:在公开数据集AISHELL3上,本文方法对域外说话人在客观评价指标说话人特征向量余弦相似度上达到0.697,相比基线模型提高6.25%,有效提升对域外说话人音色特征建模能力。

基于小波散射变换和MFCC的双特征语音情感识别融合算法

为了充分挖掘语音信号频谱包含的情感信息以提高语音情感识别的准确性,提出了一种基于小波散射变换和梅尔频率倒谱系数(Mel-frequency cepstral coefficient,MFCC)的排列熵加权和偏差调整规则的语音情感识别融合算法(PEW-BAR)。算法首先获取语音信号的小波散射特征和梅尔频率倒谱系数的相关特征;然后按尺度维度扩展小波散射特征,利用支持向量机得到情感识别的后验概率并获得排列熵,并使用排列熵对后验概率进行加权;最后采用一种偏差调整规则进一步融合MFCC的相关特征的识别结果。实验结果表明,在EMODB、RAVDESS和eNTERFACE05数据集上,与传统的基于小波散射系数的语音情感识别方法相比,该算法将ACC分别提高了2.82%、2.85%和5.92%,将UAR分别提升了3.40%、2.87%和5.80%,IEMOCAP上提高了6.89%。