深度学习在舌象分类中的研究综述

随着技术的快速发展和计算能力的提高,深度学习在舌象分类领域将得到广泛的应用。舌诊图像的舌象分类是中医舌诊客观化的重要组成部分。传统的舌诊是在基础理论的指导下,借助个人经验所做出的理解和判断,因而会具有一定的差异性和模糊性,影响诊断的可重复性。为了减少主观判断的误差,许多研究人员致力于通过深度学习实现中医舌诊的客观化、定量化和自动化。主要对基于深度学习的舌象分类方法研究现状进行分析梳理和归纳总结。在舌象分类研究中,以各类深度学习方法作为研究对象,将其划分为基于早期神经网络、卷积神经网络、区域卷积神经网络、迁移学习以及其他方法进行总结分析;对舌诊中的中医证候和疾病以及体质分类进行了讨论;用Kaggle上的公开舌诊数据集进行5折交叉验证实验,数据集为小样本齿痕舌,评估了基于深度学习和迁移学习分类方法;对舌诊图像质量、构建数据集方式、特征提取、单标签和多标签分类的研究发展进行了探讨和展望。

基于卷积神经网络的脑卒中中医辨证分型舌象分类研究

目的通过卷积神经网络学习脑卒中中医辨证分型与中医舌象特征分类的关系,为探索新的脑卒中临床标准化治疗方法提供诊断依据。方法本研究选取284名脑卒中患者作为研究对象,通过迁移学习微调改进DenseNet201用于特征向量的提取,使用信息增益、卡方检验、对称不确定性与ReliefF滤波算法并组合去重以选择特征向量,最后利用Cubic SVM形成交叉数据集在多种分类器上进行训练和测试,比较模型的准确性。结果试验结果表明,组合的四类特征提取算法使得准确率高于基础结果的3.26%,Cubic SVM分类器相对于其他分类器以及未改进的DenseNet201取得了最优结果,可以在脑卒中中医舌象辨证分型中提供至少为95.74%的准确率。结论本研究提出的TCM舌象分类模型的方法结构是有效的,可辅助临床中医师进行诊断治疗,值得临床推广和进一步深入研究。

基于多任务卷积神经网络的舌象分类研究

针对现有技术难以并行实现舌象多标签的高效分类和识别,难以利用标签间的相关性进行综合分析等问题,提出了一种基于多任务卷积神经网络的舌象分类方法,构建了一种多任务联合学习模型,尝试实现传统中医舌诊中对舌色、苔色、裂纹和齿痕等多个标签的同时辨识。首先,在共享网络层对所有标签进行联合学习,从特征提取的角度自动挖掘和利用标签间的相关性;然后,在不同子网络层分别完成特定类别的学习任务,从而消除多标签分类中的歧义性;最后,训练多个Softmax分类器以实现对所有标签的并行预测。研究表明,所提方法能以端到端的方式同时提取舌象的多个特征并直接进行分类识别,在各分类评价指标上的最低值约为0.96,多任务的总体识别时间为34ms,因此该方法在精度和速度上均具有明显优势。

融合注意力机制的多阶段舌象分类算法

为解决舌象分类算法容易受到面部无关信息以及舌部杂质信息的干扰,造成分类准确率下降的问题,设计一种融合注意力机制的多阶段舌象分类算法。通过舌部定位阶段提取不同感受视野的舌象特征进行融合,获得舌部区域,减轻面部信息干扰;在舌象分类阶段基于舌部区域,借助注意力机制模块抑制舌部杂质信息的干扰,提取精准特征,进行分类。将算法得到分类结果的P、R、F值与KNN、SVM和Inception-V4的作比较,结果均优于这3种算法。

基于多特征融合的中医症候舌象分类方法研究

中医舌象与脏器病理特征具有一定相关性,通常用来分析人体脏器病理变化。采用深度学习方法可以提取舌象深层特征,反映脏器病理变化,但现有的深度学习模型结构单一,无法有效提取舌象深层的局部和全局特征,也未结合临床舌象浅层特征,如边缘特征、纹理特征等进行综合分析,降低了模型的分类精度和泛化性能。本文提出了一种基于多特征融合的迁移学习分类网络,采用基于自适应注意力机制迁移学习框架,提取舌象深层特征并融合舌象边缘特征、纹理特征,提高舌象分类精度和泛化性能。实验结果表明,本文方法针对6分类中医证候舌象样本,模型分类精度为0.953±0.031,灵敏度0.952±0.032,F1值0.952±0.032,与典型分类模型相比,具有较高的分类精度和泛化性能。

基于灰度差分的舌象图像分类方法

传统的舌诊常常由于医师的个人主观以及光照、亮度等外部因素的干扰而造成诊断结果的不稳定。为了探究舌象特征与舌诊结果的映射关系,用客观的观测指标对舌象进行定性、定量的研究,把中医临床医学经验和传统的图像处理技术相结合已经成为一种趋势。舌象的纹理特征可以反映出舌象薄厚、腐腻、老嫩的程度,而非舌象传统的颜色和形状等特征所能体现。因此,本文提出了一种基于灰度差分的分类方法。该方法首先通过色偏检测,对舌象的图像进行颜色校正;然后借助GrabCut算法对舌象进行图像分割,从而保留舌象中舌体的有效部分;最后,结合灰度差分统计法对舌体的纹理特征进行特征提取和分析,并对不同类型的舌象图像实现分类。实验结果表明,本文的方法相较于其他的纹理及颜色分类方法在分类舌象老嫩的情况上更具优势。

基于深度迁移学习的舌象特征分类方法研究

舌象分析是计算机视觉技术在中医望诊的客观化、定量化应用研究中的一个重要课题,其中2个关键步骤是舌体分割和舌象分类。通过级联分类器在原始图像上实现自动舌体定位,再将分割后的舌体图像在GoogLeNet和ResNet上进行深度迁移学习训练,用得到的深度网络对齿痕、裂纹和舌苔厚薄3种主要舌象特征进行分类。从中医医疗机构中获取2245幅舌体图像建立数据集,对齿痕、裂纹和舌苔厚薄3类舌体图像进行分类实验,结果表明,所提方法分类性能优于传统的舌体图像特征分类方法,验证了基于深度迁移学习的舌象特征分类方法的有效性。

基于Mask Scoring R-CNN的齿痕舌象识别

目的:提出一种基于Mask Scoring R-CNN和迁移学习的舌象特征识别方法。方法:首先使用CNN提取特征,使用ResNet-101和特征金字塔网络(FPN)的主干网络,可以从低层次和高层次的网络中提取特征,根据不同比例绘制金字塔特征的级别。接着使用区域生成网络将从主干网络中提取的特征生成候选感兴趣区域(ROI)。最后为每个ROI检测并分割齿痕。结果:在232例样本的测试集上进行测试,F1分数为0.95,准确率为0.93,精确率为0.99,召回率为0.914。结论:该方法能够在小样本舌象数据集上有效识别齿痕特征、准确定位齿痕位置、标定齿痕大小、提取齿痕个数,该方法具有良好的有效性、通用性、泛化性,能够为后续齿痕严重程度分析提供依据。同时为疾病预防、移动医疗保健或从生物信息学角度跟踪疾病进展提供客观、方便的计算机辅助舌诊方法。

计算机辅助舌象分析诊断研究进展

介绍计算机辅助舌象分析诊断流程,阐述计算机技术在舌图像采集、舌图像预处理、舌象定位与分割、舌象分析中的应用情况,提出问题并对未来进行展望。

从舌象归类研究柴松岩治疗多囊卵巢综合征的用药规律

目的:根据患者舌象的分类分析名老中医柴松岩治疗多囊卵巢综合征(PCOS)患者的临床用药规律。方法:选择柴松岩治疗有效的多囊卵巢综合征患者126例,共计648诊次的处方资料,用Excel建立数据库,使用Visual Studio 2005软件进行数据分析,得出不同舌象柴老用药的规律,并与柴老学术思想及临床经验相印证。结果:总结不同舌象柴老的基础用药,与柴老认为PCOS病机以脾肾不足、痰湿阻滞为主,临床治疗以益肾健脾、养血通利为主要法则的学术观点一致。结论:根据舌象分析总结的柴松岩治疗PCOS的用药经验及学术观点,具有一定的临床指导意义。