从语义三角到语义点——谈外语自动化学习模式

从语义三角原理得知语言学习牵涉到匹配这一认知过程，而一定数理的匹配可达到语义点状态。语义三角状态和语交状态是语言学习过程中反应状态的两个端点，它们中间存在不同反应状态，词频是产生不同反应的根源。根据Anderson认知理论，构建了外语自动化学习模式。

基于自动化机器学习建立结肠镜肠道准备失败风险预测模型及评价

目的 鉴于机器学习(ML)在医学模型中的广泛应用,以及其出色的学习和泛化特性,该研究采用自动化机器学习(AutoML)结合患者一般资料和临床状况,早期评估结肠镜前肠道准备的失败风险。方法 回顾性分析2022年1月-2023年1月在该院接受结肠镜检查的患者的临床资料。波士顿肠道准备评分(BBPS)≤5分被定义为肠道准备失败,> 5分为合格。将患者按8∶2的比例随机划分了训练集(n=303)和验证集(n=76)。采用最小绝对收缩和选择算子(LASSO)逻辑回归(LR)模型进行特征选择,构建列线图评分系统,并使用基于5种算法的AutoML建立模型。模型性能通过受试者操作特征曲线(ROC curve)、校准曲线、基于LR (Lasso回归)的决策曲线分析(DCA)、SHAP图和力图进行评估。结果 在379例患者中,105例(27.7%)肠道准备失败(BBPS≤5分)。21个研究变量在经LASSO 5折交叉验证后,获得10个变量,并构建了一款列线图评分系统,通过校正曲线表明了LASSO模型的可靠性。使用H2O平台和5种算法[梯度提升机(GBM)、深度学习(DL)、广义线性模型(GLM)、堆叠集成(Stacked Ensemble)和分布式随机森林(DRF)]开发了67个模型。经比较,Stacked Ensemble表现最佳,其曲线下面积(AUC)为0.871,对数损失值(LogLoss)为0.403,均方根误差(RMSE)为0.354,优于其他模型和传统的LR模型。变量重要性贡献图显示,服完泻药至检查间隔时间、便秘、是否完整服完泻药、年龄和家属陪同等因素对肠道准备失败的预测有重要影响。最后,SHAP图和力图揭示了变量在二分类预测结果中的分布特征,以及各变量对预测结果的影响。结论 基于Stacked Ensemble算法的AutoML模型,对肠道准备失败风险的早期预测有明显的临床实用性。同时,该研究构建了一款可供临床使用的列线图评分工具。

基于元学习的自动化异常检测

在实际的工业生产环境中,常常需要监控机器相关指标的运行状况,对于一个多变量的无监督异常检测任务,由于缺乏带标签的数据,并且同一个检测算法在不同数据集上的性能表现不同,模型设计依赖于人工调整,所以如何高效选择一个异常检测模型并完成超参数调整成为了一个亟待解决的问题。在这篇文章中,我们建立了一个异常检测模型自动选择机制,称为AutoAD (Auto Anomaly Detector)。AutoAD利用了历史数据上异常检测模型的表现和数据集本身的特征,基于元学习的想法,通过深度神经网络自动选择一个有效的异常检测模型并调优,用于新的数据集的异常检测。实验结果表明了在开源数据集上AutoAD在异常检测模型自动选择方面具有有效性。

基于自引导进化策略的高效自动化数据增强算法

深度学习在图像、文本、语音等媒体数据的分析任务上取得了优异的性能.数据增强可以非常有效地提升训练数据的规模以及多样性,从而提高模型的泛化性.但是,对于给定数据集,设计优异的数据增强策略大量依赖专家经验和领域知识,而且需要反复尝试,费时费力.近年来,自动化数据增强通过机器自动设计数据增强策略,已引起了学界和业界的广泛关注.为了解决现有自动化数据增强算法尚无法在预测准确率和搜索效率之间取得良好平衡的问题,提出一种基于自引导进化策略的自动化数据增强算法SGES AA.首先,设计一种有效的数据增强策略连续化向量表示方法,并将自动化数据增强问题转换为连续化策略向量的搜索问题.其次,提出一种基于自引导进化策略的策略向量搜索方法,通过引入历史估计梯度信息指导探索点的采样与更新,在能够有效避免陷入局部最优解的同时,可提升搜索过程的收敛速度.在图像、文本以及语音数据集上的大量实验结果表明,所提算法在不显著增加搜索耗时的情况下,预测准确率优于或者匹配目前最优的自动化数据增强方法.

自动化机器学习在预测重症监护病房感染患者死亡中的应用

目的探索自动化机器学习(AutoML)在预测重症监护病房(ICU)感染患者死亡中的应用。方法以2019~2020年四川省自贡市重症监护病房开源数据库中感染患者作为研究对象,基于H 2O平台建立AutoML死亡预测模型。算法包括梯度提升模型(GBM)、极端梯度增强算法(XGBoost)、广义线性模型(GLM)、深度学习(DL)、随机森林(RF)。数据集按照3∶1随机分为训练集和验证集,训练集用于模型的构建,验证集用于评价模型效果。模型表现指标为受试者工作特征(ROC)曲线下面积(AUC),此外通过变量重要性排序、Shapley加法解释图(SHAP)、部分依赖关系和独立模型局部解释(LIME)等方法来解释模型。结果共计1151和380例患者分别被纳入训练集和验证集来进行AutoML建模。在验证集中,基于XGBoost算法的AutoML模型表现最优,拥有最高的AUC(0.753)和最高的准确率(0.713),优于第2名GBM模型(AUC 0.748)、第3名GLM模型(AUC 0.745)。在XGBoost模型中,重要的变量包括诊断疾病、活化部分凝血活酶时间(APTT)、胱抑素C(CysC)、年龄、肌酸激酶同工酶(CK-MB)、脑利钠肽(BNP)、国际标准化比值(INR)、钾离子(K^(+))、白蛋白(ALB)、乳酸(Lac)。结论通过AutoML建模在预测ICU感染患者死亡结局应用中呈现较好表现。AutoML在临床研究中具有良好的应用前景,但该模型仍需要进行广泛的外部验证。

自动化机器学习在眼部疾病识别及分类中的初步应用

目的:探讨自动化机器学习技术在眼部疾病识别及分类中的应用价值。方法:利用百度的图形化深度学习平台EasyDL,建立糖尿病视网膜病变、高度近视眼底病变、角膜溃疡等常见眼病的深度学习模型,并利用相关模型进行疾病的诊断及分类。结果:依据使用的数据集大小及质量不同,利用EasyDL构建的深度学习模型疾病识别及分类准确率可以达到85%～94%左右。结论:EasyDL等自动化机器学习平台非常适合作为人工智能学习的入门工具,帮助临床医生更好地理解及使用人工智能技术,促进人工智能在医疗领域的普及。

自动化特征工程综述

机器学习基于信息可以更加高效地做出预测和决策,因此在数据驱动模型中发挥了重要的作用。特征工程是提高机器学习系统高效性的决定性因素,但却是最耗时的任务之一。因此考虑到人为错误和极端的时间成本,自动化特征工程应运而生。近年来,自动化特征工程得到了飞速的发展,解放了大量且乏味单调的人工操作。本文对自动化特征工程的算法进行系统性的整理和总结,为后续研究提供了参考。

面向分类的自动化机器学习模型构建

为提升机器学习场景下分类与预测任务模型的准确性和普适性,基于分层级联结构与改进的遗传算法构建自动化机器学习模型,将其应用于分类场景,并采用OpenML公共数据集进行实验。结果表明,这种创新的方法不仅能并行、自动地构建自动化机器学习模型,而且能快速、有效地进行分类与预测。构建的自动化机器学习算法准确率较高,经过多轮验证,准确率可达到94.4%,相比使用单个分类器提高了5%~10%。

基于机器学习构建非酒精性脂肪性肝病预测模型

目的利用H2O平台自动化机器学习(AutoML)框架,建立非酒精性脂肪性肝病的预测模型。方法收集苏州大学附属第一医院体检中心人员资料。利用临床结构化数据,基于H2O AutoML框架,建立预测非酒精性脂肪性肝病发病的多种机器学习算法模型,绘制ROC曲线并建立混淆矩阵来评价模型效力,同时对重要变量进行可视化呈现。结果自动化建立28个机器学习模型。最佳模型为梯度提升机(GBM),Gini值为0.80,R2为0.42,LogLoss为0.45。模型中重要性绝对值排名前五的变量为:三酰甘油(95%CI:-1.053~-0.887)、天冬氨酸转氨酶(95%CI:-20.433~-16.927)、高密度脂蛋白(95%CI:0.232~0.268)、铁蛋白(95%CI:-80.533~-68.607)及血糖(95%CI:-0.576~-0.424)。最佳模型GBM在验证集中特异度为0.818,敏感度为0.715,AUC为0.766,优于基于XGBoost、逻辑回归、随机森林和深度学习等算法类型。结论非酒精性脂肪性肝病的机器学习模型为筛查非酒精性脂肪性肝病患者提供了新的诊疗思路。

基于C++源码编程的AI智能自动化桌子

经过调研分析得出,现有的学习桌并不能根据使用者的需求自动调节桌面坡度及高度,均需手工调节,且坡度、高度均为固定值,调节费时费力,通常不能通过桌子完成自动调节,需要使用者手动调节,不适用人们日常的工作学习环境。为了适应大众在日常工作学习中的不同需求,让调节更准确、省事,决定制作基于C++源码编程的AI智能自动化桌子,让学习桌不仅能够根据使用需求自动调节坡度和高度,还可以通过手机远程控制。

自动化张量分解加速卷积神经网络

近年来,卷积神经网络(CNN)展现了强大的性能,被广泛应用到了众多领域.由于CNN参数数量庞大,且存储和计算能力需求高,其难以部署在资源受限设备上.因此,对CNN的压缩和加速成为一个迫切需要解决的问题.随着自动化机器学习(AutoML)的研究与发展,AutoML对神经网络发展产生了深远的影响.受此启发,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN加速模型,有效地解决了张量分解中,人工选择秩带来的误差问题,能够有效地提升CNN的压缩和加速效果.通过在MNIST和CIFAR-10数据集上的严格测试,与原网络相比,在MNIST数据集上准确率稍微下降了0.35%,模型的运行时间获得了4.1倍的大幅提升;在CIFAR-10数据集上,准确率稍微下降了5.13%,模型的运行时间获得了0.8倍的大幅提升.

基于知识图谱和自动机器学习的软件缺陷预测

不稳定和召回率低效的软件缺陷预测模型难以在行业领域应用,为解决稳定和高效各项性能评价指标的软件缺陷预测模型在工程实践应用的问题,提出了一种基于知识图谱和自动化机器学习的软件缺陷预测方法AutoKGGAS,首先获取软件缺陷预测模型数据,对知识建模、知识获取、知识融合、知识储存与知识计算等知识图谱构建技术研究,实现知识图谱推荐优质软件缺陷预测模型作为自动化搜索的热启动输入条件,根据不同的软件缺陷预测评价指标,优化不同最佳的模型结构.其次实证研究采用NASA开源数据集实验对象和六种性能评价指标,实验结果表明,AutoKGGAS自动化软件缺陷预测模型在不同数据集不同评价指标方面,性能优于知识图谱推荐的传统经典软件缺陷预测模型.自动化软件缺陷预测模型为航天软件缺陷预测辅助代码审查测试提供了原型,在工程实践应用方面具有重要的意义.

Canny-Gauss通用域图像隐写算法

自适应图像隐写算法是一种以图像为载体,通过手工设计嵌入失真代价,指导隐写码在图像载体中嵌入秘密消息的信息隐藏算法.长期以来,这类算法将秘密消息尽可能隐藏在图像纹理更深更复杂的位置以对抗基于富特征的隐写分析检测.然而,伴随着深度学习在隐写分析领域的快速发展,人工设计的自适应算法受到严重挑战.此外,基于加性失真的隐写编码在嵌入消息时,复杂纹理向边界聚集所产生的统计异常问题也亟待解决.因此,本文总结了各类人工失真代价的优势和不足,归纳出当前自适应算法在空域的设计范式,并结合UNIWARD在各嵌入域的转换规则,提出基于嵌入失真代价ρ的通用域隐写转换公式.然后,从隐写嵌入失真代价与图像纹理稀疏关系的角度出发,以Canny算子划分纹理、Gauss模糊缩放轮廓、AutoML搜索阈值的方式,提出了一种通用域隐写算法Canny Gauss.实验结果表明,本文所提通用域隐写转换公式能够有效应用于现有主流算法.同时,在UNIWARD所有可行嵌入域中,本文所提算法表达出更高嵌入失真代价稳定性和隐写隐蔽性,在第三方权重加持下的深度隐写分析表现与UNIWARD相比至少提升2.6%、最高提升14.6%.这为自适应隐写算法的通用域设计,以及抵抗基于纹理特征的深度隐写分析检测提供了新思路.

基于自动化机器学习的多变量光伏发电功率预测研究

随着“双碳”发展目标的提出,以光伏发电为代表的新能源技术发展具有重要的战略意义。然而光伏发电率不稳定,因此,实时精准地预测光伏发电功率,对电网系统的平稳运行与调度具有重要意义。目前,机器学习已广泛应用于光伏功率预测,但需要足够的专业知识优化模型。自动化机器学习技术能够自动搜索各种模型空间选择最优的模型和超参数,无需人工搭建模型以及参数调节。使用自动化机器学习技术对光伏发电功率进行预测,针对缺失数据,提出了一种基于随机森林改进的光伏时间序列数据缺失值填充方法。在多变量光伏数据集上的实验结果表明,XGBoost为最优模型,其RMSE为1.62,相比于传统训练的XGBoost和LSTM模型,RMSE分别降低了2.81和2.56。提出的方法可以在具有缺失、波动性较大的数据集上能够取得较好预测的效果。

基于H2O平台自动化机器学习的糖尿病视网膜病变预测模型的建立

目的利用H2O平台推出的自动化机器学习(AutoML)算法,建立预测糖尿病(DM)视网膜病变(DR)模型。方法纳入2019年1月-2021年1月于本院就诊的606例DM患者,根据眼底照相分为单纯DM组(DM组,303例)及DM合并DR组(DR组,303例)。采集两组患者基本情况、血生化检测结果及视网膜图像等数据。利用H2O AutoML算法建立针对DR二分类结局,进行变量筛选并建立机器学习预测模型,产生相应预测结果,据此绘制ROC曲线并建立混淆矩阵,绘制SHAP及部分依赖图,评价模型区分能力。结果DR组糖尿病病程长于DM组,吸烟、饮酒、高血压、脂肪肝比例、腰臀比、BMI及收缩压高于DM组,差异有统计学意义(P<0.05);DR组HDL-C低于DM组,FPG、FINS、HOMA-IR、HbA1c、ALT和AST均高于DM组,差异有统计学意义(P<0.05)。将两组特征数据载入AutoML工作环境中,得到最佳模型为通用梯度回归模型(GBM),该模型Gini值0.914,R2为0.679,LogLoss为0.260。重要性排名前3的变量包括FPG、糖尿病病程及FINS。在Train数据集中,ROC曲线下面积为0.942(95%CI:0.921~0.963)。利用混淆矩阵得到特异度为0.924,敏感度为0.959,准确度为0.942,误分类率为0.058。在Valid数据集中,ROC曲线下面积为0.831(95%CI:0.764~0.897)。利用混淆矩阵得到特异度为0.828,敏感度为0.833,准确度为0.831,误分类率为0.169。结论本次利用AutoML算法建立的通用梯度回归DR患病预测模型可用于DM人群中DR的筛查。

基于超级参数调整的网络表示学习算法性能公平比较框架

网络结构数据在现今生活中广泛存在,但由于数据结构稀疏、规模较大等特性,难以直接利用现有的机器学习算法对数据进行分析.网络表示学习算法的出现,通过将高维数据映射到低维向量空间,解决了上述问题.但是网络表示学习算法中存在大量超级参数,参数的选择与数据分析任务密切相关且对算法性能有明显影响,如何针对数据分析任务,通用地对多种网络表示学习算法进行超级参数调整,以获取不同算法的最优性能,实现算法间性能的公平比较,从而选择出最优者对数据进行分析,是一个亟待解决的问题.此外,对算法进行超级参数调整通常需要花费较长时间,且由于网络结构数据规模通常较大,还会有内存占用过高问题的存在,因此如何能够在有资源限制(时间、内存占用)的条件下进行超级参数调整,是面临的另一个问题.基于上述两个问题,本文提出了基于超级参数调整的网络表示学习算法性能公平比较框架JITNREv,能够在有资源限制的条件下通用对多种网络表示学习算法进行超级参数调整,通过获取不同算法针对相同数据分析任务的性能最优值,实现算法之间的性能公平比较.该框架具有4个松耦合且可扩展的组件,组件间仅通过数据流进行交互,并在闭环结构中完成样本的测试优化,满足了框架的通用性.JITNREv基于拉丁超立方采样对超级参数进行采样;根据“当前最优值附近,有更大概率出现更优值”的假设对采样范围进行剪枝;针对超大规模数据集,提出了图粗化方式在保留数据结构的基础上压缩数据规模,满足了资源限制条件下对超级参数进行调整的要求.框架还融合了网络表示学习算法常用的评测数据集、评测指标和数据分析应用,实现了框架的易用性.实验证明JITNREv框架能够在资源限制条件下稳定提高算法性能,例如,针对GCN算法的节点分类任务相比默认参数设置,JITNREv框架能够将性能提升31%.

培养良好习惯 助力珠心算学习——一年级珠心算学习习惯养成的教学实践与思考

学习习惯是在学习过程中经过反复练习形成并发展,成为一种个体需要的自动化学习行为方式。叶圣陶先生曾说过:“凡是好的态度和好的方法,都要使它成为习惯。”只有熟练地成了习惯,好的态度才能随时发现,好的方法才能随时随地应用。

基于H2O自动化机器学习的肝细胞癌诊断模型的建立

目的采用H2O平台自动化机器学习(AutoML)算法,收集临床资料及肝癌肿瘤标记物,建立一系列肝细胞癌(HCC)临床诊断模型。方法本研究纳入130例HCC患者,149例肝硬化患者,102例慢性乙型肝炎患者,体检中心健康人群95人。利用AutoML算法建立针对HCC发病二分类结局的多种机器学习算法模型,计算ROC曲线下面积(AUROC)并建立混淆矩阵来评价模型区分度,并对重要变量进行可视化呈现。结果最佳模型是基于集成学习,其中占比最大者为梯度提升机(GBM)模型。GBM模型中重要变量包括Dickkopf-1、甲胎蛋白、细胞骨架蛋白4、ALT及AST。变量SHAP图展示了变量在二分类结局中的分布。LIME图呈现了变量在个体预测的作用。集成模型在验证集中特异性为0.986,敏感性为1.000,AUROC为0.991,优于其他单个算法的最佳模型。结论本研究利用AutoML框架,建立判断HCC发病的机器学习模型,为HCC患病风险筛查提供了新的思路。

自动化机器学习在剖宫产术后尿潴留预测模型中的应用

目的利用自动化机器学习方法,建立剖宫产术后尿潴留预测模型。方法选取我院2018年1月-2022年1月手术室220例行剖宫产住院产妇,根据是否发生术后尿潴留结局分为尿潴留组(38例)和无尿潴留组(182例)。比较两组生育史及术中术后临床资料,利用H_(2)O平台自动化机器学习框架,建立针对术后尿潴留结局的预测模型,通过绘制ROC曲线,计算曲线下面积(AUC)以评价模型的预测能力,并对模型特征进行可视化呈现。结果两组疼痛评分、孕前BMI、产次、剖宫产史、胎儿体重、麻醉时间、手术时间、麻醉方式、尿管拔除时间及焦虑情况比较,差异有统计学意义(P<0.05);最佳模型为梯度提升机模型(GBM),Gini值0.987,R^(2)为0.653,LogLoss为0.168;模型中重要变量包括疼痛评分、焦虑、麻醉时间、产次、麻醉方式、拔尿管时间及孕前BMI;变量SHAP特征图呈现了变量与模型整体预测的相关性,LIME反映在具体案例中变量的角色;GBM模型的ROC下面积为0.909(95%CI:0.880~0.939),准确度0.947,特异度为0.962,敏感度0.856。结论基于GBM算法的剖宫产后尿潴留预测模型显示出良好的区分能力,可作为潜在的产后并发症风险初筛工具。

基于纹理特征的AutoML在NBI-ME判断食管癌分期中的应用

目的探讨基于纹理特征的自动化机器学习(Automated Machine Learning,AutoML)在窄带成像技术结合放大内镜(Narrow-Band Imaging-Magnification Endoscopy,NBI-ME)图片中区分早期和进展期食管鳞癌的应用。方法收集苏州大学附属第一医院内镜中心食管鳞癌NBI-ME图片1507张,随机分为训练集(1264张)和验证集(243张)。使用MATLAB软件,提取整张内镜图片,共计32个纹理特征变量。将上述变量载入H2O平台进行AutoML二分类建模。另收集苏州大学附属第二医院内镜图片(278张)作为外部测试集。同时邀请1名低年资和1名高年资内镜医生对外部测试集进行判读。采用受试者工作特征(Receiver Operating Characteristic,ROC)曲线下面积(Area Under Curve,AUC)和准确度(Accuracy,ACC)等评估鉴别效能。结果基于RF算法的AutoML模型在外部测试集中表现最优,其AUC为0.975,ACC为0.939,显著优于其他模型,包括传统的GLM(AUC:0.776、ACC:0.687)和XGBoost模型(AUC:0.968、ACC:0.863);同时也优于低年资内镜医生(AUC:0.868、ACC:0.871)和高年资内镜医生(AUC:0.919、ACC:0.921)。结论基于内镜图片纹理特征的AutoML模型在食管早癌和进展期癌区别中展现出优秀的鉴别能力。