从语义三角到语义点——谈外语自动化学习模式

从语义三角原理得知语言学习牵涉到匹配这一认知过程，而一定数理的匹配可达到语义点状态。语义三角状态和语交状态是语言学习过程中反应状态的两个端点，它们中间存在不同反应状态，词频是产生不同反应的根源。根据Anderson认知理论，构建了外语自动化学习模式。

基于自动化机器学习建立结肠镜肠道准备失败风险预测模型及评价

目的 鉴于机器学习(ML)在医学模型中的广泛应用,以及其出色的学习和泛化特性,该研究采用自动化机器学习(AutoML)结合患者一般资料和临床状况,早期评估结肠镜前肠道准备的失败风险。方法 回顾性分析2022年1月-2023年1月在该院接受结肠镜检查的患者的临床资料。波士顿肠道准备评分(BBPS)≤5分被定义为肠道准备失败,> 5分为合格。将患者按8∶2的比例随机划分了训练集(n=303)和验证集(n=76)。采用最小绝对收缩和选择算子(LASSO)逻辑回归(LR)模型进行特征选择,构建列线图评分系统,并使用基于5种算法的AutoML建立模型。模型性能通过受试者操作特征曲线(ROC curve)、校准曲线、基于LR (Lasso回归)的决策曲线分析(DCA)、SHAP图和力图进行评估。结果 在379例患者中,105例(27.7%)肠道准备失败(BBPS≤5分)。21个研究变量在经LASSO 5折交叉验证后,获得10个变量,并构建了一款列线图评分系统,通过校正曲线表明了LASSO模型的可靠性。使用H2O平台和5种算法[梯度提升机(GBM)、深度学习(DL)、广义线性模型(GLM)、堆叠集成(Stacked Ensemble)和分布式随机森林(DRF)]开发了67个模型。经比较,Stacked Ensemble表现最佳,其曲线下面积(AUC)为0.871,对数损失值(LogLoss)为0.403,均方根误差(RMSE)为0.354,优于其他模型和传统的LR模型。变量重要性贡献图显示,服完泻药至检查间隔时间、便秘、是否完整服完泻药、年龄和家属陪同等因素对肠道准备失败的预测有重要影响。最后,SHAP图和力图揭示了变量在二分类预测结果中的分布特征,以及各变量对预测结果的影响。结论 基于Stacked Ensemble算法的AutoML模型,对肠道准备失败风险的早期预测有明显的临床实用性。同时,该研究构建了一款可供临床使用的列线图评分工具。

基于元学习的自动化异常检测

在实际的工业生产环境中,常常需要监控机器相关指标的运行状况,对于一个多变量的无监督异常检测任务,由于缺乏带标签的数据,并且同一个检测算法在不同数据集上的性能表现不同,模型设计依赖于人工调整,所以如何高效选择一个异常检测模型并完成超参数调整成为了一个亟待解决的问题。在这篇文章中,我们建立了一个异常检测模型自动选择机制,称为AutoAD (Auto Anomaly Detector)。AutoAD利用了历史数据上异常检测模型的表现和数据集本身的特征,基于元学习的想法,通过深度神经网络自动选择一个有效的异常检测模型并调优,用于新的数据集的异常检测。实验结果表明了在开源数据集上AutoAD在异常检测模型自动选择方面具有有效性。

自动化机器学习在眼部疾病识别及分类中的初步应用

目的:探讨自动化机器学习技术在眼部疾病识别及分类中的应用价值。方法:利用百度的图形化深度学习平台EasyDL,建立糖尿病视网膜病变、高度近视眼底病变、角膜溃疡等常见眼病的深度学习模型,并利用相关模型进行疾病的诊断及分类。结果:依据使用的数据集大小及质量不同,利用EasyDL构建的深度学习模型疾病识别及分类准确率可以达到85%～94%左右。结论:EasyDL等自动化机器学习平台非常适合作为人工智能学习的入门工具,帮助临床医生更好地理解及使用人工智能技术,促进人工智能在医疗领域的普及。

基于自引导进化策略的高效自动化数据增强算法

深度学习在图像、文本、语音等媒体数据的分析任务上取得了优异的性能.数据增强可以非常有效地提升训练数据的规模以及多样性,从而提高模型的泛化性.但是,对于给定数据集,设计优异的数据增强策略大量依赖专家经验和领域知识,而且需要反复尝试,费时费力.近年来,自动化数据增强通过机器自动设计数据增强策略,已引起了学界和业界的广泛关注.为了解决现有自动化数据增强算法尚无法在预测准确率和搜索效率之间取得良好平衡的问题,提出一种基于自引导进化策略的自动化数据增强算法SGES AA.首先,设计一种有效的数据增强策略连续化向量表示方法,并将自动化数据增强问题转换为连续化策略向量的搜索问题.其次,提出一种基于自引导进化策略的策略向量搜索方法,通过引入历史估计梯度信息指导探索点的采样与更新,在能够有效避免陷入局部最优解的同时,可提升搜索过程的收敛速度.在图像、文本以及语音数据集上的大量实验结果表明,所提算法在不显著增加搜索耗时的情况下,预测准确率优于或者匹配目前最优的自动化数据增强方法.

自动化机器学习在预测重症监护病房感染患者死亡中的应用

目的探索自动化机器学习(AutoML)在预测重症监护病房(ICU)感染患者死亡中的应用。方法以2019~2020年四川省自贡市重症监护病房开源数据库中感染患者作为研究对象,基于H 2O平台建立AutoML死亡预测模型。算法包括梯度提升模型(GBM)、极端梯度增强算法(XGBoost)、广义线性模型(GLM)、深度学习(DL)、随机森林(RF)。数据集按照3∶1随机分为训练集和验证集,训练集用于模型的构建,验证集用于评价模型效果。模型表现指标为受试者工作特征(ROC)曲线下面积(AUC),此外通过变量重要性排序、Shapley加法解释图(SHAP)、部分依赖关系和独立模型局部解释(LIME)等方法来解释模型。结果共计1151和380例患者分别被纳入训练集和验证集来进行AutoML建模。在验证集中,基于XGBoost算法的AutoML模型表现最优,拥有最高的AUC(0.753)和最高的准确率(0.713),优于第2名GBM模型(AUC 0.748)、第3名GLM模型(AUC 0.745)。在XGBoost模型中,重要的变量包括诊断疾病、活化部分凝血活酶时间(APTT)、胱抑素C(CysC)、年龄、肌酸激酶同工酶(CK-MB)、脑利钠肽(BNP)、国际标准化比值(INR)、钾离子(K^(+))、白蛋白(ALB)、乳酸(Lac)。结论通过AutoML建模在预测ICU感染患者死亡结局应用中呈现较好表现。AutoML在临床研究中具有良好的应用前景,但该模型仍需要进行广泛的外部验证。

面向分类的自动化机器学习模型构建

为提升机器学习场景下分类与预测任务模型的准确性和普适性,基于分层级联结构与改进的遗传算法构建自动化机器学习模型,将其应用于分类场景,并采用OpenML公共数据集进行实验。结果表明,这种创新的方法不仅能并行、自动地构建自动化机器学习模型,而且能快速、有效地进行分类与预测。构建的自动化机器学习算法准确率较高,经过多轮验证,准确率可达到94.4%,相比使用单个分类器提高了5%~10%。

基于C++源码编程的AI智能自动化桌子

经过调研分析得出,现有的学习桌并不能根据使用者的需求自动调节桌面坡度及高度,均需手工调节,且坡度、高度均为固定值,调节费时费力,通常不能通过桌子完成自动调节,需要使用者手动调节,不适用人们日常的工作学习环境。为了适应大众在日常工作学习中的不同需求,让调节更准确、省事,决定制作基于C++源码编程的AI智能自动化桌子,让学习桌不仅能够根据使用需求自动调节坡度和高度,还可以通过手机远程控制。

自动化张量分解加速卷积神经网络

近年来,卷积神经网络(CNN)展现了强大的性能,被广泛应用到了众多领域.由于CNN参数数量庞大,且存储和计算能力需求高,其难以部署在资源受限设备上.因此,对CNN的压缩和加速成为一个迫切需要解决的问题.随着自动化机器学习(AutoML)的研究与发展,AutoML对神经网络发展产生了深远的影响.受此启发,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN加速模型,有效地解决了张量分解中,人工选择秩带来的误差问题,能够有效地提升CNN的压缩和加速效果.通过在MNIST和CIFAR-10数据集上的严格测试,与原网络相比,在MNIST数据集上准确率稍微下降了0.35%,模型的运行时间获得了4.1倍的大幅提升;在CIFAR-10数据集上,准确率稍微下降了5.13%,模型的运行时间获得了0.8倍的大幅提升.

自动化特征工程综述

机器学习基于信息可以更加高效地做出预测和决策,因此在数据驱动模型中发挥了重要的作用。特征工程是提高机器学习系统高效性的决定性因素,但却是最耗时的任务之一。因此考虑到人为错误和极端的时间成本,自动化特征工程应运而生。近年来,自动化特征工程得到了飞速的发展,解放了大量且乏味单调的人工操作。本文对自动化特征工程的算法进行系统性的整理和总结,为后续研究提供了参考。

基于知识图谱和自动机器学习的软件缺陷预测

不稳定和召回率低效的软件缺陷预测模型难以在行业领域应用,为解决稳定和高效各项性能评价指标的软件缺陷预测模型在工程实践应用的问题,提出了一种基于知识图谱和自动化机器学习的软件缺陷预测方法AutoKGGAS,首先获取软件缺陷预测模型数据,对知识建模、知识获取、知识融合、知识储存与知识计算等知识图谱构建技术研究,实现知识图谱推荐优质软件缺陷预测模型作为自动化搜索的热启动输入条件,根据不同的软件缺陷预测评价指标,优化不同最佳的模型结构.其次实证研究采用NASA开源数据集实验对象和六种性能评价指标,实验结果表明,AutoKGGAS自动化软件缺陷预测模型在不同数据集不同评价指标方面,性能优于知识图谱推荐的传统经典软件缺陷预测模型.自动化软件缺陷预测模型为航天软件缺陷预测辅助代码审查测试提供了原型,在工程实践应用方面具有重要的意义.

基于H2O自动化机器学习的电动自行车交通违法行为影响因素分析

随着电动自行车保有量的逐年增长,电动自行车交通事故死亡人数占交通事故总死亡人数的比例在不断增加,在此背景下,探究电动自行车违法行为影响因素对降低事故率和事故严重程度具有重要意义。该研究使用厦门岛内电动自行车违法行为数据,基于H2O自动化机器学习(AtuoML)算法对电动自行车的违法行为进行影响因素分析,并与随机森林(RF)算法进行对比,结果表明H2O自动化机器学习具有更好的预测精度和效率。此外,研究中还引入建成环境变量。研究结果表明,小型商铺、居民小区等建成环境对违法行为具有正向影响,且小型商铺在众多影响因素中占主导地位。

基于机器学习构建非酒精性脂肪性肝病预测模型

目的利用H2O平台自动化机器学习(AutoML)框架,建立非酒精性脂肪性肝病的预测模型。方法收集苏州大学附属第一医院体检中心人员资料。利用临床结构化数据,基于H2O AutoML框架,建立预测非酒精性脂肪性肝病发病的多种机器学习算法模型,绘制ROC曲线并建立混淆矩阵来评价模型效力,同时对重要变量进行可视化呈现。结果自动化建立28个机器学习模型。最佳模型为梯度提升机(GBM),Gini值为0.80,R2为0.42,LogLoss为0.45。模型中重要性绝对值排名前五的变量为:三酰甘油(95%CI:-1.053~-0.887)、天冬氨酸转氨酶(95%CI:-20.433~-16.927)、高密度脂蛋白(95%CI:0.232~0.268)、铁蛋白(95%CI:-80.533~-68.607)及血糖(95%CI:-0.576~-0.424)。最佳模型GBM在验证集中特异度为0.818,敏感度为0.715,AUC为0.766,优于基于XGBoost、逻辑回归、随机森林和深度学习等算法类型。结论非酒精性脂肪性肝病的机器学习模型为筛查非酒精性脂肪性肝病患者提供了新的诊疗思路。

基于超级参数调整的网络表示学习算法性能公平比较框架

网络结构数据在现今生活中广泛存在,但由于数据结构稀疏、规模较大等特性,难以直接利用现有的机器学习算法对数据进行分析.网络表示学习算法的出现,通过将高维数据映射到低维向量空间,解决了上述问题.但是网络表示学习算法中存在大量超级参数,参数的选择与数据分析任务密切相关且对算法性能有明显影响,如何针对数据分析任务,通用地对多种网络表示学习算法进行超级参数调整,以获取不同算法的最优性能,实现算法间性能的公平比较,从而选择出最优者对数据进行分析,是一个亟待解决的问题.此外,对算法进行超级参数调整通常需要花费较长时间,且由于网络结构数据规模通常较大,还会有内存占用过高问题的存在,因此如何能够在有资源限制(时间、内存占用)的条件下进行超级参数调整,是面临的另一个问题.基于上述两个问题,本文提出了基于超级参数调整的网络表示学习算法性能公平比较框架JITNREv,能够在有资源限制的条件下通用对多种网络表示学习算法进行超级参数调整,通过获取不同算法针对相同数据分析任务的性能最优值,实现算法之间的性能公平比较.该框架具有4个松耦合且可扩展的组件,组件间仅通过数据流进行交互,并在闭环结构中完成样本的测试优化,满足了框架的通用性.JITNREv基于拉丁超立方采样对超级参数进行采样;根据“当前最优值附近,有更大概率出现更优值”的假设对采样范围进行剪枝;针对超大规模数据集,提出了图粗化方式在保留数据结构的基础上压缩数据规模,满足了资源限制条件下对超级参数进行调整的要求.框架还融合了网络表示学习算法常用的评测数据集、评测指标和数据分析应用,实现了框架的易用性.实验证明JITNREv框架能够在资源限制条件下稳定提高算法性能,例如,针对GCN算法的节点分类任务相比默认参数设置,JITNREv框架能够将性能提升31%.

培养良好习惯 助力珠心算学习——一年级珠心算学习习惯养成的教学实践与思考

学习习惯是在学习过程中经过反复练习形成并发展,成为一种个体需要的自动化学习行为方式。叶圣陶先生曾说过:“凡是好的态度和好的方法,都要使它成为习惯。”只有熟练地成了习惯,好的态度才能随时发现,好的方法才能随时随地应用。

Canny-Gauss通用域图像隐写算法

自适应图像隐写算法是一种以图像为载体,通过手工设计嵌入失真代价,指导隐写码在图像载体中嵌入秘密消息的信息隐藏算法.长期以来,这类算法将秘密消息尽可能隐藏在图像纹理更深更复杂的位置以对抗基于富特征的隐写分析检测.然而,伴随着深度学习在隐写分析领域的快速发展,人工设计的自适应算法受到严重挑战.此外,基于加性失真的隐写编码在嵌入消息时,复杂纹理向边界聚集所产生的统计异常问题也亟待解决.因此,本文总结了各类人工失真代价的优势和不足,归纳出当前自适应算法在空域的设计范式,并结合UNIWARD在各嵌入域的转换规则,提出基于嵌入失真代价ρ的通用域隐写转换公式.然后,从隐写嵌入失真代价与图像纹理稀疏关系的角度出发,以Canny算子划分纹理、Gauss模糊缩放轮廓、AutoML搜索阈值的方式,提出了一种通用域隐写算法Canny Gauss.实验结果表明,本文所提通用域隐写转换公式能够有效应用于现有主流算法.同时,在UNIWARD所有可行嵌入域中,本文所提算法表达出更高嵌入失真代价稳定性和隐写隐蔽性,在第三方权重加持下的深度隐写分析表现与UNIWARD相比至少提升2.6%、最高提升14.6%.这为自适应隐写算法的通用域设计,以及抵抗基于纹理特征的深度隐写分析检测提供了新思路.

基于T2WI与RS-EPI DWI影像组学特征的自动化机器学习模型预测直肠癌术前T分期的价值

目的探讨基于磁共振T2加权成像(T2 weighted image,T2WI)和分段读出平面回波成像(readout-segmented EPI,RS-EPI)与扩散加权成像(diffusion weighted image,DWI)的影像组学特征,通过开发和验证自动化机器学习模型,预测直肠癌术前病理T分期的价值。方法回顾性分析2016年10月−2018年12月经手术病理结果证实为直肠癌且在我院行术前直肠磁共振的患者131例。采用ITK-SNAP软件从T2WI和RS-EPI DWI图像中手动分割出肿瘤区域。使用PyRadiomics包提取出200个特征〔100个特征来自于T2WI,100个特征来自RS-EPI DWI的表观弥散系数(apparent diffusion coefficient,ADC)图〕。使用mwmote与neater重采样均衡数据,加入13例T1-2期模拟数据。根据3∶1的比例将总体数据分割成训练集111例和测试集37例。在训练集上使用Tree-based Pipeline Optimization Tool(TPOT)最优化模型参数并选取最重要的组学特征建模,得到5个互相独立的T分期模型。使用准确率和受试者工作特征(ROC)曲线下面积(area under the curve,AUC)筛选出最优模型。在测试集和原数据集上预测直肠癌T分期。结果自动化机器学习推荐的5个T分期模型,在训练集上的准确率为0.802~0.838,敏感度为0.762~0.825,特异度为0.833~0.896,AUC范围为0.841~0.893,average precision(AP)范围为0.870~0.901。经过对比后,最终选择的模型的敏感度、特异度、AUC,在训练集上为0.810、0.875、0.893,在测试集上为0.810、0.813、0.810,在原始数据集上为0.810、0.830、0.860。结论基于T2WI和RS-EPI DWI的影像组学数据,通过自动化机器学习建立的模型在预测直肠癌T分期上有较高的准确率。

基于自动化机器学习的多变量光伏发电功率预测研究

随着“双碳”发展目标的提出,以光伏发电为代表的新能源技术发展具有重要的战略意义。然而光伏发电率不稳定,因此,实时精准地预测光伏发电功率,对电网系统的平稳运行与调度具有重要意义。目前,机器学习已广泛应用于光伏功率预测,但需要足够的专业知识优化模型。自动化机器学习技术能够自动搜索各种模型空间选择最优的模型和超参数,无需人工搭建模型以及参数调节。使用自动化机器学习技术对光伏发电功率进行预测,针对缺失数据,提出了一种基于随机森林改进的光伏时间序列数据缺失值填充方法。在多变量光伏数据集上的实验结果表明,XGBoost为最优模型,其RMSE为1.62,相比于传统训练的XGBoost和LSTM模型,RMSE分别降低了2.81和2.56。提出的方法可以在具有缺失、波动性较大的数据集上能够取得较好预测的效果。

自动化机器学习中的超参调优方法

本文介绍近年逐渐兴起的自动化机器学习框架,着重讨论其中颇具挑战的超参调优问题.常用的调参方法有格子点法、随机搜索等批量抽样策略,还包括Bayes优化、群体搜索算法和强化学习等序贯策略.由方开泰和王元早在1990年提出的贯序数论优化算法,利用序贯均匀设计对复杂响应曲面寻求全局最优值,同样适用于超参调优.本文以支持向量机和极限梯度推进机这两种常用的机器学习模型为例,结合两组典型的二分类数据集,对多种超参调优方法进行测试.通过比较分析发现一种改进的贯序数论优化算法,对解决自动化机器学习中的调参问题,颇具潜力.

基于H2O平台自动化机器学习的糖尿病视网膜病变预测模型的建立

目的利用H2O平台推出的自动化机器学习(AutoML)算法,建立预测糖尿病(DM)视网膜病变(DR)模型。方法纳入2019年1月-2021年1月于本院就诊的606例DM患者,根据眼底照相分为单纯DM组(DM组,303例)及DM合并DR组(DR组,303例)。采集两组患者基本情况、血生化检测结果及视网膜图像等数据。利用H2O AutoML算法建立针对DR二分类结局,进行变量筛选并建立机器学习预测模型,产生相应预测结果,据此绘制ROC曲线并建立混淆矩阵,绘制SHAP及部分依赖图,评价模型区分能力。结果DR组糖尿病病程长于DM组,吸烟、饮酒、高血压、脂肪肝比例、腰臀比、BMI及收缩压高于DM组,差异有统计学意义(P<0.05);DR组HDL-C低于DM组,FPG、FINS、HOMA-IR、HbA1c、ALT和AST均高于DM组,差异有统计学意义(P<0.05)。将两组特征数据载入AutoML工作环境中,得到最佳模型为通用梯度回归模型(GBM),该模型Gini值0.914,R2为0.679,LogLoss为0.260。重要性排名前3的变量包括FPG、糖尿病病程及FINS。在Train数据集中,ROC曲线下面积为0.942(95%CI:0.921~0.963)。利用混淆矩阵得到特异度为0.924,敏感度为0.959,准确度为0.942,误分类率为0.058。在Valid数据集中,ROC曲线下面积为0.831(95%CI:0.764~0.897)。利用混淆矩阵得到特异度为0.828,敏感度为0.833,准确度为0.831,误分类率为0.169。结论本次利用AutoML算法建立的通用梯度回归DR患病预测模型可用于DM人群中DR的筛查。