面向小样本学习的轻量化知识蒸馏

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现实的需求.知识蒸馏作为深度学习领域广泛使用的辅助策略,通过额外的监督信息实现模型间知识迁移,在提升模型精度和压缩模型规模方面都有实际应用.首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性.并结合小样本学习任务的特点,针对性地设计两种新的小样本蒸馏方法:(1)基于图像局部特征的蒸馏方法;(2)基于辅助分类器的蒸馏方法.在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.

KD树索引策略下紧支撑径向基函数的点云建模

采用紧支撑径向基函数(Compactly Supported Radial Basis Function,CSRBF)对点云进行建模和可视化表达会因穷举搜索问题导致计算机内存溢出,最终引起建模和可视化失败。KD树索引具有快速搜索点的优点且避免了穷举搜索问题,将KD树索引和CSRBF插值模型相结合,提出KD树搜索策略下的CSRBF点云建模与表达方法。建立点云数据的KD树索引,采用CSRBF构建点云的隐式曲面函数模型,通过Marching Cubes算法对建好的模型进行有效的可视化表达。采用经典的兔子点云进行实验验证,结果表明KD树索引搜索策略下CSRBF的点云建模与表达方案可行。

基于扩散模型的解耦知识蒸馏

知识蒸馏(KD)是一种将复杂模型(教师模型)的知识传递给简单模型(学生模型)的技术,目前比较受欢迎的蒸馏方法大多停留在基于中间特征层,继解耦知识蒸馏(DKD)提出后基于响应的知识蒸馏又重新回到SOTA行列,这种使用强一致性约束条件的策略,将经典的知识蒸馏拆分为两个部分,解决了高度耦合的问题.然而,这种方法忽略了师生网络架构差距较大所引起的表征差距过大,进而导致学生模型由于体量较小无法更有效的学习到教师模型的知识的问题.为了解决这个问题,本文提出了使用扩散模型来缩小师生模型之间的表征差距,这种方法将教师特征传输到扩散模型中训练,然后通过一个轻量级的扩散模型对学生模型进行降噪从而缩小了师生模型的表征差距.大量的实验表明这种方法对比于基准方法在CIFAR-100、ImageNet数据集上均有较大的提升,在师生网络架构差距较大时依然能够保持较好的性能.

基于高阶重力场模型的山区高程拟合研究

选用沿海山区GNSS水准点的实测高程异常,分别对近几年国际上公布的EGM2008、EIGEN-6C2、EIGEN-6C3stat、GECO、XGM2019e、SGG-UGM-2这6个高阶重力场模型计算的高程异常进行精度检验,分析不同模型、不同截断阶次模型高程异常精度与阶次的关系,采用基于Kd-Tree算法的二次曲面拟合方法进行山区水准面移去—拟合—恢复。结果表明,利用基于Kd-Tree算法高阶重力场模型进行山区水准拟合精度提高明显,具有较好的适应性。

渤海近岸水体漫衰减系数Kd(490)遥感反演模型

利用2005年渤海近岸水体生物光学数据集,建立了基于水体遥感反射率光谱Rrs(λ)数据的490nm波段水体漫衰减系数Kd(490)经验反演模型,经实测数据检验,模型反演结果的平均相对误差为18.4%,均方根误差(对数坐标下)为0.094m-1,相关系数R2(对数坐标下)为0.902。分析了模型的噪声敏感性,在输入端引入±5%误差的情况下,模型反演结果的平均相对误差波动在9%以内,均方根误差的变化在0.035m-1以内,模型是稳定可靠的。以ENVISAT MERIS数据为例,进行了模型的示范应用,给出了渤海Kd(490)的空间分布。

弱偏差特征过滤的建筑物焊接连接构造点激光雷达特征提取

在扫描建筑物焊接连接构造的过程中,由于构造点区域缺少明显的特征,易形成弱偏差干扰,提出一种在弱偏差特征过滤下,应用激光雷达扫描的特征提取方法。利用激光雷达扫描中的阵列分析法,采集建筑物焊接连接构造的点云数据,利用KD-Tree模型剔除点云集合中的弱偏差特征噪声数据;采用邻域方向分布法,在被跟踪的构造点集合中标记出倒数的2个点,并搜索初始集合中相连的有向线段,将最小扫描角度的线段端点加到特征集合中。结果表明:该方法提取的位置精度高,区域匹配度最高值可达到95%。

以保护地下水为目标的Ag土壤环境基准推导案例

土壤环境基准是制订土壤环境质量标准的重要依据.借鉴国外制订保护地下水的土壤环境基准方法学,以湖南红壤、北京潮土和东北黑土为供试土壤,通过吸附试验获取重金属Ag在3种土壤中的分配系数(Kd),并通过文献调研获取3种土壤及其含水层的相关参数;采用US EPA(美国国家环境保护局)的土壤环境基准技术导则中的SSL(soil screening level)模型,并基于我国饮用水水质标准,对Ag土壤环境基准进行反推.结果显示:Ag在红壤、黑土和潮土中的分配系数分别为7.10、56.7、132 L/kg,推导出的基于保护地下水的Ag的土壤环境基准值分别为0.440、3.04和7.80 mg/kg.3种土壤中Ag的基准值均在发达国家或地区保护地下水的土壤环境基准值范围内,与各国基准值的差异主要是由于土壤性质、含水层类型以及Ag在土壤中的分配系数的差异所致.

一种基于Hadoop的BIM云服务框架和空间位置检索算法

云平台存储和管理应用复杂的海量数据已成为必然。建筑信息模型(Building Information Modeling,BIM)是从全工程建设生命周期的视角组织相关数据并协同工作,所以BIM迫切需要云计算的支持。但是面对复杂的BIM应用,如何构建云平台的超级计算模式将是一个巨大的挑战。提出一个面向BIM应用的云服务框架,在Hadoop分布式软件框架上设计了云存储、云平台服务、应用服务和客户端应用四层结构。提出了该框架下的城市空间位置检索算法,该算法采用改进的KD树作为索引表。针对大用户群的并发访问,提出了面向空间位置检索的负载均衡算法,通过统计节点访问频度设计了数据块均衡分布策略。实验表明,该框架组织的建筑信息具有并发处理能力强、响应速度快等特点。

视频序列中目标的检测与跟踪

视频序列中,为降低背景变化对目标的检测与跟踪产生的影响,提出了一种新目标检测与跟踪算法。首先,以像素为基础建立时间序列背景模型,提高了目标检测的精度。然后,采用KD-tree算法进行目标跟踪,获得了运动目标的完整路径。实验结果表明,该方法在视频序列目标的检测与分析中,适应环境变化的能力强,达到实时处理的效果。

煤柱-顶板系统失稳的突变理论模型研究

假设顶板岩层处于弹性工作状态情况下,建立了煤柱-顶板系统的力学模型。根据力学模型,应用突变理论建立了条带煤柱突变破坏失稳的尖点突变模型,导出了条带煤柱破坏失稳的主要条件表达式。分析表明,煤柱失稳与条带煤柱顶板的受破坏程度有关,煤层顶板受开采扰动的影响产生塑性区,塑性区越大,其弹性刚度kd越小,越易发生突变失稳。

一种以领域知识为中心的知识发现过程模型

针对知识发现在实际应用中的问题,提出了一种以领域知识为中心的知识发现过程模型,并将其形式化,描述了其动态语义。与已有的知识发现过程模型相比,此过程模型更能体现知识发现过程的本质特性,同时具有严格的形式化基础,为知识发现系统的设计和实际的知识发现应用提供了一个新的参考。

考虑司机反应延迟和次近邻车辆影响的格子模型

综合考虑司机反应延迟和次近邻车辆对行驶车辆的共同作用,提出了基于司机反应延迟的次近邻流量交互的流体力学格子模型.利用非线性分析方法来研究司机反应延迟系数和次近邻流量差对抑制交通阻塞的效果,用m Kd V方程来近似描绘亚稳定区域演化过程中出现的扭结-反扭结孤波.最后分析了司机反应延迟和车辆流量差对模型稳定性的影响.

基于面元表示的点模型布尔运算的研究

为实现离散点模型的布尔运算,提出一种采用表面面元表示的点模型布尔运算算法。通过构造KD树实现了邻域的快速搜索,在此基础上,进行面元的内外相交测试提高了内外判别的准确性。布尔运算的结果采用面元方法进行快速绘制。实验表明,该算法运算简单快速,有效地进行点模型的布尔运算。

基于纹理基元与颜色的室外自然场景分类

为解决算法生成纹理地图时时间耗费量大的问题,提出采用KD-tree算法对数据结构进行划分、减小KNN算法搜索复杂度、提高搜索速度的方法.针对基于纹理基元的分类算法无法准确检测室外某些纹理相似性较高的自然场景,提出加入颜色特征、设置相应权值构建混合模型的方法.实验结果表明,基于KD-tree的KNN算法可缩短分类时间、满足实时性的要求,基于纹理基元与颜色的分类算法在室外自然场景中能够获得较高的分类精确度.

基于运动扩散模型的含零值降水序列频率计算

应用运动扩散(KD)模型,研究含零值降水序列频率计算。以陕西省6个测站2月份降水序列为例,在Strupczewski推导矩法、极大似然法参数计算公式的基础上,利用数学变换原理和数值计算原理,推导了KD模型含零值序列分布概率权重矩法参数计算公式。采用AIC准则、OLS准则和残差平方和(RSS)最小准则,进行KD模型、频率比例法和II型乘法分布模型拟合效果评价。结果表明:KD模型可以应用于含零值降水序列频率计算,且该模型拟合效果优于频率比例法和II型乘法分布法;3种KD模型参数估计方法中,概率权重矩法估计KD模型参数拟合度最优。文中方法以期为我国含零值水文序列频率计算提供一种新的计算方法。

基于BERT模型与知识蒸馏的意图分类方法

意图分类是一种特殊的短文本分类方法,其从传统的模板匹配方法发展到深度学习方法,基于BERT模型的提出,使得大规模的预训练语言模型成为自然语言处理领域的主流方法。然而预训练模型十分庞大,且需要大量的数据和设备资源才能完成训练过程。提出一种知识蒸馏意图分类方法,以预训练后的BERT作为教师模型,文本卷积神经网络Text-CNN等小规模模型作为学生模型,通过生成对抗网络得到的大量无标签数据将教师模型中的知识迁移到学生模型中。实验数据包括基于真实场景下的电力业务意图分类数据集,以及通过生成对抗网络模型生成的大量无标签文本作为扩充数据。在真实数据和生成数据上的实验结果表明,用教师模型来指导学生模型训练,该方法可以在原有数据资源和计算资源的条件下将学生模型的意图分类准确率最高提升3.8个百分点。

基于PCA-KD-KNN方法的矿井突水水源判别分析研究

在煤矿开采过程中,矿井突水事故严重威胁着煤矿安全生产和工人的生命安全。为了快速准确地判别矿井突水水源,达到有效预防水害事故的目的,基于KD-tree(K-dimension tree)与KNN(K-Nearest Neighbor algorithm,KNN)算法,建立了矿井突水水源判别方法。根据矿井中不同含水层的水化学特征的差异性,选取9种水化学成分作为突水水源的判别指标。采用主成分分析法(PCA)进行数据降维;进一步运用K维树形结构存储训练样本,提高数据搜索效率,然后结合KNN算法进行突水水源判别。以蔚州矿区为例,采用矿区4个含水层的24组实测数据构建模型,其中16组作为训练样本,另外8组为测试样本,并与传统KNN算法的判别结果进行对比。结果表明:KD-tree确定了离待测样本最邻近的3个训练样本,降低了KNN算法的计算复杂度。对比KD-tree与KNN相结合的新方法与传统KNN算法的判别结果,新方法的准确率提高了25%,说明新方法能使判别结果更加快速准确。

基于结构方程模型的骨质疏松症肾虚证候分析

目的:探讨骨质疏松症的肾虚证和对应症状的关系。方法:课题组制订肾虚证调查表,随机收集符合纳入标准的骨质疏松症患者。以肾虚证为隐变量,以症状为显变量建立结构方程模型。结果:肾阴虚证与其症状的关系强度从大到小依次为潮热、手足心热、面赤、盗汗、口干、心烦。肾阳虚证与其症状的关系强度从大到小依次为夜尿频多、小便清、肢冷、畏寒、大便溏、心悸。结论:运用结构方程模型分析肾虚证与症状的关系是可行的。