食品安全大数据的融合及分类技术综述

食品是人们赖以生存和发展的基本物质基础,食品安全不仅仅关乎广大消费者的切身利益,甚至关系到国家经济的稳步发展和社会的繁荣昌盛。食品安全大数据具有数据容量大、来源多样、更新速度快、价值密度低却应用价值大的特点,通过将多源的食品安全大数据进行融合及分类并行处理可以帮助人们实现更多的价值。对食品安全大数据融合及分类技术进行了综述。首先,总结了食品安全大数据的来源特征以及数据处理关键技术,阐述了食品安全大数据预处理过程,分析了食品安全大数据融合三种融合层次以及融合关键技术,介绍了食品安全大数据的并行计算模式;然后,归纳了并行分类算法以及几种常见的分类算法,如朴素贝叶斯、决策树、神经网络等;最后,对食品安全大数据做出总结和展望。

基于知识图谱的食品领域数智化研究进展

随着大数据和云计算等技术的发展,食品领域的数据规模正在以惊人的速度增长。这些数据不仅来源多样、结构复杂,且缺乏统一的术语标准,给食品数据的有效整合和利用带来了挑战。知识图谱作为实现通用人工智能的重要基石,以其在数据整合和语义理解方面的能力,为食品领域的数据组织、管理与应用提供了支持。通过总结近年来知识图谱在食品领域应用的研究成果,介绍了食品领域知识图谱的构建方法,涵盖本体构建、知识抽取、知识融合和加工等关键环节;重点梳理了当前食品领域知识图谱在食品营养与健康、食品创新与研发、食品安全与溯源3个方面的数智化应用;基于食品领域知识图谱的发展现状,从多模态数据融合技术、大语言模型构建以及食品领域工业设备智能化发展角度展望了食品领域知识图谱的未来发展方向。

拉曼光谱与中红外光谱融合技术快速定量食用酒精的乙醇浓度

目的利用拉曼光谱与中红外光谱的数据融合技术实现对食用酒精乙醇浓度(酒精度)的快速定量检测。方法首先,分别采集不同浓度食用酒精水溶液的拉曼光谱与中红外光谱。其次,采用多元散射校正(multiplicative scatter correction,MSC)、卷积平滑(Savitzky-Golay,S-G)、一阶求导的方法对原始数据进行预处理。然后,基于自举软缩减法(bootstrapping soft shrinkage,BOSS)和无信息变量消除算法(uninformative variable elimination,UVE)分别对预处理后的光谱数据进行特征提取,并利用X-Y距离样本集划分法(sample set partitioning based on joint X-Y distance,SPXY)将光谱数据划分为校正集和预测集。最后,建立基于拉曼光谱-中红外光谱数据融合的偏最小二乘回归(partial least squares regression,PLSR)食用酒精乙醇浓度预测模型,并利用麻雀搜寻算法优化的混合核极限学习机算法(sparrow search algorithm-optimized hybrid kernel extreme learning machine,SSA-HKELM)提升预测性能,实现对不同浓度食用酒精的快速、准确定量检测。结果与拉曼光谱数据、中红外光谱数据以及中红外与拉曼光谱的数据层融合构建的预测模型相比,中红外光谱与拉曼光谱特征层融合数据构建的预测模型具有更好的预测性能。其中,最优模型的校正集均方根误差(root mean squared error of calibration set,RMSEC)为0.98314,校正集决定系数(R_(c)^(2))为0.99634,预测集均方根误差(root mean squared error of prediction set,RMSEP)为1.03256,预测集决定系数(R_(p)^(2))为0.99036。结论中红外光谱与拉曼光谱特征层融合预测模型可以实现对不同浓度食用酒精的高效定量检测,为食用酒精的质量检测提供了有效的理论支持与技术保障。

基于近红外高光谱成像技术的花生冻伤检测方法研究

花生在收获、运输、储存和加工过程中易受到温、湿度变化导致冻伤现象,从而影响花生及其制品的品质,为探索花生冻伤机理并提高冻伤花生检测效率,本文采用近红外高光谱技术研究花生冻伤无损检测可行性、基于特征变量筛选的判别模型优化方法以及花生冻伤机理。实验研究了变量标准化(Standard Normalized Variate,SNV)、多元散射校正(Multiplicative Scatter Correction,MSC)、Savitzky-Golag(SG)平滑以及SG平滑-SNV和SG平滑-MSC五种预处理方法对原始数据的影响,随后分别采用竞争自适应重加权法(competitive adapative reweighted sampling,CARS)、随机蛙跳(random frog,RF)、变量重要性投影(variable importance in projection,VIP)、连续投影算法(successive projections algorithm,SPA)、蒙特卡洛无信息变量消除(Monte Carlo uninformative variable elimination,MC-UVE)、迭代保留信息变量(Iteration retention information variable,IRIV)、变量组合种群分析-迭代保留信息变量(Variable combination population analysis-Iteration retention information variable,VCPA-IRIV)和变量组合种群分析-遗传算法(Variable combination population analysis-Genetic Algorithm,VCPAGA)8种变量选择方法筛选得到与花生冻伤相关的特征波长,通过建立支持向量机(Support Vector Machine,SVM)选用达到判别准确率阈值为90%的特征波长作为花生冻伤特征波长。结果表明,基于近红外高光谱成像技术的花生冻伤检测总体可行,且精度较高,所有变量选择方法均能有效筛选与冻伤相关的特征波长,其中VCPAGA算法选择了最少的7个特征波长,仅占数据集所有波长的3.125%,训练集和测试集准确率分别为91.60%和90.12%。经过筛选得出的冻伤特征波长体现了油酸和蛋白质的信息,验证了过低的温度会导致花生中油酸含量下降和蛋白质含量上升。本研究为花生冻伤快速无损检测提供了可参考的理论依据和技术支撑。

基于THz时域反射成像技术的玉米种子淀粉分布可视化研究

为无损探究种子成分分布与种子活力变化的内在关系,以玉米种子主要成分淀粉为研究对象,将太赫兹时域反射成像技术与移动窗口相关系数法相结合,无损可视化构建不同活力程度的玉米种子淀粉空间分布图。以郑单958玉米品种为例,实验通过人工老化方式(40℃,100%RH)制备老化0、18、36、54、72 h的种子样本,采用Terapluse 4000太赫兹时域光谱仪及反射成像附件扫描获取不同老化程度的样本和纯玉米淀粉样品的太赫兹光谱图像。以16.35 cm^(-1)下THz图像为基准,采用阈值分割法精确提取种子胚乳、种胚区域,通过对比不同组织区域内THz平均吸光度可得胚乳和种胚光谱明显差异,且胚乳和淀粉纯物质在51.96 cm^(-1)附近存在明显的共同吸收峰。应用移动窗口相关系数法(窗口宽度为20,移动步长为10),逐像素点计算种子太赫兹时域光谱与纯玉米淀粉光谱的-相关系数,并根据相关系数值以及坐标信息绘制伪彩色热力图,可视化构建玉米种子淀粉分布图。实验统计5个老化阶段、6个谱区窗口的淀粉分布图中相关系数>0.8的像素点占比可得:在29.83~67.36 cm^(-1)区间内,种子胚乳和种子区域内的淀粉含量在种子活力下降过程中呈现总体下降趋势,即种子淀粉含量与活力呈现正相关关系。实验结果表明:太赫兹时域光谱反射成像技术结合移动窗口相关系数伪彩色成像分析方法可以初步实现种子活力变化过程中玉米种子淀粉空间分布特性的无损探测,该技术可为深入研究种子化学成分与其自身活力之间的制约关系,无损解析种子生命活动与自身生理生态规律变化提供崭新的视角和方法。

基于近红外光谱技术的茶叶新旧鉴别及产地溯源研究

目的 建立基于近红外光谱的定性分析模型,实现对茶叶的新旧分类和产地溯源。方法 首先采用傅立叶近红外光谱仪采集茶叶样品的漫反射光谱数据,然后使用卷积(Savitzky-Golay,S-G)平滑算法和数据标准化(Normalization)对光谱数据进行预处理,最后基于遗传优化算法(genetic algorithem,GA)和粒子群优化算法(particle swarm optimization, PSO)分别建立了优化向量机模型(support vector machine, SVM),从而实现新旧茶叶的分类以及产地溯源。结果 与GA-SVM模型相比,PSO-SVM模型的建模效果较好,且分类时间更短,在新旧鉴别和产地溯源实验中都达到了100%的预测精度。结论 基于近红外光谱建立的PSO-SVM模型可以实现茶叶新旧的判别以及产地溯源,为鉴别茶叶年份和追踪茶叶产地提供了理论支撑和技术指导。

食品中农药残留侦测数据的对比与关联可视分析

针对食品安全领域对层次数据的对比和关联分析需求,提出了一种对比与关联可视分析方法(Visual Analysis Method for Comparison and Association),这个方法抛弃以往的通过直线连接来展现关联关系的可视化方法,通过交互的手段直接展示两类层次数据的关联关系,比如农药与农产品的检出关系,从而避免了视觉杂乱。同样这个方法可以在同一个布局中对比分析两个相同结构的树的属性,比如不同地区或同一地区不同时间点的农产品中农药检出状况。经过用户体验和评价,该方法的表现证明它是有效而且有用的。

基于近红外光谱技术的食用油酸值和过氧化值定量分析研究

目的 建立基于傅里叶近红外光谱技术的定量分析模型,实现快速测定食用油中酸值和过氧化值含量,保证食用油的品质安全以及跟踪食用油储藏期间的品质变化。方法 首先采用傅里叶近红外光谱仪采集食用油样品漫反射光谱,接着采用归一化(Normalize)和标准正态变换(standard normal variate,SNV)对光谱数据进行预处理,降低原始光谱中噪声的影响;其次通过随机森林(random forest,RF)和引导软收缩(bootstrapping soft shrinkage,BOSS)算法提取特征波长;最后结合径向基函数(radial basis function,RBF)神经网络和极限学习机(extreme learning machine,ELM)建立食用油酸值和过氧化值的预测模型,并与全波段的模型进行对比分析。结果 经过BOSS算法所提取的特征波段建立的模型预测效果优于RF算法以及全波段模型,酸值模型的决定系数(determination coefficient,R2)达到0.98,均方根误差(root mean square error,RMSE)达到0.08;过氧化值模型的R2达到0.96,RMSE达到0.63。结论 BOSS算法有效的提取了食用油酸值和过氧化值的特征波段,BOSS-RBF模型能够适用于食用油中酸值和过氧化值含量的快速、无损检测。利用近红外光谱技术对食用油酸值和过氧化值进行定量分析是可行的,可通过该方法实现对食用油品质的分析研究。

太赫兹衰减全反射技术对花生冻伤快速判别研究

目的 利用太赫兹衰减全反射(terahertz attenuated total reflection,THz-ATR)光谱法实现花生冻伤的快速鉴别。方法 实验选择种子公司购入的同品种冻伤和非冻伤花生各500粒,采集1000粒花生样本的0~359.97 cm^(-1)THz光谱,通过光学参数计算得到样本集的吸光度、折射率和吸收系数。采用3点移动窗口平滑预处理和随机森林算法建立基于不同光学常数的花生冻伤识别模型。结果 在决策树棵数为500,特征变量数为38时,基于太赫兹吸光度建立的花生冻伤判别模型性能最佳,准确率、召回率、精确率达到97.0%、98.0%、96.1%。结论 本研究所建立的定性模型准确率高, THz-ATR技术有望为花生冻伤的快速无损鉴别提供一种新的高效的检测方法,为太赫兹技术在食品检测领域的应用提供了现实依据。

太赫兹时域光谱及成像技术在农作物品质检测中的应用研究进展

太赫兹辐射以其独特的技术优势,如瞬时性、宽带性、相干性、低能量性、穿透性和吸收性,受到了全世界各国政府、高等院校、科研机构等的高度重视并日趋成为生物医学、材料科学和物理学等领域的新兴研究热点。农作物成分如水分、蛋白、脂肪、淀粉等理论上在太赫兹谱区有较为丰富的吸收;太赫兹波的低辐射特性对农业生物样本检测更为安全;太赫兹波的穿透特性对带包装样本、包衣样本的检测又独具优势;太赫兹时域光谱与成像技术结合还可以进一步对农作物样本的组织形态进行辨别评价,因此太赫兹波技术逐渐成为农作物品质检测领域一项极具应用潜力和应用前景的前沿分析技术。简述了太赫兹时域光谱及成像技术的基本原理,聚焦于太赫兹时域光谱及成像技术在农作物品质检测领域的应用研究现状,对该技术在农作物种子质量鉴别(如品种、转基因和活力)、农作物成分分析(如糖类、水分和淀粉),农作物贮藏品质判别(如新陈度、劣变和虫蚀)以及在农产品安全检测(如农药残留、非法添加物和异物)方面的新近研究工作和进展进行归纳总结,并展望了该技术在农作物品质检测领域的应用前景和发展趋势。

基于近红外高光谱图像的花生内部霉变快速判别方法研究

目的针对外观正常但内部存在不同程度霉变的花生,探索采用近红外高光谱成像技术结合机器学习方法构建花生内部霉变快速无损判别模型的可行性。方法采集100粒内部霉变和100粒健康花生的近红外高光谱图像构成数据集,将多种经典光谱预处理方法与支持向量机(support vector machine,SVM)组合建立花生内部霉变判别模型,并采用蒙特卡洛-无信息变量消除法(Monte Carlo-uninformative variable elimination,MC-UVE)找出霉变判别中有效的光谱特征波长。结果将Savitzky-Golay卷积平滑方法和二阶求导光谱预处理方法与SVM组合,对内部霉变严重样本判别的总体识别准确率可达95%,对不同程度内部霉变样本的平均识别准确率为88%;基于MC-UVE筛选得到10、5、3个特征波长构建的模型总体识别准确率为90%、85%和82%。结论实验结果表明高光谱技术结合机器学习可为花生内部霉变的快速、无损判别提供可行的解决方案,同时特征波长筛选为基于光电原理的霉变花生色选机系统开发提供了参考。

基于太赫兹衰减全反射技术的花生品种快速鉴别

利用太赫兹衰减全反射技术,结合距离匹配算法,对不同品种花生进行快速分类鉴别。实验随机采集花育36号、鲁花1号和鲁花9号共3个花生品种、总计60个花生样本在0.3~3.6 THz的太赫兹衰减全反射光谱,随后对其吸收系数进行一阶导数及归一化预处理,并建立花生品种的距离匹配快速鉴别模型。距离匹配模型结果显示:3个类别的总体识别准确率可达93.3%,仅有1个样本预测错误。研究结果表明,利用太赫兹衰减全反射技术实现花生品种快速鉴别具有一定的可行性,具有操作简单且快速高效等特点。

数据驱动的模糊支持向量农业水质评价模型

[目的]针对在线农业水质综合评价中的监测数据噪声及边界模糊问题,建立具有良好抗扰性和等级划分的综合评价模型。[方法]提出了基于数据确定投影寻踪指标权重及模糊隶属度参数的支持向量评价模型。采用改进遗传算法对投影寻踪函数进行了优化求解,获得相对客观的指标权重向量,而后结合数据优化模糊隶属度参数,构建模糊支持向量综合评价模型,以使得监测噪声对评价模型泛化能力的影响减小。此外,考虑到通用的离散化评价等级分辨率较低,提出了区域划分信度的概念,用以辅助说明样本所属区域划分等级的可信程度,实现对综合评价结果进行细化补充说明的目的。[结果]评价模型与专家意见及传统评价方法的结果吻合程度较高,且在监测数据叠加10%至30%的随机噪声时,模型仍能保持85%以上的一致率,样本的区域划分可信度均大于临界值,抗扰效果优于传统模糊综合评价及灰色聚类法。[结论]本文构建的模型具有较好的可行性与鲁棒性,能为后续噪声存在条件下农业水质在线实时综合评价提供借鉴与参考。

基于太赫兹衰减全反射技术的花生霉变程度判别

为了能够可靠、快速、便捷地检测花生仁不同程度的霉变,研究了一种基于太赫兹时域光谱技术、分别结合误差反向传播(Back propagation,BP)神经网络算法与支持向量机算法(Support vector machine,SVM)的霉变花生定性分析方法。为排除不同样本带来的偶然性,实验随机采集花育36号、鲁花9号两个花生品种进行霉变培养。依据花生的感官特征与前人的研究经验,将花生分为正常、轻度霉变、中度霉变与严重霉变4类,采用太赫兹衰减全反射技术采集花生仁样本光谱(波段0. 3～3. 6 THz)。利用傅里叶变换方法对时域光谱信号进行频域变换并进行加窗处理,然后对所得频域信号进行光学常数吸光度与吸收系数的提取,得到样本的光学常数信号,并进行特征波段筛选。在此基础上分别建立BP神经网络定性分析模型与SVM定性分析模型。实验表明,BP神经网络模型对花育36号花生霉变模型的预测集识别正确率为88. 57%,对鲁花9号花生霉变模型的预测集识别正确率为91. 40%;Lib-SVM模型对两个品种花生霉变的二分类模型、3类霉变花生的三分类模型的预测集识别正确率均为100%。应用太赫兹时域光谱技术结合SVM算法检测霉变花生仁效果良好,具有一定的可行性。

基于THz-TDS反射成像技术的玉米种子活力无损检测研究

应用太赫兹时域光谱反射成像技术结合广义二维相关光谱法探索玉米种子活力敏感太赫兹波段,并结合支持向量机建立快速无损判别种子活力的分析模型。实验以中地77玉米种子为例,采用人工老化方式(40℃, 100%相对湿度)将种子样本分批老化0, 1, 2, 3, 4天制备不同活力的种子样本,并按照GB/T 3543.4—1995进行种子发芽实验;同时采用Terapluse 4000太赫兹时域光谱仪及反射成像附件采集上述不同老化程度种子样本的太赫兹光谱图像。由于玉米种子的胚乳和种胚的成分差异显著,为探究种子不同组织在老化过程中与活力的相关性,本实验首先采用双高斯滤波器对THz图像中的像素点光谱消噪、峰峰值差分重构图像增强以及阈值分割等预处理无损提取玉米种子不同组织太赫兹吸光度谱。然后以老化天数为扰动量,针对上述提取的样本胚乳和种胚光谱分别作广义二维相关分析,根据实验中同步谱和异步谱中自动峰与交叉峰位置初步解析,可得到与种子活力关系密切的THz波段主要集中在75和36 cm^-1区域,同时75和36 cm^-1处的光谱信息存在强烈的协同变化且变化方向一致。种子活力与老化天数密切相关,因此根据老化天数分别建立了基于胚乳和种胚吸光度谱的五分类支持向量机模型用于种子活力定性判别,但是其判别准确率仅为59.34%和71.28%,表明该模型无法精细划分种子五个活力等级;实验进一步根据GB4401.1—2008以玉米种子发芽率85%为阈值划分活力高低等级,建立二分类种子活力判别模型,可得胚乳和种胚测试集识别准确率分别可达88.61%和91.73%,模型性能显著提升,增强了THz技术用于种子活力无损粗筛的可行性。实验结果表明:太赫兹反射成像技术以其丰富的指纹谱、低能安全以及图谱合一等特性,有望成为单粒种子活力快速无损测定领域一项崭新、有力的补充技术。

基于太赫兹时域透射成像技术的葵花籽内部品质无损检测研究

葵花籽壳内籽仁的品质直接影响产出食用油的质量,利用太赫兹时域透射成像技术,结合形态学滤波和K-均值图像分割的方法,对葵花籽破损粒、虫蚀粒、空壳粒三种异常样本进行带壳无损检测,实现对葵花籽壳内品质的探索研究。参考国家标准和前人经验制备破损粒、虫蚀粒和空壳粒三种带壳葵花籽样本,利用太赫兹时域光谱仪TeraPulse 4000及透射成像附件,以0.2 mm的分辨率分别采集上述三种异常样本的光谱图像,并采集一颗正常葵花籽的光谱图像作为参照,以峰峰值成像的方式对四种葵花籽太赫兹图像进行重构。通过太赫兹图像可初步判断壳内籽仁的形态,但仍存在对比度低、边缘信息模糊等问题,需要进一步优化处理。采用形态学滤波算法对葵花籽的太赫兹图像进行滤波,选择边长为3的平坦型菱形结构元素作为核对图像进行一次膨胀,再计算图像的外部梯度,完成对图像的滤波处理;将形态学滤波结果分别与中值滤波、均值滤波和非局部均值滤波结果进行比较,对比发现,形态学滤波不仅保证了图像的清晰度,保留了边缘信息,同时能使葵花籽样本与背景之间存在明显界限,有利于后续进行图像分割处理。为了更加准确的检测葵花籽籽仁的形态,对滤波后图像进行图像分割。采用K-均值聚类算法对滤波后的太赫兹图像进行图像分割;为提高分割结果的准确性,对不同样本的图像分别确定了不同的初始聚类中心个数K,其中破损粒K=4、虫蚀粒K=5、空壳粒K=3、正常粒K=4,分割后的图像能准确呈现葵花籽壳内籽仁的形态。研究结果表明,太赫兹时域透射成像技术结合形态学滤波及K-均值图像分割方法对实现葵花籽内部品质的带壳无损检测具有可行性,为后期建立带壳葵花籽品质无损检测模型奠定基础,为油料作物内部品质的带壳无损检测提供参考。

基于深度学习的高光谱腊肉营养安全分级

本文设计的卷积神经网络-支持向量机(CNN-SVM)模型,从腊肉的高光谱成像出发,将深度学习提取特征与传统机器学习提取特征有机结合,设计出准确可靠的腊肉营养安全四分类器。利用三维卷积神经网络提取腊肉高光谱图像的深层特征,同时融合高光谱的光谱特征,联合输入支持向量机(SVM)实现对腊肉的分类和健康风险评价。结果:获得了与国家腊肉生化检测标准相一致的高光谱营养品质检测与健康风险评估指标,实现了可靠、快速评价其安全、营养品质的目标。在腊肉两分类的基础上,该方法实现的腊肉四分类的准确率达到92.5%,试验结果证明了该方法的可行性和有效性。

太赫兹衰减全反射技术对板栗果仁霉变程度判别研究

目的建立基于太赫兹衰减全反射光谱法(terahertz attenuated total reflection spectroscopy,THz-ATR)快速检测板栗果仁霉变程度判别方法。方法实验选取迁西板栗、沂蒙短枝、怀柔板栗3个品种的60颗饱满果仁进行霉变培养,并依据GB/T 22346—2008《板栗质量等级》将板栗果仁分为正常、轻度霉变、重度霉变3类,采集板栗果仁样本太赫兹时域光谱(波段0.3~3.6 THz)后进行光学常数提取,从而得到样本的吸收系数谱图和折射率谱图,并结合基于遗传算法(genetic algorithm,GA)寻优和基于粒子群算法(particle swarm optimization,PSO)寻优的支持向量机算法(support vector machine algorithm,SVM)建立定性判别模型。结果PSO-SVM算法模型对板栗果仁霉变程度的预测集识别正确率为91.6667%,GA-SVM算法模型对板栗果仁霉变程度的预测集识别正确率为100%。结论本研究所建立的定性判别模型准确率高,利用太赫兹时域光谱技术可以实现对板栗果仁霉变程度的区分识别,为太赫兹技术在食品检测领域的应用提供了现实基础。

基于高光谱成像技术快速检测茶叶茶多酚含量

目的建立一种精确、高效的多元校正模型,实现快速、无损检测茶叶中茶多酚含量。方法首先利用高光谱成像技术采集单纵茶叶的光谱数据,其次通过二维相关光谱(two-dimensional correlation spectroscopy techniques,2D-COS)波段筛选算法提取特征光谱,最后结合极限学习机(extreme learning machine,ELM)建立茶多酚的预测模型,并与全波段模型进行对比。结果经二维相关光谱算法所提取后的特征波段建立的模型预测效果优于全波段模型。茶多酚模型的决定系数(determination coefficient,R2)从0.89上升到0.94,预测均方根误差(root mean square error of prediction,RMSEP)也从2.37%下降到2.16%。结论二维相关光谱波段筛选算法有效地提取茶多酚的特征波段,适用于茶叶中茶多酚含量的快速、无损预测。

基于农残数据的双层次可视化建模算法

基于研究农药残留量检测结果数据中具有地理层次和蔬果分类层次的特点,在节点-链接和放射环可视化算法模型的基础上,设计了分析农残数据中双层次结构的可视化建模算法放射链图(Circle Link)。该方法可视化展示农残信息的分布,为相关信息的可视分析提供支持。将可视化建模算法应用于实际的农药残留量检测结果数据当中,进行建模与仿真分析,并得出结论。该方法有效的分析了农药采集的特征,农药残留的分布和超市中农产品农药残留的情况等,为农产品中农药残留量的检疫检测提供技术支持。