基于DCNN和迁移学习的食物图像识别

由于食物种类外观的多样性,针对食物图像的自动识别颇具挑战性。提出一种基于DCNN和迁移学习的食物图像识别方法。该方法采用在ImageNet图像数据集上预训练好的DCNN模型进行网络参数初始化,然后利用微调的训练方式在自建的小规模食物图像数据库集上进行迁移学习,以便获取食物图像高层次的属性特征。最后,将DCNN学习到的高层次属性特征输入到线性支持向量机进行食物图像的分类。实验测试结果表明,该方法取得的食物图像识别性能达到了 94.20%,优于梯度方向直方图和Gabor小波变换等手工类特征。可见,采用DCNN和迁移学习方法用于食物图像的自动识别是一种可行的方法。

基于智能识别和估重的食物图像数据集构建

目的 为提高食物智能识别和估重技术的准确率,建立大规模食物图像数据集。方法 基于网络爬虫技术、专业人工采集、常规用户上传等方式构建大规模食物图像及成分数据集。结果 构建了包含200多万张食物图像的数据集,其中113万多张标注图像和2356类食物和菜肴成分数据集Food2356,包括名称、菜品类别、重量、图片、营养成分、烹饪方式、地域等信息,涉及12类食物和73个子类别,12类食物分别包括纯素菜类、纯荤菜类、荤素菜类、主食、粥类、汤类、小吃甜点、奶及奶制品、水果类、坚果类、果汁类和食物原材料。所有数据进行了严格的数据清理、专业检查及迭代标注。结论 构建了目前用于智能识别的最大规模食物图像数据集,为食物图像智能识别提供了良好的数据基础。

面向慢性病人群的智能膳食评估系统

目的基于移动终端拍摄的食物图像对慢性病患者的日常饮食进行智能营养评估。方法构建基于人工智能的膳食评估系统,利用深度学习技术与图像处理方法,实现食物图像的智能分割、识别与营养素估算,使慢性病患者仅依据智能手机拍摄的食品图像即可得到食物的营养素信息。该系统同时支持172类中餐食谱与353种食材的细粒度识别,并在Vireo Food^(-1)72食谱数据集上得到了验证。结果基于卷积神经网络模型的食谱预测准确率为89.72%,食材评估指标微平均(micro-averaging,Micro-F1)提升至79.06%,宏平均(macro-averaging,Macro-F1)提升至64.28%,在Vireo Food^(-1)72食谱数据集上取得了目前食材分类的最佳性能;基于食谱与食材识别结果对食物营养素进行估计,估计值与参考值误差均处于合理的范围内。结论本系统可实现针对慢性病人群的智能膳食评估,便于患者进行每日饮食的自我监督,且有助于辅助营养师完成患者的日常饮食记录与评估,具有实用价值与研究意义。

一种新的即时性图像法膳食调查技术和效果评价

目的研制一种新的基于即时性膳食图像的新膳食调查方法,并进行效果评价。方法利用印有背景坐标和外围框线的矩形餐盘纸或台布,要求被调查者独自分餐进食,进餐前用数码照相机或具备拍照功能的智能手机,对放置在餐盘纸(布)上的食物从不同角度进行影像拍摄,进餐结束后再次对剩余食物进行影像记录。将拍摄的膳食影像文件,通过存储介质或远程传送的方式,发送给后方技术平台,由专门人员依据预先建立的相关估量参比食物图谱,对影像图片中的食物进行估重和膳食评价,从而完成膳食调查。给35名二年级大学生提供一餐经严格称重而烹制的膳食,进餐前按照上述方法对食物进行数码影像记录,次日再接受24h膳食回顾调查。研究中,备餐、供餐、24h膳食回顾以及图像法食物估重等环节的工作均由不同的调查者承担,各环节间信息完全隔离。归类汇总各位受试者各类食物和全部食物的供应量和摄入量,计算膳食营养素供应量和摄入量;比较两种调查方法获得数据与食物称量数据之间的差异,计算估重差值(d)和估重差值绝对值(D),再计算估重差率(d%)和绝对估重差率(D%),即估重差值d和估重差值绝对值D相当于实际称量重量的百分比;同时对两种调查方法数据分别与称重数据进行相关性分析,比较两组方法反映实际膳食情况的差异。结果所开展的实验餐膳食共涉及大米、16种蔬菜、5种水果、瘦猪肉、鲅鱼和鸡蛋共24种食物。与24h回顾法数据相比,图像法估重数据与称重数据的相关性更好,图像法数据的分布更集中于线性趋势,与称重数据的差距更小,具有更小的标准差。基于各种食物的图像法估重数据计算的能量、蛋白质、维生素B1、维生素C和钙的摄入量数据,与称重数据的计算结果更接近,而且分布更集中,标准差更小。结论与常规的24h回顾法比,应用新的即时性图像法膳食调查技术进行膳食调查,可以获得与称重数据更接近的食物消费量和营养素摄入量数据。