基于RT-DETR-ASF的学生科学探究实验行为检测研究

深度学习方法在学生科学实验的自动检测和评估方面具有提高效率的潜力。为了解决学生科学实验数据集的缺乏和低准确率的问题,该文提出了一种基于实时的注意力尺度序列融合的目标检测变换器RT-DETR-ASF的学生科学实验检测方法。首先,该文构建了学生科学实验数据集,包括417个视频,18308张视频帧和20331个标注,主要关注5种行为:称重、测高度、丢球、测大小和记录。为提高检测准确率,引入了一种注意力尺度序列融合模块。为解决边界数据问题,提出了行为边界指数,用于识别数据集中的边界样本。为了解决数据不平衡问题,进行了过采样与视频帧扩展的操作。使用科学实验检测模型对数据集进行检测,实验结果表明:行为分类检测的平均准确率达到了71.1%。这证明了该模型的有效性。学生科学实验数据集与RT-DETR-ASF为未来的学生科学实验分析提供了先验基础,有望推动该领域的进一步发展。