自动学习反馈监控和分析在现代教育中变得至关重要。我们提出了一个视频分析系统，能够监控课堂学生的学习行为并向教师提供反馈。如今，学生在课堂上使用笔记本电脑和手机做电子笔记或在线浏览是一种常见的做法。然而，技术的使用也会影响学生的注意力并影响学习行为，如果控制不当，可能会严重阻碍他们的学习进度。在这项开创性的研究中，我们提出了一种基于非侵入式深度学习的计算机视觉系统，通过提取和推断高级视觉行为线索（包括他们的面部表情、手势和活动）来监控学生的注意力。我们的系统可以自动实时协助教练进行态势感知。我们假设仅 RGB 彩色图像作为边缘设备上的输入和可运行系统，以便于部署。我们提出了两个用于学生行为分析的视频分析组件：（1）面部分析组件基于 Dlib 面部检测和面部标志跟踪来定位每个学生并分析他们的面部方向、眨眼、凝视和面部表情。 (2) 活动检测和识别组件基于OpenPose和COCO对象检测进行操作，可以识别举手、打字、接听电话、歪头、办公桌打瞌睡等8种课堂手势和行为。在新收集的真实课堂学生活动数据集 (ICSAD) 上执行，我们实现了近 80% 的活动检测率。我们的系统在处理面部和姿势方向时与视图无关，平均角度误差为 < 10°。 这项工作的源代码位于：https://github.com/YiZengHsieh/ICSAD。



"点击查看英文标题和摘要"