大学生课堂参与度的人工智能实时智慧评价关键技术研究

背景介绍

我国教育部于 2004 年启动“高等学校教学质量与教学改革工程”，在 2007年全面实施该工程，并启动了人才培养数据库及预测机制研究项目。十九大也进一步提出要实现高等教育内涵式发展，提升教育质量成为高等教育内涵式发展的第一要务。本项目从教育评价经典理论出发，探究了机器视觉和自然语言处理等领域最新人工智能技术在大学课堂学生参与行为的表征建模和分析报告生成等关键任务中的应用范式。

应用场景和方案

项目以上海交通大学课堂真实视频为参考，构建了教室场景密集坐姿人群合成数据集 SynPose 和典型课堂参与行为关节点时序数据集，在此基础上设计了密集遮挡人群姿态估计模型 CC-PoseNet 和多模态时序动作检测模型 AV-TAD，进而提出了从原始课堂视频到教育学视角学生行为分析与反馈报告生成的端到端智能化系统，开创性地利用 GPT4 等大语言模型弥合了教育理论与视觉表征之间的认知层次差异，为教育学视角下的课堂行为自动化观察、 分析与评价反馈生成提供了一种高效可行的智能化实施方案。

已有成果

项目执行期间共计发表/录用多篇CCF推荐会议/期刊论文和高水平教育类论文，其中主线任务所形成的结论性成果“端到端课堂行为分析框架”被EAAI2024接收，阶段性成果教室场景姿态估计数据集 SynPose、遮挡人群姿态估计模型 CC-PoseNet、“视频-音频”动作检测模型 AV-TAD发表于ICASSP2022/2023，辅助任务中多轮对话摘要模型EHMNet和多模态提示学习标签对齐LAMM分别发表/录用于EMNLP2022和AAAI2024。