学生课堂心理健康AI监测系统

作品访问二维码

                                                    

线上中心简介

      本项目——学生课堂心理健康AI监测系统线上中心主要为学生、社会各阶层提供心理健康监测及咨询服务。网站首页分“项目概况”、“产品详情”等共八大模块，以下为相关介绍。

                                               

项目概况

      近年来中小学生群体的心理健康问题愈发成为了新闻热点。该群体数量庞大，且因为心理问题具有较强的隐蔽性，仅靠精力有限的教师难以及时照顾到每一位学生。本项目针对上述问题，研发了一款面向中小学的学生课堂心理健康 AI 监测系统。本系统通过面部表情识别、头部姿态估计、人体行为识别等模块，实现了学生心理健康的智能化监测，弥补了人力观察的不足，提升了学校的综合管理能力，让学校对学生的关怀工作落实到每一个个体身上。

产品详情

      随着近年来校园恶性事件的频繁发生，青少年心理健康已经成为当今社会高度关注和重视的话题，同时也是我国面临的一大难题。而传统线下人工心理健康调查的方式存在着调查效率低、反馈实时性差、准确性不足、数据分析主观性强、消耗时间长和所需资源成本高等缺点。如今，结合人工智能这项新兴技术开发学生心理健康AI 监测系统对中小学学生的心理健康状况进行监测和预警有望为校园学生心理健康保障工作提供新思路和新方法。针对现存市场需求和痛点，我们综合性地研发了“基于情感计算的学生课堂心理健康 AI 监测系统”。本系统及应用由面部表情识别模块、头部姿态估计模块、人体行为识别模块、指标计算模块、区块链防篡改模块以及管理平台模块六大部分组成，系统的总体架构图如下图 所示。

      (1) 面部表情识别模块：本作品为了能够实现实时的面部表情识别，把采集到的视频数据送入基于 YOLOv5 的网络模型中，将人脸检测视为一般的目标检测任务。通过对中尺度和大尺度人脸进行Mosaic 来提高人脸检测的准确率。采用随机裁剪，提高模型的性能。针对人脸检测，在运用 YOLOv5 网络的同时，添加五个人脸关键点。回归，通过 Wing loss 的回归损失函数进行人脸检测。采用 Stem 模块替代网络中原有的 Focus 模块，在性能不变的同时，提高网络的泛化能力，降低计算的复杂度。通过基于 ShuffleNetV2 Backbone，加快图像帧的人脸检测速度和人脸识别精度，成功提取出视频图像帧当中的人脸框。然后将识别出的数据输入基于 ViT(VisionTransformer)的网络结构中进行表情识别，以解决普通卷积神经网络对于海量的数据适配能力不足和计算两个位置之间的关联所需的作次数随着距离而增长所导致的计算量大的问题。在表情识别网络中，通过一个非对称编解码器架构的训练方法，使编码器在基HOG 特征的基础上，只对可见的图像块子集进行操作，解码器则从潜在表征和被掩码掉的标记中重建原始图像。通过这种采样图像进行随机的图像块掩码并重建的预训练方法，增强模型的泛化性，加速模型对下游目标任务的收敛。通过 Attention 机制从通道和空间两个维度计算学习出一个更好的特征权重分布矩阵，关注重点特征而忽略不重要特征，提高面部表情识别的精度。通过自适应边缘函数的设计，根据样本的图像质量对不同的困难样本赋予不同的权重，有利于模型的训练，避免强调受外界环境因素干扰较大的难以识别的图像，专注于困难但可识别的样本。采用引入特征范数的 softmax损失函数，在强调样本不同困难程度，减少类内变化的同时，提出特征范数来寻找低质量的图像，以适应所引入的边缘函数。面部表情识别模块的效果图如下图所示。

      (2) 头部姿态估计模块：本作品为了能够实现更为准确的头部姿态估计，先用基于 YOLOv5 的网络模型来提取人脸框。然后用PFLD 识别人脸关键点。针对人脸姿势和图像质量对于人脸的全局变化影响，采用辅助网络来预测人脸 3D 姿态的偏转角度信息 yaw，pitch 和 roll，解决训练初期关键点检测不准，以及所导致的计算偏转角误差过大的问题。针对样本数据不平衡的问题，在损失函数中融入三维信息，加大对困难样本的惩罚力度。使用 multi-scale 全连部接层扩展感受野，以精确定位人脸的特征点。使用 Mobilenet Block构建网络的 Backbone，提升模型的推理速度，减少模型的计算量。最后，通过自主收集的人脸角度转换数据，将人脸的旋转关键点拟合成非线性模型。通过拟合出的模型跟进关键点，估计头部姿态，使模型具有精度更高，速度更快，更易部署和使用的优势。头部姿态估计模块的效果图如下图所示。

      (3) 人体行为识别模块：本作品为了能够提取中小学学生的人体行为特征，将采集到的视频数据送入基于 YOLOv5 的网络模型中进行人体行为的识别。使用 CSP-darknet53 作为网络的骨架，通过PANet 融合来自网络骨架的不同尺度特征。采用多个不同尺度的head，用于预测 bounding box 和 keypoints。对于图像帧，将 boundingbox 的坐标转换为 Anchor 中心，将 bounding box 的尺寸根据 Anchor的高度和宽度进行规范化。对单个关键点和空间相关的关键点集进行建模，构成一个密集的单级锚定检测框架内的对象，规避了传统的关键点估计算法中基于热图的回归方法的使用，提高了算法的推理速度。引入自适应的 oks loss 作为关键点的损失函数，如果图像质量高，则强调困难样本，如果图像质量低，则不强调困难样本，提高了模型的识别精度。同时，为了进一步提高模型的适应能力，还提供了一种反馈机制，当识别出的行为类别超出容错范围时，标记此视频信息为疑惑信息，对该标记的视频信息进行保存，后期反馈，人工标注做增量训练。人体行为识别模块的效果图如下图所示。

      (4) 指标计算模块：算法服务器把识别到的对象信息和对象的坐标信息封装成 Json 数据包的格式，通过 RabbitMQ 中间件实现算法服务器和数据库服务器之间的消息队列通信。系统应用服务器在获取到数据库的数据之后，按照设立的多级指标计算公式得出课堂参与度、情绪指数、心理健康参考分三个用户真正关心的产品指标，并返回给前端，指标计算模块的效果图如下图所示。

      (5) 区块链防篡改模块：基于区块链的不可篡改性与分布式账本特点，在哈希算法上运用一种改进的 MD5 算法，结合所提算法来对大量散杂的数据上链保存。每个单独的机构通过联邦学习达到跨地域协作而数据不出本地的目的，进而多方合作建立的预测模型将能够进一步提高心理健康监测系统的准确率。根据防篡改系统所具备的较广的适用性与较强的自学习能力，可针对中小学课堂场景提供的数据通过其他模块的调用进行情绪的自动计算，并将原始数据、计算所得数据与其余基本信息都稳妥保存，有效地抵御了人为修改数据的恶意行为，确保了学生数据的安全性。

      (6) 管理平台模块：本系统的具体形式是一款 web 应用，分为用户端和后台端。用户端面向学校用户，校工作人员登录用户端，通过上传课堂视频或者直接用摄像头监测课堂，就能得到学生的课堂表现数据。后台端面向系统管理员，后台可以查看用户上传的课堂视频的基础数据，据此调节算法模型、调节各项指标的权值大小以优化系统识别性能，管理平台模块的效果图如下图所示。

      总的来说，本产品的创新点和关键技术主要有以下三大点。

      (1) 自主研发面部表情识别算法、头部姿态估计算法和人体行为识别算法，满足无人监测环境下对于中小学生心理健康状况实时评估的需求，实现对于中小学学生心理健康状况分析的自动化和智能化；

      (2) 自主研发心理健康指标分析系统，利用多级指标公式和“趋同性”分析方法满足智慧校园中主要关注的课室场景之下对于学生心理健康状况进行智能分析的应用需求；

      (3) 自主研发无人监测学生课堂心理健康 AI 监测管理平台，架构选型采用组件化设计思路，采用基础架构服务层、数据访问层、业务逻辑层、应用服务层和展现层的逻辑分层，满足学校管理人员对学生心理健康状况进行智能监测的管理需求，提高数据的利用率，实现数据的可视化管理规范。

本作品通过面部表情识别、头部姿态估计、人体行为识别、指标计算、区块链防篡改以及管理平台六大部分形成了一个面向中小学学生的课堂心理健康AI监测系统。其中，产品的面部表情识别准确率≥85%，头部姿态估计准确率≥90%，人体行为识别准确率约为86%，视频检测帧率介于55FPS~60FPS，能够实时、高效、准确地监测中小学学生的心理健康状况。与现有技术相比而言，本作品拥有着以下四大方面的技术特点和优势。

      (1)  新行业

      将多模态的情绪识别方法和基于“趋同性”的指标量化计算方法应用于中小学课堂的学生心理健康监测预警是国内首创，较传统人工反馈和分析而言，学生课堂心理健康AI监测系统具有省时、方便、智能、针对性强等特点，对用户友好的系统界面以及简单的操作为相关人员提供了便利。

      (2)  新技术

      1、通过面部表情识别、头部姿态估计和人体行为识别算法，实现对学生情绪和姿态信息的解读。

      2、通过指标计算模块，基于“趋同性”课堂行为量化分析技术来进行心理健康状况的评估，赋予AI计算和理解人类情感的能力。

      3、通过使用区块链的防篡改系统能有效抵御人为修改数据的恶意行为，确保了数据分析的客观性，保证了数据的安全性。

      (3) 新标准

      基于情感计算的学生课堂心理健康AI监测系统将会成立专门的数据监控小组，对于每次结果进行严格的勘误和把控，确保识别准确度符合技术指标，不断优化识别算法模型，让中小学学校用户放心使用。

      (4) 新速度

      基于情感计算的学生课堂心理健康AI监测系统能够不间断地进行学生心理健康状况的监测及反馈。相比于电子调查问卷以及人工咨询调查需要耗费巨大时间的痛点，基于情感计算的学生课堂心理健康AI监测系统可以节省人工咨询以及反馈时间，减少人力物力的消耗，同时数据直观可靠，在服务端和客户端即可实现一键获取反馈信息。

视频简讯

      为了更加生动直接给本项目的用户展现产品的使用效果，本团队将项目的背景、产生起源、产品的落地情况以及开发之后的使用步骤等以视频的形式展示出来，能够方便使用者更加直观了解我们的项目。同时通过视频也可以实现云同步观看产品的使用效果，同步参与到心里预警如何观察和判定实验对象的情绪变化，以及做出怎样的反应，能够更加深入体会本产品开发的功能效果以及开发意义。

系统展示

      为向用户全方位展示学生课堂心理健康AI监测系统的应用界面及其系统功能，网站设立了系统展示模块。该模块以专栏的形式，向用户展现了系统的宣传图以及系统用户端实时监测模式、用户端手动导入模式、报表分析、后台端权值配置等各大功能模块，让用户对心理健康AI监测系统的功能有初步的了解。

                        

心理测评

      近年来，伴随着经济的飞速发展，年轻人也普遍存在面临着购房压力大、子女上学难、就业形势严峻的社会压力，在长期的社会压力作用下，心理健康问题也将逐渐显露，青年人群体的心理健康已经成为当今社会高度关注和重视的话题。鉴于青年人群体的心理健康现状，网站向用户提供了心理测评模块。

      心理测评模块主要以问卷的形式，基于心理健康自测量表来构造问卷，对用户信息进行收集，并对不同的得分区间提供了相应的心理建议，用户可通过该服务对自身短期内的心理状况进行初步的了解，并作出相应的自我调整。

               

团队资料

      为向用户充分展现本团队雄厚实力及本项目发展前景，网站设立了团队资料模块。点击团队资料模块后，用户将跳转至《图灵人工智能创新实验室心理健康监测系统开发团队》文章，该文章主要从实验室的基本信息，心理健康AI监测团队的成员资料，团队的指导老师信息，心理健康AI监测项目在研发过程中所产出的论文、专利成果，心理健康AI监测项目历次比赛中所斩获的奖项共五大维度全方位对项目的综合实力进行全方位的阐述。

合作伙伴：

      目前，学生课堂心理健康AI监测系统项目组已与未来航空科技有限公司、江门市云瞳科技有限公司合作，签订了战略合作协议，获得三百万的研发资金用于项目开发，并和中国电信股份有限公司江门分公司、江门鹤山市相关政府机关建立了合作意向。

      在合作伙伴模块中，用户可查阅项目组与未来航空科技有限公司、江门市云瞳科技有限公司相应的产品应用证明，充分了解项目的落地情况。

联系我们

      为满足用户对开发团队的联系需求，网站主要以活动的形式设立了项目咨询模块，为用户联系团队提供技术支持。

      在项目咨询模块的投稿界面中，用户首先需要对所在单位进行叙述，单位包括但不限于特点企业、个人。

      由于用户向主办方所咨询的内容、咨询的目的千差万别，因而设立了详细内容选项。详细内容选项是投稿信息的主体内容，在该选项中，用户可根据自身的需求来自我组织发言，如通过该模块向我们咨询产品详细内容、了解项目最新进展、表明合作的意向或反馈系统的错误等。

      最后，用户需要在联系方式选项留下自己的联系信息，以确保主办方有途径对用户的投稿进行反馈。

                             

      项目咨询模块在一定程度上增强了产品的互动性，使得网站不再是一个单方面的独立的个体，用户有了一个阐述自我需求的渠道，主办方也能深入用户群体了解产品存在的问题及其改进的方向，一举多得。