2023年6月28日发(作者：)

信息化教学信息技术与信息化智慧教室学生状态检测系统研究与设计邓柏聪*

DENG Bo-cong

摘　要

以软硬件结合的方式，通过支持云平台控制与可变焦的高清球机，快速对教室所有学生进行人脸识别，并不断扫描听课状态，将获取的图像视频数据实时上传至云端服务器进行分析，对结构化数据进行大数据处理，输出统计结果，并进行后台的可视化呈现，同时将系统与学生的微信或QQ进行绑定，能够实现上课实时状态提醒等服务功能。测试结果表明，该设计具有优良的性能，可大力推广至图像处理的教育体系中使用。

关键词

AI；状态监测；机器学习；图像分析

doi：10.3969/.1672-9528.2019.01.0330 前言随着深度学习算法的快速发展，其在图像处理和视频分析方面的作用可见一斑，进而衍生出了教育结合图像处理的应用场景，这将有效地提高传统教育的效率。因此，研究与发展图像处理相关的深度学习算法，进而将其应用在的教育体系中具有较高的工程应用价值。AI时代的到来，已经给社会各行各业的工作带来了令人瞩目的便捷和高效。而教育行业也是AI技术的重要应用方向之一，无论是中小学，还是高等院校，教学老师和管理人员都非常想及时了解学生的学习状态，从而为自己的教学和管理提供可靠的数据支持。运用先进的图像分析技术，实现实时图像信息识别，并进行自适应学习，将识别出的信息应用于教学场景，以此完成对学生状态的检测，包括但不限于听课状态、点名、实时提醒（如果学生有手机，可以进行微信或短信提醒）。1 介绍深度学习与图像处理的结合用一个卷积核，相邻的隐层之间通过卷积核进行变换；这两种模型，在分类问题上，模型的优化算法往往采用交叉熵的形式，至于训练方法，大体上均采用反向训练算法。2 系统的总体架构2.1 图像数据采集设备系统使用的图像数据采集设备是APG-IPSD-642FR-B(D)球型网络摄像机，其适用于道路、金融、电信、超市、酒店、政府、学校、机场、工厂、公安、司法、监狱、平安城市等要求超高清画质的场所。该款网络摄像机采用高性能的1/3” Progressive CMOS传感器，并由精密步进电机驱动，运转平稳，反应灵敏，定位准确。同时，其具有2592×1520高分辨率、20倍光学变焦能力、防水等级IP66、4000V防浪涌设计等，能够实现150M红外距离感测，在成本控制和性能上，都非常适用于本系统。2.2 终端操作系统的选择在实际应用中，深度学习技术最先被应用于图像识别方向，并在该领域取得了令人瞩目的成果。对于人脸图像的处理，经过多年的发展，已经有了一定的数据积累，目前也存在很多已知的属性集。在此基础上，收集一定的样本进而构造一个二维矩阵的样本集，以此作为模型的输入数据即可进行模型的训练[1]在团队前期的开发过程中，为了能够及时的跟进云端服务器的大数据算法的测试，系统的终端设备使用HTML5技术，在MUI框架的基础之上开发了系统的终端设备。MUI框架在追求性能体验上，做到了自己的理解，它做到了每一个风靡技术社区的能够快速集成的框架所共有的特征—轻量。MUI不依赖任何第三方JS库，压缩后的JS和CSS文件仅有100+K和60+K，不仅如此，鉴于之前的很多前端框架（特别是响应式布局的框架），UI控件看起来太像网页，没有原生感觉，因此MUI做到了近乎于原生的UI使用体验。MUI以iOS平台UI为基础，补充部分Android平台特有的UI控件。当然，MUI与原生的Android和IOS存在一定的差别，。[2]按照不同层之间的连接的方式的不同，神经网络被分为三类比较重要的模型。而在图像处理的领域中，应用比较广泛的模型大致分为两种，一种是全连接神经网络，即相邻层之间的节点是强连通的；另一种是卷积神经网络，模型引* 江西财经大学 江西南昌 33年第1期如无法调用传感器、陀螺仪等移动端底层功能。因此，在系统的硬件设备以及云端服务器的大数据算法架构设计测试完毕之后，为了保证系统的全面性，系统的终端将采用目前主流的Android操作系统和IOS操作系统。2.3 Web端的数据处理分析系统的Web端开发则基于Spring MVC架构，该架构分离了控制器、模型对象，能够同其他View框架无缝集成，系统使用Java Server Pages（JSP）视图技术进行数据的可视化呈现。在图像数据的处理方面，利用Google大脑的开源深度学习系统TensorFlow进行深度学习系统的搭建，并部署于云服务器。3 系统的设计和实现3.1 按照市场需求导出系统总体功能面对如何提高传统教育的教学效率的问题，目前市场中出现了许多方法，例如，结合微信和蓝牙设备的上课签到系统，以及在线点名系统等。这些系统在一定程度上，解决了逃课缺勤的问题，但是上述几种系统在实际的应用中无法做到准确无误，即存在取巧行为。随着AI时代的到来，图像处理技术日益发展，其应用也越来越广泛，因此，将图像处理技术应用到教育中，将大大增加教育的效率。不仅如此，通过图像处理的课堂辅助系统，能够增加传统签到系统所不曾有的功能和有效性，例如人脸识别防止代签，检测上课状态，统计同学上课的效率和状态，并进行可视化的数据呈现，以此帮助老师及时了解自己的教学质量，从而对自己的教学方式进行调整，提高教学效率。3.2 系统思路3.2.1 方案思路根据实际的需求以及技术方面的掌握状况，完成了系统的开发思路的确定。第一步，确定相关方案，收集用户的图像和上课过程中的各种图像信息，尽量做到精确及时。第二步，确定相关方案，利用部署在云端服务器的大数据中心对图像数据进行分析。第三步，确定相关方案，分别使用教师端进行可视化的数据呈现，使用学生端进行上课状态的相关反馈操作。第四步，确定相关方案，保证图像数据在教师端、学生端和图像数据采集设备之间传输的安全性、可靠性。3.2.2 解决思路一是利用系统的移动终端，让每一个注册的学生上传清晰真实的正脸照片，在云端服务器中，对上传的照片进行处理，将每个学生的脸部特征进行储存标注。完成图像信息标注后，利用网络云摄像机进行实时图像采集，最多同时能够在同一帧图像中识别五张人脸，并在一分钟内完成整间教室信息技术与信息化信息化教学内的学生脸部图像的采集和识别，从而完成签到。不仅如此，在上课过程中，实时采集学生上课的图像，并做出专注听课、睡觉、未专注听课等状态的评定。二是按照开发人员预先设计好的算法模型，将积累的学生上课状态和行为状态进行分析，得到学生的上课状态的结论报告，辅助教师了解学生上课状况。不仅如此，随着系统中学生的各种生活状态数据记录的积累，如衣着、上课用具等，有利于研发团队进行学生群体的调研分析等，以便后继产品的进一步研发。三是利用部署在云端服务器的图像数据分析程序，将采集到的学生上课图像进行处理并封装成二次数据，并将适配于图表二次数据传输给教师端，由教师端程序根据相应的数据，进行可视化的数据图表呈现。同时，云端服务器将适配于自然语言的二次数据传输给学生端程序，提醒学生及时调整上课状态。四是整套系统的图像数据关系为，由网络云摄像机进行图像数据的采集，由云端服务器的图像数据分析程序对图像数据进行分析，由教师端和学生端程序进行图像数据的呈现和反应。其间的数据均使用HTTP协议进行传输，并在传输前对图像数据集进行加密处理，确保用户数据的安全性。此外，系统会在接收图像数据后，利用蓝牙进行数据的二次校准。

4 结束语在系统设计和开发的过程中，团队成员分别对移动终端、图像数据采集设备、Web端数据分析程序，精心设计出了详细的测试方法和测试用例，根据此对系统进行了多次实际应用场景的功能性和实用性测试，弥补了数据、处理以及储存之间的不足，提升了系统的功能拓展性以及安全性。对于完善之后的系统，在架构以及小规模的实际运行情况均达到了设计之前的要求，整体系统还有待日后的上线测试，以及大规模的分布式集群测试。参考文献：[1] 虞达飞.机器学习方法在图像分类中的应用[J].电子世界,

2017(23):57-58.[2] 李卫.深度学习在图像识别中的研究及应用[D].武汉理工大学, 2014.

【作者简介】邓柏聪（1998-），男，江西赣州人，在读本科，主要从事软件工程研究。（收稿日期：2018-12-17） 2019年第1期112