2023年6月30日发(作者：)

EDUCATION FORUM

教育论坛面向智慧校园的教育大数据分析关键技术◆

张高伦 童 琨 陈国胜摘要：针对业务系统数据标准不统一、数据结构多样化、数据更新不及时等因素给智慧校园建成造成的不利影响，论文通过构建大数据平台的方式对多源异构数据进行梳理，将结构化、半结构化和非结构化数据整合成数据仓库，在此基础上从学生网络行为分析、多维度实时学业预警、教学精准督导等角度，介绍了面向智慧校园的教育大数据分析的方法和技术。系统已在学生管理和教学督导等部门普遍使用得到积极肯定。关键词：智慧校园；大数据应用；网络行为分析；学业预警；精准督教经过多年的信息化建设积累，目前国内高校已建成了各类信息服务系统，为学校的校务管理、师生服务、对外交流等做出了很大贡献[1]。智慧校园作为数字校园的高端形态，以面向服务为基本理念，构建资源共享、智能灵活的教育教学环境，能够有效支持高校的教学、学习、科研与管理活动，丰富校园文化，拓展学校的时空维度。但“智慧”的基础是数据，一个完整的数据集，需要将来自各类数据源的数据按照统一的信息标准进行转换、梳理、清洗、纠错、匹配等操作，再以主题数据集的形式进行重新整合，形成具备整体性、标准性、一致性和完整性的新数据集，这就需要一个灵活、可扩展的技术平台来承载和运行。受应用系统数据标准不统一、数据结构多样、数据更新不及时等因素影响，难以建立这样的标准技术平台，从而给校园大数据资产的挖掘应用造成了很大的困难[2-3]。本文从大数据分析平台建立、学生网络行为分析、多维度实时学业预警、教学精准督导等角度，介绍了面向智慧校园的教育大数据分析的方法和技术。图1教育大数据分析平台总体框架数据应用层：直接与用户交互，是系统的使用界面和视图，可快速灵活定制，满足各种校园使用场景和人员的需要，并具备统一门户和综合展示功能，包括学生上网行为分析、学业预警、画像、精准督教等业务模块。数据管理层：是大数据基础平台核心的业务数据处理模块，包括用户管理、开发管理、数据接口定义及管理、数据接口访问控制等功能、数据接口使用展示、数据查看和导出等。各类数据中均会涉及到大量隐私信息，数据管理还需具备数据安全和隐私保护功能。数据存储和计算层：实现海量业务数据的集中清洗、存储、管理，支撑决策层集中掌握校园整体运行情况。提供MapReduce、Spark、Storm等多种计算框架，离线计算、内存计算和流式计算并存，满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。数据采集层：具备多业务、多技术接口的数据采集和转换能力，具备按照应用场景进行业务数据采集，互联网数据抓取，机器数据采集能力，可分布式部署，具备灵活的扩展能力，是大数据平台的基础。支持对Oracle、SqlServer、MySQL、PostgreSQL等关系型数据库的集成，支持对HDFS分布式文件系统数据源的集成，一、大数据分析平台构建大数据分析平台旨在解决学校内部积累的海量高维、多源异构、缺失和噪声数据以及数据动态变化等挑战难题[4]，综合现有的各业务系统数据如人事、科研、教务、质控、一卡通以及各类设备日志数据、外部互联网数据等，构建共享数据仓库，帮助学校统一数据口径、管理数据资产、对数据使用过程进行监控，从而更加有效的发掘和利用信息资产的价值，实现精准高效的分析和决策[5]。因此在技术层面采用自顶向下分层架构设计以满足未来扩展需要，将平台分为四层：数据应用层、管理层、存储与计算层、采集层（数据源），其总体框架如图1所示。159EDUCATION FORUM

教育论坛支持对MongoDB文档型数据源的集成，支持对现有业务系统的数据接口对接采集，支持对任意源设备、任意格式的日志数据格式化。二、学生上网行为分析通过机器学习模型[6]对各类网站进行分类，结合学生基础信息，分析学生上网访问网站的日志，统计学生在各类网站上的点击量，从多个维度分析学生的上网偏好。同时利用网页分类模型[7]，对不健康类型的网页及时限制访问。通过上网认证计费日志提取网页类型、上网时长信息，得到上网时长TOPk等排名。通过“网瘾关注”模型，实现网络沉迷预警、游戏沉迷预警，为管理人员提供对学生辅导和管理的依据。上网行为分析架构如图2所示。图2学生上网行为分析架构按照业务需求，整体架构分为数据采集模块、数据处理模块以及数据展示模块。系统采集模块主要由应用数据服务器、Flume日志采集系统以及Kafka消息处理队列组成。其中应用数据服务器即为校园网日志服务器，存储原始的校园网网络日志数据。Flume日志采集系统则是将服务器中的上网日志数据进行收集、合并，最终通过Kafka消息队列将数据传输到HDFS分布式文件系统中。系统处理模块主要由HDFS、MapReduce、YARN、HBase与Hive组成。数据处理模块需要承担的任务有数据存储与数据处理分析。三、网页分类模型随着网络技术的发展和新媒体的广泛应用，各类新的网站层出不穷，并且包含文本、图片、视频和各类超链接等信息。因此，本文基于机器学习技术，采用多视角学习方法构建网页分类模型，对网页中的内容提取多种特征表示。针对每个特征表示学习一个分类模型，并且考虑多视角学习中的一致性问题，约束不同模型的参数，学习不同视角的权重，最终融合各分类器的输出以及权重得到更准确的网页类型分类结果[8]。同时，可对模型在线或者定期更新，以自适应各种新型网页的识别。模型框架如图3所示。图3 基于多视角学习的网页分类模型根据训练的模型，可以对学生访问过的历史网页进行类别预测，有利于分析学生在各类网页上的浏览情况和兴趣爱好。对不健康的网站，可以及时设置禁止访问。四、多维度学生实时学业预警从教务、学工、第二课堂等业务系统抽取的学生在校期间产生的各项数据进行预处理后存入数据仓库。建立大数据平台，实现学生课程预警、毕业预警、学位预警等功能[9]，具体框架如图4所示。数据源主要包括：学生基本信息、学生选课数据、考勤数据、历史成绩数据、上网日志数据、在线教学平台数据等。这些数据是构成大学生学业预警系统的数据基础。数据计算和存储层包括数据的获取、存储、计算分析。数据获取主要是为各类数据采集研制适配接口；数据存储就是对获取到的数据进行预处理后保存到数据仓库。为使大数据分析框架能更方便对数据进行处理，同时，为了使得数据的存储机制扩展性、容错性更好，需要把通过数据接口抽取过来的数据转化为文本格式，作为文件存储下来。为此采用主流的大数据框架Hadoop的HDFS文件系统进行校园大数据的统一文本化存储。数据分析层提供基础的分析框架，在此之上，采用Hadoop平台实现MapReduce编程模型来研制专题分析包。网络行为数据教务数据

MapReduce计算处理ZooKeeper课程预警出课率数据毕业预警图书借阅数据

学位预警在线平台数据HDFSHBase其它预警第二课堂数据...Hadoop图4 学生学业预警框架由于包含到课情况、上网信息等实时数据，在该结构基础上，对学生信息进行多粒度标注，如按学期、课程、年级、专业等粒度标注，再利用机器学习算法研制对应的专题分析包，即可实现基于大数据的多维度实时学业预警功能，解决了学期结束才预警的难题。五、精准督教教师在教学过程中会产生大量的数据信息，本文利用大数据分析技术充分挖掘这些信息的价值，如通过课（下转第163页）160 EDUCATION FORUM

教育论坛在反复强化每个问题的练习过程中，学生可以不断提高自己的水平，通过记录时间，学生可以更直观地了解自己的学习水平。随着学生认知能力的提高，老师可以通过SPOC云教学平台向学生分配难度更大的课后练习任务，指导他们进行反思、总结，优化自己的知识结构，不断扩大知识网络，并不断取得进步。例如，课后练习“如何用两个堆栈模拟一个队列？如果两个堆栈的容量分别为x和y（x> y），则该方法能够保证的队列容量是多少？”这个练习题目和其他题目相比难度更大，教师可以引导学生通过SPOC云教学平台进行小组协作，讨论问题的解答方法，集思广益。在合作过程中，学生可以互相学习。同时，老师提供在线指导，帮助学生完成课后联系，提高能力。机课程教学有机地联系起来，使构建云平台变得更加简单高效，更好地发挥云教学平台在高校专业课程教学中的作用，使学生可以随时随地访问云教学平台以进行自主学习。参考文献[1]吴宪君.基于云服务的大学计算机基础课程资源平台设计[J].现代信息科技, 2017,001(005):124-126.[2]崔聪,杨铃,魏松杰.基于安卓移动技术的计算机科学课程实践云平台的设计与实现[J].华东师范大学学报:自然科学版,

2015(S1):72-78.[3]戴英如.大学计算机有效教学中云服务运用的意义与方案[J].长春教育学院学报, 2014, 000(017):97-98.[4]臧卓,李际平.基于云服务的高校课程考核改革实践——以"林业系统工程"课程为例[J].文教资料, 2017(2):159-161.[5]庞小婷.云服务在高校计算机实验中的应用分析[J].佳木斯职业学院学报, 2017, 000(004):404-405.[6]李佳宏,刘嘉敏, 常燕,等. 基于SPOC的计算机专业课程辅助学习系统[J]. 信息记录材料, 2018.[7]曾明星, 李桂平, 周清平,等l. 从MOOC 到SPOC: 一种深度学习模式建构[J]. 中国电化教育, 2015, No.346(11):28-34.

四、结语综上所述，本次研究基于高校计算机课程教学实践，以数据结构课程为例对基于云服务的SPOC教学模式进行分析，探讨了SPOC教学模式实施流程。将云服务平台与高校计算（作者单位：湖北商贸学院人工智能学院）（上接第160页）程信息、教学态度、教学准备是否充分、教学条理清晰度、学生课程成绩、学生教学评价、学生到课率、作业批改、辅导答疑、教学督导检查等方面，全方位评价教师的教学过程和教学质量，有针对性的对教师教学水平进行督导，进而提高全校教师的整体教学质量。系统框架如图5所示。可视化等功能，受到学生管理部门、教学督导部门的普遍欢迎。平台还为学校各部门提供了决策支持和查询接口，从而为学校开展数据管理、数据运营和数据服务工作提供可靠、便捷的平台支持，对推进教育现代化进程具有重要意义。参考文献[1] 蒋东兴,付小龙,袁芳. 大数据背景下的高校智慧校园建设探讨[J]. 华东师范大学学报（自然科学版）,2015(S1):119- 125.

[2] 陈国胜,顾明言,张辉宜,等. 智慧校园建设中为服务与微应用的构建实践[J]. 安徽工业大学学报（社会科学版）,

2019,36(1):92-93.

[3]林金娜.高校基于大数据时代的数字化校园建设[J].电子技术与软件工程, 2017(8):188-189.[4]姚旭, 徐海峰.数据整合技术在数字化校园建设中的应用[J].电子技术与软件工程, 2018.[5]吴鲲.基于大数据的智慧校园决策平台设计与研究[J].信息系统工程, 2018, 294(06):119-120,122.[6]梁柱.基于校园大数据的学生行为分析与预测方法研究[D].西安理工大学, 2017.[7]程斐斐.基于用户上网日志的数据挖掘技术研究[D].贵州大学, 2016.[8]严承希,王军.高校学生网络行为时序特征的可视化分析[J].情报学报, 2018, 37(09):34-48.[9]金义富,吴涛,张子石,等.大数据环境下学业预警系统设计与分析[J].中国电化教育, 2016(2):69-73.人事数据教务数据科研数据质控数据在线平台数据第二课堂数据数据整合数据预处理数据仓库

大数据技术

细粒度指标统计分析聚类模型Single ClusteringMultiple Clustering异常点检测细粒度教学质量评价

精准督教...图5精准督教系统框架六、结语随着高校智慧校园建设的深入，所采集的校园大数据呈几何基数增长，如何实现多维度、全方位数据分析，为学校管理与决策提供科学参考，对于智慧校园的持续发展变得尤为重要。本文以提升高校教学质量为目标，综合高校现有的各业务系统数据，构建数据仓库。帮助学校统一数据标准和口径、管理数据资产、对数据使用过程进行监控，从而更加有效的发掘和利用信息资产的价值，实现精准高效的分析和决策。所构建的教育大数据分析平台已成功上线运行，提供了学生上网行为分析、多维度学生实时学业预警、学生画像、精准督教等结果基金项目：安徽省教育厅教学研究重点项目：基于校园大数据的多维度学生实时学业预警研究与实现（2018jyxm1050）（作者单位：张高伦、童琨，安徽祥云科技有限公司；陈国胜，安徽工业大学计算机学院）163