基于卷积神经网络的学生课堂面部表情识别研究

基于卷积神经网络的学生课堂面部表情识别研究

作者：刘锦峰

来源：《高教学刊》2020年第07期

龙源期刊网 http://www.qikan.com.cn

龙源期刊网 http://www.qikan.com.cn

龙源期刊网 http://www.qikan.com.cn

龙源期刊网 http://www.qikan.com.cn

龙源期刊网 http://www.qikan.com.cn

摘; 要：学生课堂面部表情识别产品不适合采用“大样本”的研发方法，为减少数据采集工作量，提出使用卷积神经网络算法，分析了卷积神经网络基本原理，探讨了总体结构，设计了识别流程，以证件照为原始样本构建了人脸数据集，以表情特征训练的方法扩展数据集，经实验研究表明，该方法表现良好，能够有效开展识别。 关键词：卷积神经网络;面部表情;识别

中图分类号：G642; ; ; ; ;文献标志码：A; ; ; ; ;文章编号：2096-000X（2020）07-0067-03 Abstract： Students' facial expression recognition products are not suitable for the \"large sample\" research and development method， in order to reduce the workload of data collection， convolutional neural network algorithm is proposed， the basic principle of convolutional neural network is analyzed， the overall structure is discussed， the recognition process is designed， the face data set with the original sample of certificate photo is constructed， and the data set is extended to the method of expression feature training. The experimental results show that this method performs well and can workeffectively in recognition.

Keywords： convolutional neural network; facial expression; recognition 一、概述

龙源期刊网 http://www.qikan.com.cn

情绪对动机有积极作用，学生课堂情绪与学习动机密切相关，是影响学习效果的重要因素之一。面部表情是情绪的“晴雨表”，以往是教师通过学生面部表情解读学生情绪，以此及时引导学生调整情绪状态，但是受班额大、教师能力与经验等因素影响，效果不佳。随着智能技术在教育领域的广泛应用，各学校建设了智慧教室，其智能监控设备能实时捕获面部特征，以识别其面部表情，从而分析出学生的情绪状态。

目前面部表情识别的相关产品都是基于“大样本”研发，训练模型较好、识别率较高，但是需要收集大量数据，研发难度较大。在学生信息管理中，往往只能获取到单一的人脸数据，训练样本较小，可能会导致识别效果低，甚至不能识别。本文提出使用卷积神经网络的面部表情识别，降低对训练样本量的依赖，减少收集工作量，减轻数据存储压力。 二、研究现状

本世纪九十年代初，Turk和Pentlandt[1]提出了特征脸技术，拉开人脸识别研究序幕。随着机器学习理论发展迅速，广大研究者将遗传算法、支持向量机等应用于人脸识别技术中，虽然识别率不断提高，但是仍没有超过人眼识别率。2013年，MSRA的研究学者使用10万张人脸图像作为训练集，识别率达到了95.17%[2]，首次超过人眼识别率。近年来，很多学者应用数据增强技术、子空间扩展法、三维建模方法、基于泛化学习的方法、通用学习框架法、one-shot-learning、zero-shot-learning等技术开展小样本人脸识别，取得了一定成效。

随着教育信息化持续，国内越来越多学者对学生课堂面部表情识别开展研究，取得了较好的理论成果和实践成效。2018年，陈靓影[3]等人对头部姿态、面部表情、课堂互动等开展识别与融合研究，以此判断学生课堂学习兴趣，其中面部表情是采用条件随机森林方法识别笑脸表情，即主要分析学生课堂积极情绪。贾鹂宇[4]采用DLIB官方提供的特征提取器開展了实践研究。

从已有成果看，小样本人脸识别技术还不够成熟，识别率不够高。课堂教学大场景下，不同表情、角度、光照等条件下的捕捉与识别难度更大，应用卷积神经网络算法，对面部图像的处理与分析，能提高识别率。 三、卷积神经网络基本原理

卷积神经网络（Convolutional Neural Network，CNN）是一种仿造生物视知觉机制的算法[5]，是深度学习（deep learning）代表算法之一，被广泛的应用于自然语言处理和计算机视觉等领域。

（一）卷积神经网络的特点

龙源期刊网 http://www.qikan.com.cn

卷积神经网络主要特点是局部连接和权值共享。其中，局部连接是指从隐藏层隐式提取权值相同的特征，进行并行学习，降低网络复杂度，避免数据重建。权值共享是指图像同一深度的平面切片上可以共享同一组权重和偏置，采用梯度下降法开展参数学习，从而减少网络中的参数数量。

基于上述特征，构建图1所示的基本结构，主要包括输入层、卷积层、池化层、全连接层和输出层，完成特征提取与特征映射两个操作。特征提取是指每个神经元的输入都局部连接特征点，并传到下一层，传完一个点转向另一个点;特征映射是权值相等的平面上，通过激活函数将一个点的特征映射到其他点上。 （二）卷积神经网络的训练

卷积神经网络的训练包括正向传播和反向传播两个部分。正向传播是指从输入层向输出层正向计算，顺序传递;反向传播是指输出结果与真实值进行对比，将超出误差部分进行更新。 正向传播模型式1和式2，由输入层输入、隐藏层计算、输出层输出。

式中，a（l）为第l层的输出值，W（l）为l从到l+1层的连接权值，b（l）是l层的偏置值，f（*）是激活函数。

反向传播主要是验证输出结果的可靠性，反向循环迭代，与各层权重对比，对超出误差范围值不断修正，直到达到预期范围。

四、基于卷积神经网络的面部表情识别实验 （一）识别流程

本文按照图2所示的图像采集、人脸定位、特征提取、特征对比、输出结果的流程开展识别。识别过程中将数据进行存储，对原始样本进行扩充，不断丰富样本信息，大大降低直接获取数据样本的难度。 （二）构建样本

本研究选取60人的单张证件照作为原始样本，构建了图3所示的小样本数据集。因证件照片为相同背景，能够使得图像中的人脸处于同一个角度，能够消除不同图像背景影响、避免人脸肤色影响等。在此基础上，开展了镜像变换、多区域裁剪、高斯噪声、对称扩充、位平面法等数据增强技术扩充样本数据库。

龙源期刊网 http://www.qikan.com.cn

为了实现表情识别，使用对抗生成[6]网络进行样本扩充，从图4所示的表情特征样本中提取表情，使用卷积神经网络模型，将其“附着”于单一人脸图像，训练生成不同表情下的人脸图像。对训练结果进行损失测试，如图5所示，经迭代次数增加，损失值不断减小并趋于平稳。 （三）实验结果分析

经卷积神经网络模型扩充后，实验使用的人脸数据集扩充到1200张，经对齐、裁剪、归一化后，解决了不良干扰。课堂环境实验之前，将数据集分为表2所示的训练、验证和测试三组。

实验得到图6所示的第一层卷积核形态，每一个方块代表一个卷积核，可以看出基本上没有噪声图像，总体比较美观、光滑，图像相关性不高。从图7所示的第一层与第二层响应特征图可以看出，第二层虽然看不出原图，但是可以看出轮廓。对其他层特征图分析发现，学生课堂面部表情识别有较好的稀疏性，保证了泛化能力和识别能力，总体识别率达到91%。 五、结束语

本文研究了基于卷积神经网络的学生课堂面部表情识别方法。基于卷积神经网络结构，开展了特征分析和训练，根据实验数据特点设计合适的参数，对构建的数据集进行训练，经测试和分析，结果表明构建卷积神经网络的模型在学生课堂面部表情数据集上表现良好，使用测试集测试的识别率在91%，表明该方法科学可行，且能够降低对训练样本量的依赖，减少收集工作量，减轻数据存储压力。 参考文献：

[1]Turk M， Pentland A. Eigenfaces for Recognition[J]. Journal of Cognitive Neuroscience， 1991，3（1）：71.

[2]Chen D， Cao X， Wen F， et al. Blessing of dimensionality： high-dimensional feature and its efficient compression for face verification[C]. IEEE International Conference on Computer Visionand Pattern Recognition，2013.

[3]陈靓影，罗珍珍，徐如意.课堂教学环境下学生学习兴趣智能化分析[J].电化教育研究，2018，39（08）：91-96.

[4]贾鹂宇，张朝晖，赵小燕，等.基于人工智能视频处理的课堂學生状态分析[J].现代教育技术，2019，29（12）：82-88.

[5]方鹏飞，刘复昌，姚争为.基于卷积神经网络的单幅图像室内物体姿态估计[J].杭州师范大学学报（自然科学版），2020（01）：1-8.

龙源期刊网 http://www.qikan.com.cn

[6]王坤峰，左旺孟，谭营.生成式对抗网络：从生成数据到创造智能[J].自动化学报，2018，44（05）：4-9.