跨模态情感计算在混合式学习中的应用

摘要：在高校混合式学习模式下，线上自主探究结合线下协作学习能够收集到学习过程数据。这些数据对于分析学习者的情感状态具有重要意义，而情感状态往往是影响学习表现和结果的关键因素。情感计算基于人工智能技术，通过阿里云提供的物联网（IoT） 平台，将传感器设备收集到的学习者大数据通过AMQP协议传输到服务器，再调用阿里云提供的第三方接口实现硬件大数据收集，如心电图、脑电图等，以获取学习者的生理情感状态，包括体温、身体动作、语言、心率以及个性特征等情感大数据。卷积神经网络（CNNs） 适用于视觉图像识别，能够获取、分析和计算学习者面部表情情绪数据，并针对采集的文本、图像、语音及视频等学习大数据，提供跨模态情感数据融合方法。

关键词：情感计算；跨模态；物联网；CNNs；混合式学习

中图分类号：TP18 文献标识码：A

文章编号：1009-3044（2024）32-0159-03 开放科学（资源服务）标识码（OSID） ：

0 引言

在混合模式教学过程中，线上学习的缺陷是学习者容易感到孤独，在情绪、态度、状态等学习情感状态方面往往容易出现消极、负面的情绪和态度。研究者发现，学习者在做决策和解决问题的过程中，良好的情感状态往往起到关键作用，而不良的情绪或状态则会增加压力和焦虑，从而影响学习者的精神状态、学习表现和学习结果。在人工智能已经对教育领域产生深远影响的时代背景下，通过智能识别等技术充分挖掘、捕获学习者大数据，分析、计算学习大数据，从而为学习者提供个性化学习服务，例如提供学习预警、学习方向调整等服务。为了改善学习者的在线学习体验和学习表现，情感计算通过人工智能技术，例如可穿戴设备、移动设备嵌入传感器或非传感器设备，获取学习者的情感状态，包括面部表情、体温、身体动作、语言、心率以及个性特征等情感、情绪大数据。因此，如何获取并分析学习者的跨模态情感数据，帮助其调整良好的学习情绪，改善线上线下学习体验，是目前亟待解决的重要问题。

1 物联网IOT 学习大数据管理

情感计算通过人工智能技术，例如可穿戴设备、移动设备嵌入传感器或非传感器设备，获取学习者的情感状态，包括面部表情、体温、身体动作、语言、心率以及个性特征等情感、情绪大数据。IOT学习大数据管理包含设备管理和预警管理。

1.1 学习大数据的管理

根据阿里云提供的SDK接口实现对产品的注册和查看等功能，产品是传感器设备的集合，相同功能的设备通常绑定到同一产品，通过物联网IOT平台注册产品信息，在平台产品里绑定设备集，IOT平台为每个产品颁发全局唯一的产品密钥，从而保证数据采集和接收的准确有效[1]。利用阿里云提供的物联网平台IOT实现将传感器设备收集到的学习者大数据通过AMQP协议传输到服务器，再调用阿里云提供的第三方接口实现硬件大数据收集，学习者传感器设备包括手表、ECG心电图检测仪、脑电图等。IOT物联网数据采集流程如图1所示。

1.2 学习数据预警规则

在Spring框架下，使用Spring Task多线程技术来实现定时任务调度，配置扫描数据的频度为每次/N秒。根据规则，当判断确认需要预警时，利用基于HTML5的TCP连接进行全双工通讯的网络通信协议WebSocket向学习者和老师发出预警信息。学习者和教师收到预警信息后，能够及时获悉学习者的状态，并及时调整学习进度、教学内容等。以下是预警定时任务的流程图展示，如图2所示[1]。

2 表情数据图像识别

基于卷积神经网络的情感计算架构包括几个关键步骤。首先是收集情感表情数据图像，并对其进行向量化；然后提取特征，对庞大的矩阵进行数据清洗；最后进行激活匹配，检验识别准确率。其过程如图3 所示[2]。

在卷积神经网络中，通过收集学习过程中的视频帧画面，提取特征向量，并与数据训练集进行匹配。通过优化算法、设置不同权重和阈值等方法，不断测试以降低误差值。

3 多模态情感计算与识别提升

许多研究表明，多模态情感数据的采集、分析和计算能够促进机器的深度学习，并在一定程度上提高情感状态的辨别准确率，通常比单模态的分析更为准确。多模态、跨模态情感数据计算是当前研究的重点和难点方向。多模态关联具体包括时间、空间及语义等对齐，以及多模态协同；跨模态则涉及跨模态检索、跨模态生成、跨模态合成及跨模态转换等[3]。此外，模态融合等技术也是关键问题。通过对学习者的文本、语音、表情图像、姿态、心跳等多模态、跨模态大数据进行融合和对齐，能够提高机器的情感识别能力和智能计算水平。其中，文本与图像的跨模态对齐模型和案例如图4所示[4]。

如图4所示，单模态文本数据生成的情感分析可能会导致机器判断错误。例如，对已知的一句文本“好棒的作品！”附带一个笑脸进行单模态情感分析时，很容易直接输出积极情绪。然而，由于图像的内容是一位儿童的胡乱涂鸦，当对文本和图像两种模态数据进行语义对齐后，输出的情感分类则是消极情绪[5]。该情绪分类案例说明多模态语义对齐能提高机器的情绪识别能力。

4 混合式协作学习策略

研究和实践表明，在混合式学习模式中，线上较适合开展自主探究学习，而线下通过开展协作、合作学习，能够促进学习者的协作、沟通等综合能力，有效激发学习兴趣，发展批判性思维。线下的学习过程同样可通过穿戴设备获取学习行为大数据，如学习者的语言语音、姿态、动作（运动）、心率等信息，在小组讨论过程中能够产生更多有价值的学习过程数据。

此外，协作学习模式实施的关键环节是根据学习目标和任务选择合适的学习策略。策略是教学者将思路转变为实施的唯一途径，学习策略本身与学习内容无关。例如，头脑风暴策略可以应用到不同的学习目标和学习任务中，当学习任务融合到某种学习策略后，即可产生具体的协作学习活动。Elezabeth整理了35种协作学习策略以及详细应用案例，并将学习策略分为6类：讨论、同伴互教、问题解决；图形化信息组织；写作；游戏[6]。根据不同的实施难度，即对师生知识能力和经验的不同要求，分析以下13种典型的学习策略。

在确定了各种协作学习策略的特点后，笔者进一步探讨如何根据不同的学习目标和知识类型，选择恰当的学习策略。表2 给出了Elezabeth 提出的参考建议。

5 总结和展望

本文利用先进的人工智能技术，通过可穿戴设备和物联网平台，采集学习者在线学习过程中产生的多模态数据。获取的数据包括生理情感状态（如心电图、脑电图）和行为特征（如体温、身体动作、语言、心率等）。

基于卷积神经网络（CNNs） 算法，采用视觉图像识别技术，收集学习者情感表情数据图像，并对其进行向量化；然后提取特征，对庞大的矩阵进行数据清洗；最后进行激活匹配，检验识别准确率。

总体而言，由于多模态数据的数据类型较复杂，涉及文本、语音、图像、视频等，多模态关联、跨模态生成、多模态协同都是当前深度学习面临的难题。基于认知科学理论，利用集成传感器完成多模态数据的感算一体，实现从信息量、数据、融合机制和任务四个方面提升机器情感分析水平[3]。

同时，高校混合式学习模式的实施也存在困难。线上资源和平台需要丰富，应为一线教师提供有效使用途径，提供便捷的资源使用，鼓励和促进教学模式改革和创新，从而更好地实现个性化学习。此外，教育数据采集在数据采集粒度、伦理道德边界、数据连续性和规范性等方面也面临诸多挑战。

参考文献：

[1] 张悦. 基于SpringBoot养老院健康智能监测的设计与实现[D].三亚：海南热带海洋学院， 2024.

[2] 孙珠婷.基于深度学习的情感计算模型算法研究[J].电脑知识与技术，2024，20（4）：40-42.

[3] 李学龙.多模态认知计算[J].中国科学：信息科学，2023，53（1）：1-32.

[4] LI X L. Multi-modal cognitive computing[J]. Scientia Sinica In⁃formationis， 2023（53）： 1-32.

[5] ZHAO S C，JIA G L，YANG J F，et al.Emotion recognition from multiple modalities： fundamentals and methodologies[J]. IEEESignal Processing Magazine，2021，38（6）：59-73.

[6] BARKLEY E F， MAJOR C H， CROSS K P. Collaborative learn⁃ing techniques[M]. San Francisco： Jossey-Bass，2014：18-139.

【通联编辑：唐一东】

基金项目： 海南省高等学校教育教学改革项目（项目编号：Hnjgzc2023-28、Hnjg2022-90）；三亚市院地科技合作项目（项目编号：2017YD12） ；2023 年海南热带海洋学院校级教育教学改革项目（项目编号：RHYjg2023-24）