基于多模态数据的个性化学习精准干预研究

关键词：学习者画像；多模态数据；个性化学习

0 引言

教育数据已成为教育领域的宝贵财富，教育数据挖掘分析为受教育者定制教育目标、计划、方案与资源。它遵循“因材施教”的原则，为个性化教学指明了方向。目前，个性化学习推荐系统框架、挖掘学习者个性化特征、多模态学习分析、学生画像构建、个性化学习路径规划、学习者情感识别等都是研究的热点；学习分析、多模态融合、生物识别、语义分析等技术的交叉融合，使得多模态学习分析成为新的研究方向[1]。学习者生成的多种模态数据，为个性化学习的有效表征提供了有力支撑。本研究旨在教育大数据背景下，探索影响个性化学习的相关因素，建立基于学习者多模态数据的采集、个性化学习路径规划以及多模态情感分析的方法。因此，本研究将深入探讨如何采集、提取、融合分析多模态信息，以描述学习者的个性化学习，旨在为个性化学习研究提供框架与方法指引。

1 相关研究

1.1 学习者画像

近年来，关于学习者模型的研究一直是学术界关注的热点。学习者模型依据学习者的特征进行描述、分析和构建数字化模型，其研究方向主要聚焦于学习者模型规范的制定、学习者建模方法的探索以及学习者建模的实际应用。其中，学习者特征的选取和表示是这些研究开展的关键环节[2]。基于此，国内外学者从不同角度构建学习者模型。武法提等人[3]提出一种基于场景感知的学习者建模方法，构建一个具有场景特性的个性化学习者模型；钟卓等人[4]利用人工智能技术，提出了能够阐述智慧学习特征、要素及运行机制的智慧学习模型，该模型由学习环境、教育知识图谱、学习者画像、学习路径、学习评价、学习共同体六大核心要素和基础层、支撑层、服务层、关键层、应用层五个层面构成。师亚飞等人[5]设计了一种基于学习画像的精准个性化学习路径生成性推荐模型，模型根据学习者的学习状态，采用个性化推荐策略向学习者推荐学习元列表，学习者主动选择其中最适合的一个学习元进行学习。

1.2 多模态数据

多模态（Multimodality） 的概念起源于计算机人机交互领域信息表示方式的研究，其中，术语“模态” 一词被定义为在特定物理媒介上信息的表示及交换方式[6]。2017 年第七届学习分析与知识国际会议明确将融合生理数据的学习分析作为新的研究方向，多模态分析能够提供更为精细的数字画像，做出更为精准的科学预测。可穿戴传感器技术、物联网技术的发展和大数据计算能力的提升为多模态研究提供了必要的技术支撑多模态与教育分析有着天然的契合度[7]。通过可穿戴设备捕捉和测量学习者在不同场景下的多模态数据，多模态数据融合的方法能够取得比单模态数据更高的准确度，通过融合进行研究，可以揭示学习者内在规律，精准个性化学习路径推荐、资源推荐、智能预警等。

多模态数据采集技术能够利用感知与识别技术， 实时、持续地记录学习过程中不同层次的信息，主要采集学习者在学习过程中产生的文本、面部表情、语言、生理信号等连续可表征的多模态符号信息，实施过程包括构建数据化表征模型、形成可操作的测评指标体系、采集多模态数据、分析特征水平等。

1.3 个性化学习路径推荐

个性化学习推荐是智能学习的核心引擎，也是智慧教育核心研究领域之一，其目标是在学习平台上给特定学习者提供有效学习资源，从而提升学习积极性与学习效果[8]。学习路径是实现个性化学习的前提条件。个性化学习路径推荐技术旨在为学习者量身定制一条符合教育学规律，能引导学习者达到学习目标的学习路径，同时提供优质、适切的学习支持和服务。本研究将在数据整合及维度划分、数据与学习者进行耦合以形成学习画像、基于学习画像实现个性化学习路径的设计等方面进行突破，形成一套学习资源个性化推荐系统。该系统具备多模化与智能化特点，通过资源推送和智能化系统引导，为学习者提供优质、适切的学习支持和服务。

2 基于多模态数据个性化学习模型逻辑框架

以学习者画像和多模态数据采集为基础，遵循“数据表征—数据转换—数据融合—系统应用”研究思路，本研究构建学习者学习画像特征模型、实现学习路径的生成及推荐，形成最佳路径（如图1） 。框架包含几个模块，多模态数据采集、分类与预处理模块，多模态特征提取、多模态特征融合分析模块、应用模块（个性化学习路径推荐、个性化智能预警）等。

2.1 多模态信息采集

多模态数据是构建学习者画像的关键，也是个性化推荐的基础。本研究采用了文本、生理、语音、心理、图像五种模态的数据。文本数据不仅包含学习者的个人信息、学习风格和学习基础数据，还包括学习过程中产生的互动文本，如平台上的评论内容以及学习中音视频转换成的文本。生理数据则记录了学习者学习过程中的生理指标，通过传感器跟踪学习者的心率、脑波信号、血压、皮肤电流反应、皮肤温度、血容量脉冲等信息。大脑、心脏、皮肤、呼吸系统是能够获取生理信号的主要器官，生理数据能够反映出学习者的唤醒状态和调节水平，因此，生理数据也是学习者重要的多模态数据来源。语音数据是指通过采集的学习者课堂发言、课堂提问以及使用录音笔或课堂录播设备记录的学习者在课堂中的讨论和会话语音[9]。通过分析语音中基音频率的变化，可以分析学习者的情感变化。心理数据则是通过学习者自我报告的方式，反映他们在回忆和反思过程中的元认知策略和动机等特征。视频数据则记录了学习者的面部表情、手势动作等行为。

2.2 多模态特征提取

原始信息通常以混合状态呈现，包含多模态信息，如学习者情感投入中的生理数据、语言数据和文本数据等。特征提取是指对学生情感的多模态数据进行特征值计算与提取[10]，通过机器学习算法对学习者的文本信号、生理信号、语音信号和图像信号分别提取情感特征，以构建算法模型。因此，本研究构建了多模态表征框架，旨在提取出学习者在基础数据维度、认知维度、情感维度、社交维度、行为维度等五个维度的特征值。具体来说，多模态特征提取主要是构建面向个性化学习的多模态特征识别框架，通过监测智慧学习环境下学习者的文本、语音、图像与生理信息，采集多维数据并进行融合，提取与学习者特征相关的信息，探究学习者表征和内隐状态之间的潜在作用关系，分析学习者的认知、情感、交互发展状况，进而构建基于多层次数据表征的精准化学习者模型[11]。

本文整合了文本、生理、语音、心理、视频数据五方面的多模态数据，并分别进行了特征提取。文本数据常用的技术包括词袋模型、词频和逆向文档频率（TF-IDF） 、Word2Vec等，这些技术旨在将文本转化为机器学习算法可以处理的数值特征，提取字数、识记标记数量等统计特征[12]；同时，使用嵌入技术生成语义特征的词向量特征，例如使用词级预训练Transformer提取文本语义特征生成隐层特征。卷积神经网络（CNN） 在文本特征提取中也得到了广泛应用，经过CNN处理的文本特征通常被送入全连接层进行分类。生理数据则可以通过统计得出时域特征，采用时频分析法提取时域特征和空间特征；语音数据提取的特征分为局部特征和全局特征，一般采用时频转换技术如傅里叶变换等方法，提取基频特征和能量特征；视频数据常用的特征提取技术包括尺度不变特征变换、方向梯度直方图、卷积神经网络（CNN） 等，其中CNN能够自动学习特征表示，准确率高。心理数据则利用主成分分析、因子分析等方法进行处理。

2.3 多模态特征融合分析

多模态学习分析成为学习分析领域新的研究分支。多模态数据是来自多个实体信息的数据表示，包含图片、音视频或生理数据的张量或向量表示[13]。多模态特征融合是多模态学习分析常用方法，引入神经网络技术、深度学习、注意力机制等技术对文本特征、视觉特征、音频特征等特征进行关联挖掘。卷积神经网络（CNN） 在文本特征提取广泛应用；音视频特征提取方法有CNN、长短期记忆网络（LITM） ；视觉特征提取方法有尺度不变特征变换、CNN、区域卷积神经网络等。多模态交互信息的融合是群学习者特征刻画的关键环节，模态融合策略从简单集成发展为深度学习应用，多模态数据融合方法有很多，可分为：特征级融合方法、决策级融合、基于张量融合等。在特征级融合方法中，可以将多模态数据特征集成一个特征；决策级融合先训练各个特征，独立提取和分类，得到局部决策结果之后，再融合各个决策结果决策向量以获得最终决策；基于张量融合首先提取单模态数据的特征向量，扩展为高阶张量（张量可看作向量高阶扩展），融合多模态信息的张量数据（学习者个人信息、语言、手势、面部表情等），张量捕捉多模态数据中的动态特性和模态间的相互关系。

3 基于学习者画像的干预模型构建

3.1 个性化学习路径推荐

个性化学习路径推荐是实现个性化教育的重要驱动。通过挖掘、分析以及应用深度学习等先进技术，探寻并理解学习者的潜在学习模式，是实现精准个性化学习路径推荐的关键所在。个性化学习路径是研究每个学习者的学习结果分析，设计满足其学习需求的学习目标，并提供符合其学习方式、认知特点的学习内容和学习活动[14]。采集学习者的行为数据，使用学习分析和数据挖掘等技术，分析学习者的多模态特征，设计个性化学习路径，有助于为学习者规划学习路径、提供个性化学习服务，学习者能够沿着该学习路径以最快速度达到学习任务要实现的学习目标。本模型从多模态数据采集、特征提取（文本特征提取、音频特征提取、视觉特征提取）、多模态特征融合等方面对个性化学习路径推荐技术进行改进。首先数据建模从学习者与行为、社会网络、认知、情感等维度多模态采集数据，挖掘学习状态、特征、变化等；然后是特征提取，特征提取是构建多模态学习者画像重要的关键步骤，一般包括提取文本特征提取、音频特征提取、视觉特征提取等；再是关联挖掘、融合计算。学习者画像构建是提供精准个性化服务的核心，最后，通过学习者画像的分析结果按照学习者的个人需求的不同，精准刻画学习者的学习意图，给学习者推荐个性化学习路径，智能干预学习者，有效地进行个性化学习。

3.2 基于画像的智能预警动态干预

通过挖掘和分析学习者多模态数据，精准识别学习情况，预测潜在危机，给识别学习者不好的状态提供干预，关注学生的个体差异，提供个性化预警和预警反馈，帮助学习者发现问题，做出调整，构建反馈逻辑和干预机制。多模态学习情感计算通过采集学习者各种信息（文本、语音、生理信号、面部表情、手势和身体姿态）来识别情感状态与反馈情感状态，为学习者提供个性化导学策略。计算学习者情感，给学习者个性化的反馈，提供智能个性化服务，是教育大数据研究热点。计算学习者情感，识别和分析，在人机协同机制下，为学习者匹配科学预警策略。

4 结束语

多模态学习数据极大地丰富了学习画像，本研究基于多模态数据和学习者画像，构建学习者个性化服务模型；特别强调了多模态数据采集、多模态数据融合方法，个性化学习路径推荐，多模态学习情感计算的研究。个性化学习路径推荐为实施个性化学习资源推荐提供了更精确的学习者认知水平导航；多模态学习情感计算，可通过学习者识别情感状态与反馈情感状态提升学生学习兴趣与保持积极学习态度。后续研究将基于收集真实协作场景中的多模态数据，结合内部要素表征，进行学习者学习行为的精准分析，科学有效地融合多模态数据，以实现多维度、立体化、动静结合的个性化学习推荐，实现智能教育精准决策。