线上线下汉语课堂教学中视觉模态运用的对比分析

[关键词]多模态话语理论;视觉模态;线上汉语教学;线下汉语教学

[中图分类号]H195.3 [文献标识码]A [文章编号]1674-8174（2022）04-0072-07

1.引言

多模态话语分析理论起源于系统功能语言学，20世纪90年代，多模态话语研究在西方兴起，一度成为国外语言学界的研究热点。随着研究的深入与拓展，教育学、心理学等学科也开始从各自的领域对多模态话语进行了更广泛的研究。

我国的多模态话语研究起步较晚，在21世纪初，以张德禄、李战子等为代表的一批学者对多模态的缘起、界定、分析框架等一系列问题进行了初步的理论探讨（姜艳艳，2020），随后，语言教学中的多模态话语研究不断创新，将多模态话语分析理论和第二语言教学结合起来的研究呈逐渐增多趋势，但大部分集中于外语教学，着眼于汉语教学领域的多模态话语研究较少。

现有的多模态话语研究中对具体模态的分类角度多样，而在课堂教学中，信息刺激中主要呈现为听觉模态和视觉模态两大类。Jonas⁃sen认为视觉信息是所有信息种类中最容易被直观感知到的信息，相比于听觉信息，人脑处理视觉信息的效率更高、花费的时间更少且更加轻松;视觉信息容易给人留下深刻的印象（李秋瞳，2019）。视觉信息应用于教育领域，可以实现教学过程中信息迅速、高效的传播与共享。可见，对视觉模态在教学中的运用情况的研究有较大的价值。

而且，从各模态在线上教学使用频率的角度来看，有学者发现视觉模态在线上教学中应用最多：孙雨桐（2017）选取了部分网络孔子学院在线课程和国家汉办对外汉语教师教学示范课视频，侧重研究了模态类型和模态之间的组合。结果发现模态类型最常使用的是视觉模态（157次），在仅有的模态组合“视觉模态+视觉模态”“视觉模态+听觉模态”和“视觉模态+触觉模态+身势模态”中，以“视觉模态+视觉模态”频数最高（达25次）。可见，对视觉模态的研究有较好的资源基础。

国防（2016）利用文献计量学的统计分析方法，对2004—2015年以来社会科学引文索引收录的期刊有关多模态话语研究的论文进行关键词词频统计。结果发现该领域近12年的研究热点依次为：言语、手势语、视觉、互动、身份、符号学、系统功能语法、计算机媒介等。对视觉模态的研究处于上升状态。

在一个完整的教学过程中，视觉信息传达的效应究竟如何？其内部各要素的协作关系如何？在汉语课堂教学中，目前尚未有这方面的实证研究。在汉语教学研究的领域中，大多数学者都是从多模态框架出发，分析课堂教学中多种模态符号在教学中出现频率及其配合与协同关系，较少单独着眼于视觉模态并对其进行进一步的细致挖掘，贾琳、王建勤（2013）的研究引入多模态学习理论考察了视觉加工的问题，但他们研究目的不在于考察其在课堂教学中的运用。

另外，现有的关于多模态话语研究的文献中，多集中于对线下教学的研究，对线上教学的研究不多，而结合线上与线下教学进行比较研究的更少。

本文以多模态话语理论为基础，着眼于视觉模态的研究，沿用个案观察与数据统计分析相结合的方法，着重记录与讨论汉语教学视频中的视觉模态部分。从视觉模态中的图像、文字、公式符号、动作等分析要素出发，对比分析线上汉语教学和线下汉语教学中视觉模态的使用情况。

2.研究说明

视觉模态，又称为无声交流。它是指可以通过视觉传递的信息资源，也是非语言交际的重要组成部分。在课堂教学中，视觉模态是指学习者通过视觉获得的符号资源，即通过刺激学习者的视觉神经而感知的媒介（袁萍，2020）。

在视觉模态的呈现过程中，其可视化形式很多，通过大量的教学视频观摩分析，本文抽取出图像、文字、公式符号和教师动作等四种最常用的要素为主要观测和量化对象，以线上、线下汉语教学视频等实证材料为基础，对课堂教学中的四种要素进行分类和归纳（如图1）。细致统计各种要素在线上、线下两种课堂中的使用次数、参与程度及所起到的作用，以保证研究数据的准确性和结论的客观性。

在研究过程中，本文重点关注以下几个问题：四个视觉要素在线上和线下汉语教学中各有什么突出特点？在实际教学中，这些突出特点在不同的课堂教学中起到什么作用？基于以上实证研究结果，如何更好地实现两者的互补，促进线上、线下汉语教学的发展？

本文一共选取了1000分钟的教学视频数据，线上教学和线下教学各500分钟，参与的教学对象汉语水平都为初级水平。每一教学视频用时50分钟左右，共20个视频，为方便后续举例说明，现将线上教学视频统一命名为A，分别为A1--A10;将线下教学视频命名为B，分别为B1--B10。

3.线上线下教学中视觉模态的运用比较

3.1图像

在图像板块的统计数据中，所有与教学相关的图像都计入其中，包括初次出现及重复出现的。多种类图像指的是图片结合符号、文字或者是图片中有图片等非单一的图片形式。图像总数为单独动图、单独静图和多种类合成图像的总和。

图像部分的统计结果见表1。

（1）线上教学的PPT图像类型比线下丰富

图像能使课堂更具趣味性，更多样化，不论线上还是线下的教学，图像信息是课堂呈现不可缺少的视觉元素。由表1可见，线上课堂不仅使用了更多的图像信息，且在使用时更注意其丰富性，大大增加了动图和多种类合成图像的使用量;而线下课堂使用图像信息较少，且图像类型较单一，以单独的静图为主，其余的形式极少甚至没有。

基于python统计科学内置库scipy对图像方面的数据结果进一步进行卡方检验，在置信度为95%时，p=0.000<0.01，故拒绝原假设，结果证实线上教学使用的图像类型频次多于线下教学，见表2。

另外，基于对视屏的细致观察，发现线上汉语教师为了更生动地给学生解释较复杂、较难理解的意义，会利用动图和多种类合成图像来创设情境，帮助学生更好更快地融入课堂教学的语境中。而线下课堂则首选现有实物和动作来完成解释，其次才是图像。例如在A2中，教师需要解释“遇到”这个词，于是结合了动图“行走着的人”、静图“猫”还有以线条表示的“街道”制成合成图像，引导出目标句“他今天在街上遇到了一只猫”。这样的教学设计对重点词语或语法点进行恰当的演绎，一步一步地引导学生跟随图像理解语言点，既能减少理解障碍，还能有效地减少线上课堂无法真实呈现语境从而导致出现理解偏误的情况。而同样的知识点，线下课堂更倾向于创造真实语境进行教学。

由此可见，单就PPT的图像类型丰富性而言，线上课堂更佳，更能丰富学生的视觉感受。故而，线下课堂若想通过PPT进一步提高教学效果，可从图像类型下手。在解释复杂难懂意义时，首选现有实物和动作，其次也可利用动图或精细化合成图像。

（2）线上教学的PPT图像比线下精准

细致观察可见，线上课堂使用的图像比线下的表意更准确、更完整，更偏向于将知识可视化。如在线下教学视频B1中，讲解语法点“了”，目标句子是“老师写了四个字”。而在其PPT中只用了静图“一位老师站在黑板前，指着黑板上的字”，没有体现出“写了四个字”这个状态和相关动作。相对而言，线上课堂对图像的要求更高，更强调图像贴近语境和完整表达语义，故而教学效率大大提高。如在线上教学视频A4中，教师练习语法点“变+adj+了”，目标句子是“他的头发变多了”和“他变高了”。PPT中，教师对两张人物静图进行加工：用红笔圈画头发，用蓝笔圈画身高，用绿箭头表示变化方向，以提示学生观察图片和发现变化。因此，学生在做这道练习题时又快又准。

因此，参照线上课堂中图像的呈现情况，线下课堂要提高图像质量及其使用效率，尽可能提高图像的准确性，同时灵活结合动作、实物，从而实现教学效果最大化。

3.2文字

在文字板块的统计数据中，无论是线上还是线下视频，所有与教学相关的可视性文字都计入数据。课堂总计文字包括PPT页面文字、板书和线上的即时书写文字。见表3。但PPT页面关于介绍或引导的文字，如课程标题“第一部分”“生词部分”“语法点解释”“读一读”和结束页面“谢谢”等与教学内容无关的汉字不包含在内。

为验证线上线下教学中PPT的文字总数、PPT页数、平均文字密度、黑板文字使用的频数有无差异，我们进行了卡方检验，在置信度为95%时，p=0.000<0.01，检验结果表明线上线下教学中PPT的文字总数、PPT页数、平均文字密度、黑板文字使用频数有显著差异，见表4。

（1）从文字密度看，相比起线下教学，线上教学PPT文字密度大于线下教学

由表3的数据和表4的卡方检验结果可见，线上教学PPT每页的文字密度大于线下，具有显著差异，这在生词教学部分尤其突出。线下课堂中PPT汉字在生词教学部分多是以“生词+例句”的形式呈现，再配合图片展示和教师解释进行整体介绍，便完成了该环节的教学任务。在线下汉语课堂，因学生身处其中能清楚地听见教师的讲解内容，PPT一般起提示和引导作用，没有过多的文字。因此文字密度较小，课堂以听觉模态输入为主。

但线上教学由于网络延迟和声音传输等问题，教师语音的作用相对减弱，知识的输入会偏向更为稳定的视觉模态。线上汉语教学PPT对语境塑造的要求更高，故而会借助更多的文字来提示语境，介绍得更加具体和详细。例如在A1中，教师对“贵”的生词讲解，不仅放了图片（两件T恤）和例句：这件衣服200元，这件衣服很贵;那件衣服30元，那件衣服很便宜。还在图片旁边标注了两种代表价钱的数字，以及提示汉字“多少钱”。以下为A1教学片段转写：

老师用鼠标指着图片，问：这件衣服多少钱？

学生看着价钱回答：这件衣服两百元。

老师问：这件衣服两百元怎么样？（教师鼠标指向“贵”“便宜”等汉字）

学生：这件衣服很贵。

老师：很好，这件衣服两百元，那件衣服三十元，这件很贵。（鼠标指示着图片）

课后访谈结果显示，上课的学生都认为这些例句和提示帮助了他们在塑造的语境中理解生词词义，并对这个知识点有一个更清晰的理解。

（2）从板书量看，线上教学的即时书写文字量仅为线下板书量的四分之一

即时书写文字指的是教师在课堂上临时写出的文字。从即时书写文字的数据上看，在500分钟的教学过程中，线上教师即时书写的文字量仅为41字，线下教师即时书写（即黑板字）的文字量为168字，线上汉语课教师即时输入汉字显著少于线下课堂，卡方检验结果也支持这一结论（见表4）。虽然现在许多汉语课堂都以PPT为主要视觉模态输入，但黑板字在线下课堂教学中仍占据一定地位。即时添加的黑板字不仅可以向学生说明相关知识点，还能够加深学生对汉字结构、笔画书写顺序的理解，而且观察视频可见，教师在写黑板字时还一边说着笔画名称，一边请学生一起用手比划。这样的笔画运动给学习者带来一定的刺激，并且从各个方面集中学习者的学习注意力，调动学生全身感官来体验汉字书写，从而帮助学生更好地沉浸到汉语课堂中。

而500分钟的线上教学录屏中只有41个即时书写文字，仅仅是线下板书量的四分之一。这从一定程度上反映了线上教学过度依赖平台和PPT的弊端。来静青（2019）认为，课件的使用会在很大程度上忽略汉字教学的过程，学生看着屏幕输出句子、段落和篇章，完全不用做笔记。由于种种不便，相比于线下，线上课堂的教师往往很少在课上书写汉字，学生难以跟着教师了解汉字的书写过程，这对于汉字教学不利。

可见，线上教学时应合理借鉴线下教学板书的优势，多利用软件平台自带的书写工具或平板电脑触控笔书写等方式增加即时文字的出现量，帮助学生更好地体验汉字书写过程。在学习汉字书写时教师可以边写边念出笔画名称，要求学生一起写，这样的话即使是在线上远程教学，也能最大限度地还原真实课堂的情况，降低师生距离感，增强互动。

3.3公式符号

本研究将箭头、运算符号、时间轴等有引导性的符号、框架与文字的结合方式统称为公式符号，如“把+名词+动词”“几vs多少”“sb./sth.在sb./sth.的上边”等等。在本次收集到的数据中，每节课教师所教授的语法点在数量和难度上是不同的，所以公式符号的使用时长和使用总数不同，因此这里不比较线上线下公式符号总数和使用时长的差异。但PPT公式符号呈现方式有差异。