具身认知视域下汉语二语听解加工的心理模拟机制

[关键词] 听力理解加工;具身认知;心理模拟;汉语二语水平

[中图分类号]H195 [文献标识码]A [文章编号]1674-8174（2022） 01-0038-08

1. 引言

关于语言的理解加工机制，目前学界存在不同的观点。传统的认知科学认为，人们大脑中对语义概念的表征是抽象的、非模态的（amodal），语义知识不依赖于知觉、行动、内省系统，独立存储在模块化的语义系统之中（Tulving， 1983; Pylyshyn， 1986）， 而语义通达便是大脑对所存储的抽象符号的解析。这种语言观将语言理解过程看作类似于计算机利用规则进行符号解码的过程（李其维，2008）。该观点虽具有强大的解释力，但也存在一些解释困境，如无法回答符号的接地问题（symbolgrounding problem）（Barsalous， 1999、2003），也无法解释为何不同个体往往对同一文本产生不同的语义解读和情感体验。

近年来兴起的具身认知（embodied cogni⁃tion） 对传统语言理解观提出了挑战，认为概念在大脑中可能并不是非模态的、独立存在的、稳定的抽象符号表征，而是一种模态的、灵活的神经表征。概念表征的本质是身体与环境互动所产生的知觉、运动以及内省状态在大脑中留下印迹并将这些状态记录下来存储于长时记忆系统中，而认知实际上就是感知运动信息以模拟的方式重新激活（Barsalou，1999、2009）。根据具身认知的观点，语言理解加工的过程可以看作是对物理世界、身体、心理经验的一种复演（reenactment） 或模拟（simula⁃tion）（Barsalou，2003、2009;Glenberg & Gal⁃lese，2012;官群，2007;许先文，2012;叶浩生，2017）。这一过程中，大脑中与概念相关的各种知觉的、运动的、甚至内省经验的表征将得到自动激活（Zwaan，1999; Zwaan &Taylor，2006）。近期的一些神经语言学研究也证实，人类新皮层的核心语言区域与感觉运动结构共同形成了一个支持语言理解的高度交互系统（Vukovic & Shtyrov，2014）。

目前，许多研究通过不同实验范式证实人们在一语语言理解加工过程中自动激活了相应的知觉、运动甚至内省经验等相关表征。如Stanfield & Zwaan（2001）、Pecher et al. （2009）、Hoeben Mannaert et al.（2019）、王瑞明等（2005）发现，当句子语义暗示的方向或形状与图片上事物摆放方向或形状不一致时，被试对图片做出正确判断的时间会变慢。Glenberg & Kaschak（2002） 的实验则表明，当句子描述的动作方向（如“Open the drawer”隐含的动作靠近身体） 与反应的动作方向（如手指向下移动按键） 一致时，被试反应时间更快。Wang et al.（2019） 则发现，当句子所描述的两个动作顺序与现实经验中动作通常出现的顺序相冲突时，被试的理解加工会产生困难。上述研究说明一语理解加工过程确实会伴随各种知觉经验的激活和模拟，但二语加工中知觉经验的激活和模拟问题则仍有不少问题值得深入探讨。

首先，学界对于二语理解过程中是否存在心理模拟至今仍有不同看法。虽然大多研究发现，二语学习者在进行二语理解加工时也存在知觉经验的激活和模拟（Dudschig et al.，2014;Wang，2016;Ahn & Jiang，2018;冯聪，2011），但也有研究得到相反的结论。如Chen et al.（2020）的一项关于一语、二语和三语的对比研究仅在一语中发现了心理模拟效应，而在高水平二语和低水平三语中均未发现类似效应。不过，与前几项研究考察视觉阅读输入不同，Chen et al. （2020） 考察的是听觉输入时的心理模拟，因此研究结果差异是否与输入模态不同有关有待进一步验证。总的来说，正如Ahlberg etal.（2018） 所指出的，虽然第一语言大量研究表明语言理解是基于对以往对象、状态或事件的经验痕迹的重新激活，然而，目前尚不清楚这在多大程度上可以转移到第二语言的理解当中。

其次，即使支持二语理解加工存在心理模拟的学者，对一语和二语理解加工时心理模拟程度是否存在差异也有争议。如Wang（2016） 的研究表明，汉语母语者对汉语权力词引发的空间隐喻效应强于对英语权力词引发的隐喻效应。Vukovic & Shtyrov （2014） 调查了德语一语、英语二语的双语者在被动阅读动作词时运动皮层的参与程度，结果发现，被试在加工德语动作词时运动皮层的激活程度强于加工英语动作词时的激活程度。冯聪（2011）采用句图核证范式考察了一语和二语阅读加工过程，发现二语被试在阅读汉语母语文本时会比阅读英语文本时产生更强的心理模拟。但Ahn & Jiang （2018） 的研究则发现二语被试和母语被试阅读时的心理模拟并没有显著差异。造成上述研究结果的不同可能与实验范式、被试的母语背景、语言水平差异等有关，需要进一步深入探讨。

基于上述背景，本研究拟以不同水平的汉语二语者和汉语母语者为研究对象，考察不同水平的汉语二语者在听力理解过程中是否与汉语母语者一样存在知觉经验的激活和模拟，从而进一步揭示语言水平与听解过程中心理模拟程度之间的关系。

2. 研究方法

2.1研究问题本研究具体探讨以下问题：（1） 汉语二语学习者在听力理解加工过程中是否存在与母语者类似的自动心理模拟？（2） 若存在，语言水平是否显著影响听力理解加工的心理模拟程度？

2.2实验设计

采用2 （句图方向关系） ×3 （语言组别）的两因素混合设计，组内变量为句图方向关系（方向一致、方向不一致）;组间变量为汉语水平（母语、二语高级、二语中级）。因变量为句图核证任务中的反应时和正确率。

2.3被试

实验共招募63名汉语二语被试和30名汉语母语者。63名汉语二语被试来自19个国家，汉语学习时长在两年以上，参加实验时至少达到HSK4级水平。因被试HSK成绩考取时间、等级及分数不同，为了更有效甄别被试汉语水平，我们采用伍秋萍等（2017） 的测量工具对被试进行了一分钟汉字认读测试①。综合该测量成绩与HSK成绩两项指标对二语被试进行分组。其中，HSK 5级250分以上或HSK6级180分以上，且汉字认读测试成绩高于90分（含90分） 的归入汉语二语高级水平组;HSK仅通过4级或5级低于250分，且汉字认读测试成绩未达到90分的归入汉语中级水平组。汉语母语被试均为在校大学生，三组被试平均年龄在22～24岁之间。

2.4实验材料

实验关键刺激为48 组句子-图片。每组句子-图片包含2个句子和1幅图片。两个句子结构一致，其中1个句子语境所暗示的目标物体方向与图片上的物体方向一致，另1个句子语境所暗示的目标物体方向与图片上的物体方向不一致。如表1所示，句子“桌子上放着一本书”暗示“书”为水平放置，与图片一致;“书架上放着一本书”暗示“书”为垂直放置，与图片不一致。为避免被试对同一图片进行两次反应，实验构建了两个交叉平衡版本，对于每个句子-图片对，被试只听到一致或不一致条件下的一个句子。每个版本中句子-图片一致条件和不一致条件的句子数量相等，均为24个。另外有48个句子-图片对作为填充材料，每个填充的句子-图片对包含1个句子和1幅图片，但句子中均未提及所对应图片上的物体。两个实验版本的填充材料相同。

此外还为关键句和填充句编制了对应的检验句，以检验被试对句义的理解。检验句句义与原句句义相符或不符各占一半。所有关键句、填充句和检验句句长均控制在15 字以内，词语和句法难度控制在HSK4级水平，以确保被试均能很好理解。

实验中所有图片均处理为像素为700×400的黑白图片，并邀请不参加正式实验的20名母语者和17名二语学习者进行两项评定。一是对图片与所指称物体的匹配度进行评定，确保所有图片都能够清晰指代现实中的物体。评定采用李克特7 级量表，结果显示，母语者和二语者对全部图片的评分均在5.0以上，符合实验要求。二是对句子和图片的匹配程度进行评定，确保关键刺激中的句子确实暗示了物体处于水平或垂直方向。评定采取如下方式：将句子及两个不同方向的图片一同呈现，要求被试从四个选项中选择：（1） 左图更符合句子描述的情境;（2） 右图更符合句子描述的情境;（3） 两张图都符合句子描述的情境;（4） 两张图都不符合句子描述的情境。当被试将暗示垂直（或水平） 方向的句子与垂直（或水平） 方向的图片匹配的概率超过70%时方视为合格的实验材料。经评定，暗含方向信息的句子与相应方向的图片匹配率均超过75%，符合实验材料要求。

确定实验材料后，请一名普通话等级达到一级乙等的女性母语者在静音室内对所有实验句子进行录音，语速约为180字/分钟，每个句子单独存为wav格式。

2.5实验程序

实验在有录像监控的静音室中进行，被试被告知参与的是一个语言理解实验。首先要求被试填写语言情况调查表，并进行一分钟汉字认读测试，随后被试随机完成版本A或版本B的实验材料，每个被试组完成版本A和B的人数各半。实验通过E-prime 2.0运行，实验刺激呈现在屏幕刷新率为90赫兹的21寸Dell显示器上，被试距离屏幕约60cm。实验的前4个试次均设置为填充试次，剩余44个填充试次与48个关键试次随机进行排列。实验流程如图1所示，首先在屏幕中央呈现500ms的注视点“+”，随后出现播放图标，同时被试会听到一个句子，被试听完并理解句义后按下空格键，屏幕中央再次呈现500ms的十字注视点，随后呈现目标图片，要求被试按键判断图片上的物体是否在之前听到的句子中提及。被试按键判断后图片消失并先后出现500ms的注视点及语音播放图标，播放图标呈现的同时被试会听到另一个句子，要求被试再次按键判断该句子的语义是否与前面所听到的句子句义相符。被试按键判断后空屏1000ms，随后进入下一个试次。在正式实验之前设置了6个试次的练习，以确保被试熟悉实验流程。整个实验流程共持续30-45分钟。

3. 实验结果

在本实验的任务中，被试仅需要判断图片上的物体是否在听到的句子中提及，并未被要求关注物体的方向，因此，假如句子语义所暗示的物体方向和图片上物体呈现的方向是否一致对被试的判断成绩产生了影响，则说明被试在听力理解加工过程中存在心理模拟。具体而言，若被试对句子产生了心理模拟，则在句图方向一致条件下，被试的反应时比不一致条件下更快，正确率更高。因此，我们分别从反应时和正确率两个维度报告实验结果。

为了避免个别被试未认真完成实验任务而影响结果，数据分析前剔除了图片判断正确率低于80%及句子理解判断正确率低于80%的5名被试数据，剩余88 名合格被试的数据进入统计检验，其中二语中级组28 人，二语高级组30人，母语组30人。

3.1从反应时看不同组别被试的心理模拟效应

首先将超过±2.5 个标准差的反应时数据剔除，同时剔除对图片反应错误的试次，数据总剔除率为6.97%。对剩余数据进行3 （语言组别） ×2（句图方向关系） 的重复测量方差分析（Repeated Measures ANOVA），结果如表2所示。

由于句图方向一致和不一致两种条件下反应时的差异大小一定程度上反映了被试心理模拟程度的强弱，因此我们对三组被试在两种实验条件下的反应时差异进行了比较。但因每组被试反应时的基准水平不同，我们首先对每组被试在两种实验条件下的反应时差值进行归一化处理，即分别计算每个被试组[（不匹配反应时-匹配反应时） /不匹配] 的比值并对其进行统计检验。因数据不满足方差齐性假设，因此采用Kruskal-Wallis H 方法进行检验，结果表明： 语言组别的主效应显著， H _（2）=9.736，p=0.008。事后多重比较（Bonferroni 方法校正） 结果表明，母语组与汉语二语中级组差异显著，p=0.007;汉语二语高级组与汉语二语中级组差异接近显著，p=0.095，但母语组与汉语二语高级组差异则不显著，p=1。