大规模计算机交互式测评中科学探究能力表现的实证研究

摘要： 以截取的PISA2015中国学生的log数据，运用关系挖掘、聚类、Logistic回归分析等教育数据挖掘方法，分析中国学生在“可持续渔业”单元中两个项目的探究行为的特点、探究行为与探究能力之间的关系，以及学生探究行为的影响因素。结果显示： （1）依据学生项目反应时间和访问次数，可以将学生分为4个群组（快速猜测型、任务驱动型、粗略检查型、反复检查型），反复检查型学生科学素养平均成绩均最高，而快速猜测型学生科学素养平均成绩最低;（2）学生在两个项目上的探究行为显著相关;（3）科学乐趣和成就动机越强的学生，越有可能是反复检查型。最后，基于研究结果，为教师的实践教学提建设性建议。

关键词： log数据; PISA; 科学探究能力

文章编号： 10056629（2022）06001607

中图分类号： G633.8

文献标识码： B

1 问题的提出

随着计算机和互联网技术的不断发展，计算机在教育领域得到了更为广泛的应用，基于计算机的教育测评正在进入教育领域。为了培养新时代发展需要的人才，传统唯分数论的教育测评正在发生重大改变，通过动态、模拟的计算机任务对学生进行测评的方式成为了一种重要的发展方向[1]，国际评估学生项目（PISA）逐渐开始采用基于计算机的教育测评。基于计算机的测评是学生在电脑上完成计算机模拟任务[2]，在计算机的管理后台可以提供学生在评估期间所有操作的记录以及相应时间戳的日志文件数据（log数据）。PISA2015在科学素养的测评领域采用了基于计算机的交互式测评方式，其log数据提供的信息不仅包括回答的正确性，还包含了学生作答的时间、项目访问的次数、操作的次数等数据，对深入了解学生的探究表现提供了可能。PISA 2015中科学素养被视为一项关键能力，探究能力成为科学素养测评的核心。因此，本研究着眼于学生在科学素养测评中科学探究能力的表现，通过log数据分析学生科学探究能力差异的原因，理解学生的探究行为和表现，为教育者的实践教学提供教育决策的依据。

2 PISA2015科学探究能力的测评

2.1 PISA2015科学探究能力测评概述

PISA2015科学素养中评估的科学探究能力主要包括三项： 科学地解释现象、评估和设计科学调查以及科学地解释数据与证据。该框架通过计算机交互式测评测量学生的科学探究能力，计算机交互式科学探究测试需要学生在计算模拟环境下解决情境化的科学问题，交互式测试题以单元形式呈现，学生不仅需要应用科学概念和原理解决探究的问题，还需要运用一系列探究技能才能完成，比如调查、推理、评估实验数据等。

PISA2015对科学素养评估的三种能力定义了认知需求水平，基于知识深度分类法将认知需求分为高、中、低三个水平。低水平的项目只需要执行一步程序，例如回忆事实、原理和概念，在图表中查找单个信息等。中等水平认知需求项目需要应用概念知识来描述或解释现象，其涉及两个或多个步骤。高水平认知需求项目需要分析复杂的信息或数据，在整合与评估证据的基础上制定解决问题的计划或步骤。此外，在2006年测评的6个能力水平中，增加了“1b”级，专门对能力最低、科学素养最低的学生进行描述。从而形成了“1b”级、“1a”级、2级、3级、4级、5级和6级一共7个层级，对能力水平的描述更详细、更具体。

2.2 PISA2015 “Sustainable Fish Farming（可持续渔业）”探究任务

2015年，在参与PISA的72个国家的学校中，约有540000名学生被选入全球范围，代表了约2900万名学生。中国样本由27384名学生组成，其中一共5984名学生对PISA测试题“Sustainable Fish Farming（可持续渔业）”做出了反应。“可持续渔业”项目1（如图1）需要学生了解养鱼场的目标和三个鱼缸的功能，以及哪一种生物最适合完成每一项功能，主要考察科学探究过程中“科学地解释现象”的能力。仅7.8%的学生答对项目1，这主要源于该项目需要学生拖动鼠标来解决问题，并且该项目为开放性的任务，这四种生物中的任何一种都可以放置在三个容器中的任何一个，每个容器中的生物数量没有限制，难度较大。PISA2015将其认知需求水平设定为高、能力水平等级为6[3]。

项目2（如图2）需要学生根据对每种生物体的描述，确定列出的生物体中哪一种会减少渔场向海洋释放的大量营养物质，主要考察科学探究过程中“科学地解释数据和证据”的能力。78.9%的学生答对项目2，该题是简单选择题，学生只需要点击鼠标就能回答问题，操作简单。PISA2015将其认知需求水平设定为低、能力等级水平为2（456分）[4]。

由于“可持续渔业”项目1和项目2难易程度、操作程序、操作方式均不同，为了探究学生在复杂程度与认知需求水平不同的项目上表现出来的探究行为是否具有差异性，因此本研究选择项目1和项目2来进行对比分析。

3 研究的变量与方法

3.1 变量的选取及说明

在PISA探究任务中获得相似分数的学生不一定以同样的方式进行答题，学生的最终回答结果无法体现他们如何参与探究任务以产生这样的结果。研究表明，学生探究过程中的特定行为，如尝试的次数和任务时间等过程行为可能有助于理解学生取得成就的过程[5]。此外，性别差异在理解学生探究能力方面发挥重要作用[6]，一般女生在学习上更主动，学习目标更明确，探究过程中表现更好[7]。研究表明，喜欢科学并有较高成就动机的学生更热衷于探索科学研究[8]，而学生对ICT的兴趣能够显著预测学业成绩，ICT兴趣越高的学生对科学探究任务表现越积极，科学素养成绩越好[9]。

因此，本研究选取PISA2015中国区的科学素养测评的log数据，拟探讨如下问题： （1）通过log数据可以确定学生哪些探究行为？（2）学生探究行为与探究能力的关系？（3）学生探究行为受哪些因素的影响？据此，本研究设计了如下变量（见表1）。

3.1.1 探究行为

学生的科学探究行为可分为响应行为和检查行为。根据Michalis P.等人的研究[10]，通过任务时间的阈值将学生响应行为分为快速猜测行为（即快速反应而不实际考虑问题）和解决问题行为（即寻求正确答案）。平均任务时间的10%作为阈值，但同时阈值不能超过10秒。在短于阈值的时间内发生的响应被认为是快速猜测，其余响应被认为是解决问题。

由于PISA2015测试中允许学生在一个单元内多次访问项目，因此学生可以在完成项目后返回检查自己的结果。本研究利用log数据中学生访问次数将学生检查结果行为分为未检查、粗略检查和反复检查。未检查： 学生访问的次数=1，即该学生完成任务后没有再返回对结果进行检查;粗略检查： 访问的次数为2～3，即该学生解决问题后有再返回来检查了1～2次;反复检查： 访问的次数为4及以上，即该学生解决问题后有多次返回来进行了反复检查。

3.1.2 人口学特征和态度特征

除了科学素养评估，学生还花了30～45分钟来回答PISA背景问卷。本研究利用问卷中学生的性别、科学乐趣、ICT兴趣和成就动机相关数据，进一步分析探究行为的影响因素。

3.2 数据统计方法

本研究采用教育数据挖掘理念下的Log数据挖掘的方法。教育数据挖掘通过算法和心理学方法帮助学校或研究者收集和分析学习者的行为数据[11]，了解学生的学习方式、学习环境，提高教育效果并进一步指导教育决策。聚类分析、回归分析是教育数据中两种重要的数据挖掘方法[12]。

我们首先借助SPSS 24.0聚类分析区分不同探究行为群组，分析学生探究行为特征。然后通过不同探究行为群组答题正确率统计和科学素养成就kruskal-Wallis H差异性检验，探讨学生探究行为与科学能力的关系。最后，为了教师在教学中能够针对不同的学生群体实施有效的教学策略，本研究试图探究不同探究行为群组间差异形成的原因，因此运用相关分析、Logistic回归分析探究项目的复杂程度与认知需求、人口学特征和态度特征对学生探究行为的影响。

4 结果与分析

4.1 探究行为分析

4.1.1 探究行为统计与分析

如表2所示，“可持续渔业”项目1的阈值为10秒。任务反应时间超过10秒为解决问题行为，10秒内则为快速猜测行为。项目2的阈值为3.2秒，任务反应时间超过3.2秒为解决问题行为，3.2秒内则为快速猜测行为。项目1快速猜测者的比例为4.8%，而项目2快速猜测者的比例仅为1%。由此可见，科学探究项目认知需求越高，学生越容易放弃。

此外，项目1中粗略检查的学生占33.5%，会进行反复检查的学生仅占6.8%;而项目2中粗略检查的学生占31.4%，会进行反复检查的学生仅占5.8%。可见，随着项目复杂程度的降低，检查行为（粗略检查行为和反复检查行为）会呈现下降的趋势。

4.1.2 探究行为群组

将响应行为和检查行为分别纳入分类变量，依据对数似然距离计算两个变量之间的相似性，并对样本进行两步聚类分析，共获得4组稳定的聚类结果。结果如表3所示，群组1在响应行为上表现为快速猜测，在检查行为上表现为未检查，说明这类学生尚未认真思考就点击鼠标草草了事;群组2在响应行为上表现为努力解决问题，在检查行为上表现为未检查，说明这类学生正在尝试参与科学探究的过程，但是没有进行自查和反思，可见这类学生趋向于完成既定的任务;群组3在努力解决问题同时对结果进行了1～2次的检查，说明这类学生不仅仅只是把科学探究当成任务，还对结果进行了粗略的检查;群组4在努力解决问题的同时对结果进行了多次的检查，表明这类学生不仅在探究过程中努力思考，同时还通过不断的自查和反思来尽可能减少错误。

综上，群组1是“快速猜测型”，群组2是“任务驱动型”，群组3是“粗略检查型”，群组4是“反复检查型”。

4.2 探究行为与探究能力表现

4.2.1 探究行为与答题正确率

由图3可见，项目1和项目2的正确率由高到低依次为反复检查型、粗略检查型、任务驱动型和快速猜测型。说明学生的努力程度会直接影响探究结果，通过猜测的方式来敷衍了事是很难得到正确的答案的，而努力解决问题和对结果的不断检查能够提升做题的准确率。在项目2中反复检查型的正确率略高于粗略检查型，而在项目1中反复检查型的正确率是粗略检查型的2倍。可见，学生可以通过不断的自查而避免错误[13]，越是复杂的项目越需要反复检查。

4.2.2 探究行为与科学素养成就

我们进一步调查了四种类型学生在科学素养成就方面是否存在差异。在PISA 2015中，采用项目反应理论为每个学生生成10个科学素养成就似真值。按照Greiff等人的建议[14]，采用PISA提供的第一个似真值得分为科学素养成就值。

如表4所示，项目1和项目2的平均成绩由高到低依次为反复检查型、粗略检查型、任务驱动型和快速猜测型。分别对项目1和项目2探究行为类型科学素养成绩进行kruskal-Wallis H检验，项目1（H=381.08， P<0.01）和项目2（H=381.08， P<0.01）中四种探究行为类型的科学素养成绩有显著性差异。进一步对四种探究行为类型进行两两比较，在项目1和项目2上四种探究行为类型中任意两个探究行为类型之间科学素养成绩均有显著性差异。由此可见，学生的探究行为是科学素养的重要体现。科学探究往往不是一蹴而就的，需要锲而不舍的精神、不断的探索、反复的思考。

4.3 探究行为影响因素的分析

4.3.1 项目复杂程度与认知需求水平对探究行为的影响

本研究比较了两个项目中保持相同探究行为的学生和转向不同探究行为的学生的比例（见图4）。项目1上为粗略检查型和任务驱动型的学生在项目2上仍为该类型的比例分别是76.6%和94.9%。从项目1到项目2，快速猜测型学生虽有84.1%发生了转变，大部分转变为了任务驱动型，且没有学生转变为反复检查型;反复检查型学生中有55.2%发生了转变，大部分转变为了粗略检查型，且没有学生转变为快速猜测型。这似乎表明学生的探究行为在不同项目上是相互关联的，进一步进行斯皮尔曼相关分析，结果显示，学生的探究行为类型在项目1和项目2上显著相关（r=0.723， P<0.01）。这说明在项目1上某个特定类型的学生很有可能在项目2仍为该类型。可见，学生的探究行为是一种习惯，具有某种特定探究行为习惯的学生有很大概率在不同的项目上均表现该行为。