国际学生技术与工程素养评估项目的比较研究

[ 摘 要 ] 为促进我国技术与工程教育的发展，提升学生科学与技术素养水平，实现“以评促教”“以评促学”，从框架目标和项目特点两方面出发，比较分析ICILS 2018与NAEP TEL 2018两种典型模式的异同，得出两者在维度划分、重视情境、采用量规等方面存在相似点，在评估重点、试题分布、编制依据等方面存在不同点的结论。结合我国实际，提出了科学与技术素养评估今后的发展思路：统一课程标准，完善评估体系；明确评估目标，构建三维架构；营造真实情境，提升解决能力；凸显整体平衡，科学编制试题；重视人机交互，增强现实体验；强化过程评价，实现“质”“量”结合；重视环境影响，改进后续教学。

[ 关键词 ] ICILS 2018；TEL 2018；技术与工程素养；比较研究

[ 中图分类号 ] G632.0  [ 文献标识码 ] A  [ 文章编号 ] 1005-4634（2023）02-0009-09

当今，作为促进经济增长和提升国家竞争力的重要战略，STEAM教育日益成为全球教育变革的核心议题。21世纪以来，技术与工程的重要性不断增加，而作为STEAM教育重要组成部分，除艺术（Art，A）外，技术（Technology，T）与工程（Engineering，E）相较于科学（Science，S）及数学（Mathematics，M）长期以来“评估核心学科”的地位而言[1]，重视程度及相关评估力度严重不足。

技术与工程素养评估作为评价学生科学素养的有效方式，对技术与工程教育的发展、学生技术与工程素养水平的提高起着重要的导向作用。由国际教育成就评价协会（International Association for the Evaluation of Educational Achievement，IEA）主持的国际计算机与信息素养研究项目（International Computer and Information Literacy Study，ICILS）和美国国家教育评测中心（National Center for Education Statistics，NCES）推行的美国NAEP技术与工程素养评估（NAEP Technological and Engineering Literacy Assessment，NAEP TEL）作为当前国际上大规模评估学生技术与工程素养的典型模式，其成熟的运作体系对我国的科学素养评估有着重要的借鉴意义[2]。本研究从“测什么”（即架构目标）和“怎么测”（即项目特点）两方面来比较ICILS 2018和NAEP TEL 2018（以下简称TEL 2018）评估体系的异同，归纳有益经验，从而为我国的技术与工程素养评估及相关问题研究解决提供参考建议。

1 架构目标的比较

1.1 总体框架

在框架设计目的方面，ICILS 2018的主要目的是“系统评估学生为实现一系列不同目的，从而利用信通技术能力的有效度”，次要目的是“调查学生、教师使用计算机与其他数字设备的情况，以及对使用计算机技术的态度”[3]。而TEL 2018突出“作为数字信息时代NAEP评估的重要补充”特点，主要包括三个目的：一是评估学生对技术与工程知识的掌握程度；二是了解技术和工程知识在日常生活中的使用程度；三是了解工程师设计和开发技术的程度。

在具体框架内容（或维度）方面，ICILS 2018包含两个维度：“领域”（Areas）、“情境”（Contexts/Contextual Factors）；TEL 2018包含三个维度：“领域”（Areas）、“实践”（Practices）及“情境”（Contexts）。

1.2 内容领域

ICILS 2018主要涉及三个核心领域：计算机与信息素养（Computer Information Literacy，CIL）、计算思维（Computational Thinking，CT）、学习中使用数字技术（Use of Digital Technologies in Learning）。TEL 2018也包含三个领域：技术与社会（Technology and Society，TS）、设计与系统（Design and Systems，DS）、信息和通信技术（Information and Communication Technology，ICT）。ICILS 2018和TEL 2018各自三大领域都有具体的子领域，且子领域又包含具体的评估方面（见图1、图2）[4]。

就核心领域看，ICILS 2018基于其“系统评估学生利用信通技术能力的有效度”的主要目标，将计算机与信息素养（CIL）定义为“个人使用计算机进行调查、创造和交流的能力，以便在家庭、学校、工作场所和社会生活中得到有效参与”；计算思维（CT）定义为“个人识别现实世界问题的各方面的能力，采用计算公式，评估和开发解决问题的相关方案，并实施以相关计算机操作”。值得一提的是，ICILS 2018首次创造性地对学生的计算思维进行了大规模国际测评，这为各国深入理解计算思维、把握学生计算思维发展状况、明确相关影响因素等提供了科学有效的途径与工具。在TEL 2018方面，将技术与社会（TS）定义为“涉及技术对社会和自然的影响，以及由此产生的伦理问题”；设计与系统（DS）定义为“涵盖技术的性质、开发设计及日常处理的基本原则，包括相关维护及故障排除”；信息和通信技术（ICT）定义为“包括计算机和软件学习工具、网络系统协议、数字化设备及获取、新建和推进创造性表达的其他技术”[5]。由此可见，TEL 2018对“技术与工程”的关注比ICILS 2018对“计算机信息素养及计算思维”的关注更广泛。

1.3 情境方面

情境，即上下文因素，是ICILS 2018及TEL 2018评估的重要方面。ICILS 2018强调将测评设置在校内外不同影响因素之下，让学生通过自身不同知识经验来解决系列问题（见图3）[3]。ICILS 2018认为影响学生计算机与信息素养（CIL）及计算思维（CT）水平的背景因素复杂，如不同的学习场所、不同的家庭环境以及学生自身经历，等等。ICILS 2018将其细化为四个方面，一是宏观（社区）环境：学生计算机与信息素养、计算思维学习的广泛背景，如整个教育系统、教育政策等；二是学校（课堂）环境：学校及课堂条件，包括学校的ICT课程、教师引导能力等；三是个人因素：学生自身特征，如年龄、性别、学习动机等；四是家庭环境：学生的家庭背景特征，如家长的社会经济地位、学生ICT资源使用频率等。图3 ICILS 2018情境（上下文）因素

由图3可见，宏观环境对个人、家庭及学校环境均产生作用，其中学生成长受到学校和家庭环境的双重影响。按照关联程度，ICILS 2018将影响学生信息素养的情境分为间接因素和直接因素。间接因素，也称前置因素，即限制学生信息素养的外在条件，如家长的社会经济地位；直接因素，也称过程因素，即影响学生信息素养的直接条件，其受间接因素及更高层次因素的影响，如课堂中教师CIL与CT的引导能力[6]。上述提到的个人、家庭、社区、学校四个层次都涉及到间接因素和直接因素。其中，间接因素直接作用于直接因素，如教育系统的相关特征决定着Internet网络课程的设置[7]；直接因素与结果相互影响、相互制约，如学生在家庭中ICT资源使用频率越高，其计算机与信息素养越高，反过来又在一定程度上增进了学生ICT资源使用的频率，从而形成了一个良性循环。

TEL 2018围绕“社会议题（Issues）”“设计问题（Problems）”“学校和社区目标（Goals）”三方面，突出“将相关任务及问题设置于相关情境下”的理念，重在获取真实的学生测试及反应数据[1]。由于三个领域内问题类型、测试目标侧重点不同，评估项目的背景情况也会有所不同[8]。四年级、八年级和十二年级学生的评估难度由“相对简单”到“相对复杂”递进。以八年级学生为例，其信息与技术素养评估的三个领域情境各不相同（见表1[4]），在每个领域对应的子领域（及情境下）下，又包含着相应的核心原则和具体的情境描述（见表2[4]）。

1.4 实践方面

实践是技术与工程素养的重要内容。在ICILS 2018方面，虽未明确提出“实践”这一概念，但其着重强调“在学习中使用数字技术”，并提出“使用计算机进行调查、创造和交流的能力，以便在家庭、学校、工作场所和社会生活中有效参与”，突出数字技术运用的重要性，足见其对“实践”的重视程度。而在TEL 2018层面，将“实践”定义为“对学生技术与工程思维及推理的期望”，即期望学生在实际生活中展现出其对技术知识和技能的理解和运用。TEL强调学生所进行的实践活动是带有“普遍性”和“跨领域”特点的推理过程，并将其分为“理解技术原则”“设计方案与实现目标”以及“交流与合作”[1]。由此可见，ICILS 2018与TEL 2018均重视“实践”的作用，即要培养一个精通技术与工程知识，且思维活跃、推理和行动能力强的人。

此外，评估的内容领域、实践和情境三者构成了TEL 2018评估的三维架构。由图3[4]可知，整个架构由内到外分别为三个内容领域、三个实践目标和三种情境。其中，内容领域构成了一个三面金字塔，显示了其基础作用。而最外侧为情境，充分展现了“内容领域与实践都依赖于情境的实现”这一理念[9]。

2 项目特点的比较

2.1 试题类型分布

ICILS 2018针对计算机与信息素养（CIL）和计算思维（CT）两大内容领域，采用“模块”概念，将整个测评分为CIL和CT两个测试模块，并将相关模块划分为六种任务类型，其中：CIL测试模块包含基础信息响应任务（Information-Based Response Tasks）、技能任务（Skills Tasks）、编辑任务（Authoring Tasks）；CT测试模块包含非线性系统传输任务（Nonlinear Systems Transfer Tasks）、仿真模拟任务（Simulation Tasks）、可视化编码任务（Visual Coding Tasks）。ICILS 2018题型主要为情境任务题，按照难易程度和耗时长短，可分为简短任务、持续性任务等类型。一般来讲，学生有120分钟的时间完成整个测评的四个模块。

TEL 2018主要包含两种题型：一是基于场景的任务题（Scenario-Based Item Sets，SBT）；二是传统的独立题（Discrete Item Sets）。其具体的时间及反应类型见表3[4]。

在TEL 2018评估中，基于场景的任务题（SBT）通过构建真实世界的场景，使学生处在宏观的背景之下，着重强调学生“必须使用ICT工具来分析技术对人类社会的影响”，最为典型的就是计算机交互任务，即计算机构建相关虚拟情境，学生在相关提示下通过操作计算机来逐步完成相关任务。可见，SBT任务可以“复制”生活中可能遇到的真实情况，从而为学生提供“其他类型评估任务中无法展现的真实性”，大大提升了评估的有效性。但在SBT任务中，由于相关问题多与同一场景相关，导致许多度量相互依赖，为抵消这种相互依赖性并确保可靠性，TEL 2018还采用了传统的独立题（Discrete Item Sets），包含10～15个独立项目，并通过建构或选择的响应类型，让学生在60分钟内完成。

在评分方面，ICILS 2018与TEL 2018均采用评分量规（Scoring Rubric）对学生的答案进行测评，根据学生答案中所包含答题要点的多少，由高到低分为三个层次，分别给予满分、部分分和零分。

2.2 试题编制方式

评价试题的编制是评估体系的核心。ICILS 2018试题是根据其测评目标进行编制，测评内容在其评估框架中有详细规定。而TEL 2018遵循NAEP的试题编制的依据，主要根据《美国国家科学教育标准》和《科学素养基准》两个基本文件，基于学生的“表现期望”（Performance Expectation），编制相关测评试题。由试题引发出学生相关反应，以此作为测评学生科学素养的依据（见图5）[2]。此外，TEL 2018特别强调测评时间分布的整体平衡，如在内容领域，四年级强调信息与通信技术，八年级强调设计与系统，而十二年级则注重信息与通信技术、设计与系统间的平衡。具体的时间占比见表4[4]。

2.3 相关比较