“双高计划”建设成效评价中典型案例的主要作用、存在问题与反思改进

［摘要］以第一轮“双高计划”建设56所高水平学校463个典型案例为样本，借助Nvivo12.0质性研究软件进行文本内容分析，全面梳理典型案例的内在结构、规范样式、成效表现等基本问题，分析检验各建设单位的典型案例与实现预期建设目标达成度。为全面做好“双高计划”建设成效评价工作，建议将典型案例评价作为成效评价的重要观测点，进一步提高典型案例在终期评价中的考核权重，进一步明确典型案例的内在结构与评价标准，进一步重视典型案例的日常总结、培训与研究工作，进一步加强典型案例社会影响力的宣传推广工作。

［关键词］典型案例；“双高计划”；成效评价；质性分析；56所高水平学校

［作者简介］李昱（1989- ），女，湖南岳阳人，长沙民政职业技术学院高等职业教育研究所，助理研究员；郭广军（1971- ），男，湖南双峰人，湖南省职业教育研究基地首席专家，长沙民政职业技术学院，教授，厦门大学教育研究院在读博士。（湖南  长沙  410004）

［基金项目］本文系2023年度湖南省社会科学成果评审委员会课题“高质量视域下‘双高计划’绩效评价‘刚’与‘柔’并行路径研究”（项目编号：XSP2023JYC084，项目主持人：李昱）和2020年度国家社会科学基金教育学一般课题“高等教育产教融合质量协同治理体系研究”（项目编号：BJA200105，项目主持人：郭广军）的研究成果。

［中图分类号］G717    ［文献标识码］A    ［文章编号］1004-3985（2024）01-0050-08

中国特色高水平高职学校和专业建设计划（以下简称“双高计划”）已开展四次绩效评价工作。其中，要求“双高计划”建设各单位需提供5个左右反映学校和专业群建设任务的案例。典型案例既是完整、全面描述建设任务水平及成效的文本中介，也是兼顾过程与结果、定量与定性相结合的综合评价手段。目前，第一轮“双高计划”建设已临近终期验收评价阶段，评价重点将由绩效评价转向成效评价，由实践走向实效，看“双高计划”建设特色经验与社会贡献程度［1］。为此，运用质性研究方法，明确典型案例评价内在结构、规范样式、成效表现等基本问题，对改善以往评价中“重量轻质”现象，有效指导各建设单位及时总结、提炼创新举措、主要做法，形成可供借鉴推广的办学经验与特色模式等具有积极指导意义。

一、问题提出

（一）典型案例在高等教育评价中已经得到广泛应用

国内外高等教育评价实践中案例已是重要指标之一。英国高等教育机构研究质量评估系统（Research Excellence Framework，REF）在2014年首次使用案例评价取代研究评估考核（Research Assessment Exercise，RAE）［2］。英国高等教育基金委员会认为，案例可公平、恰当地反映评价周期内高校科研建设实力。澳大利亚卓越科研评估（Excellence in Research for Australia，ERA）在2018年基于分类评估理念进一步完善典型案例在高校科研影响力评价中的运用，增加了高校与校外多方互动与合作能力、社会影响力等评价要素，并在全国范围内进行第四轮评估，其结果也是政府对高校进行科研资金分配的有力指挥棒。［3］

2016年我国在高等教育第四轮学科评估工作中已开始将典型案例纳入评价体系，将“社会服务贡献”指标采取“写实情况+代表性案例”的方式呈现。2020年教育部在《全国第五轮学科评估方案》中提出大力改革传统的评价形式，克服“一把尺”评价的弊端，重视学科建设服务经济社会建设总体情况的典型做法与案例。这是深化新时代教育评价改革的具体要求，落实了全方位、全过程评价，体现了“质量、成效、特色、贡献”的价值导向［4］。同时，这对推动高校更加关注学科特色和内涵建设、遵循教育规律、突出质量导向，肯定不同地区、不同类型单位服务社会的特色与贡献具有重要意义。

关于案例标准化评价理论框架，国内学者朱军文、邵玲芝指出，案例体例由基本信息、主要内容、实际影响、证据支撑等要素构成；案例内容包括解决的问题及采取的关键举措、最终结果等；案例成效及影响包括呈现形式、影响力范围、受益群体等；案例证据及其来源包括以数据呈现的证据和写实性证据。［5］

（二）典型案例在“双高计划”建设前半程评价中作用不明显

“双高计划”建设成效评价中典型案例的作用包括：一是更好地发挥综合评价的作用。避免过去重量轻质、重结果轻过程的短板，加强定性文本描述与量化数据的结合，全面体现建设成效。二是更易于看到建设项目的软性实力。通过案例文本内容真切看到创新机制措施的实施过程，以及产出标志性成果所带来的良好社会效益和经济效益。三是更利于从“支撑、引领、推动”三个层面看建设实效［6］，即通过典型案例的综合描述，看各单位在支撑国家与地方经济社会发展需求、引领职业教育改革和人才培养等方面的建设成效。

事实上，在等级评价、评价问责机制下，典型案例在“双高计划”建设前半程评价中作用不明显，仍以可量化评价为主，质性评价不足，导致各级评价环节中“重量轻质、单一化、同质化”的问题依然存在。例如，现有评价体系中虽有典型案例，但仅在“数量”上有要求，未有标准化的评价规则或要求，对案例体例、框架、行文规范、范围等未有明确规定。而且许多地区或建设单位时常忽略案例评价工作的审核把关，导致案例质量差、体例不科学，以及特色经验做法、建设成效提炼水平不高。长此以往会使外部问责与自我发展的价值对立，类型多样与标准统一的固有矛盾突出，量化指标、评价碎片化与整体发展冲突［7］。

为此，“双高计划”建设后半程评价中需加强典型案例评价。本文明确典型案例评价内涵与有效性观测维度，运用Nvivo12.0质性研究软件（以下简称Nvivo12.0）①，对56所高水平学校的典型案例内在结构、规范样式、成效表现等基本问题进行全面梳理；再结合综合评价原则，提出完善案例评价相关建议，以切实发挥典型案例在“双高计划”建设成效评价中的作用。

二、研究方法

以《关于深化现代职业教育体系建设改革的意见》（以下简称《意见》）中“一体、两翼、五重点”工作部署和首轮“双高计划”建设目标为导向，［8］明确典型案例评价内涵与有效性观测维度，再通过Nvivo12.0进行文本内容分析。

（一）典型案例评价内涵与有效性观测维度

典型案例是“双高计划”建设单位开展的具有代表性、引领示范性工作成效的完整呈现；是按照一定结构要素阐述目标任务的实施背景、典型做法或主要措施、建设成效、创新经验或结论启示的“文字+数据+图片”组合。［9］

典型案例不仅需要生动、精练的文字提炼，还要有一定的标准化结构，并作为案例评价的效度［10］。根据建设评价管理实践，建议从以下三个维度进行效度观测：一是结构化形式维度。典型案例阐述的是一项建设任务从低到高、从无到有不断完善与发展的过程。在体例框架上需包含实施背景、革新举措与做法、特色与亮点、成效与经验、反思与展望等；在案例文字上需精简且有一定字数要求，为体现真实性、观赏性可按需嵌入量化数据与图片等形式。二是主体内容要素维度。典型案例是反映建设任务水平的主要部分。需按照构建现代职业教育体系新要求和“双高计划”建设目标，突出高职院校主动适应产业优化升级、解决社会民生热点问题、产科教融合、内部治理机制创新等内容，确保在同类院校中的引领性。三是形成可复制、可推广的经验维度。典型案例是建设任务成效落地的文本中介，旨在充分展示发展实效，尤其是建设中形成“一批有效的职业教育高质量发展政策、制度、标准”等，如国家及地方政府支持院校发展的具体做法，校企、校地共同办学的政策制度、创新思路等，能够对同类院校发展产生可复制、可参考的经验。

（二）研究样本来源与清理

遵循示范性、引领性、推广性原则，本研究以56所“双高计划”高水平学校在建设期间的463个典型案例为样本来源。案例渠道主要来源于各建设单位的“双高计划”建设专题网站、现代高等职业技术教育网、《中国教育报》、学校官微等主流官网平台。

为便于导入Nvivo12.0进行内容分析，所有案例文本根据“双高计划”建设监测平台典型案例填报要求，保留案例名称、案例关键词，统一案例结构，隐藏学校及姓名信息。正文字数低于500字进行样本清理。经同质化和差异化的筛选过程，有2所学校仅收集到5个及以下典型案例，18所收集到6个，11所收集到7个，9所收集到8个，8所收集到9个，5所收集到10个，3所收集到11个及以上典型案例。56所高水平学校共获得463个案例样本，平均每个学校8.3个。

三、研究过程

本研究借助Nvivo12.0的词频、编码、聚类、交叉分析四个主要功能对463个案例文本内容进行质性分析。研究过程分为编码过程和信效度检验两个阶段，其中编码过程包括文本导入、建构类目、分析主题、导出数据四个环节。

（一）编码过程

1.文本导入。先通读463个案例文本，并导入Nvivo12.0，通过词频分析功能来识别核心概念，标记各类案例体例范式，对案例内容与形式形成初步认知。

2.建构类目。依托Nvivo12.0构建463个案例文本的类目体系。以“双高计划”建设任务为依据，对每一案例文本进行提炼、归纳并整合其特征和属性，拟以“加强党的建设、人才培养高地、创新科研服务平台、高水平专业群、高水平双师队伍，校企合作水平、服务发展水平、现代治理水平、信息化水平、国际化水平”［11］作为一级条目。再根据一级条目相关属性和特征，形成节点和参考点，生成子类目编码过程。

3.分析主题。基于创建的十项一级条目进行推论式分析。按照典型案例评价内涵与效度做不同主题的文本内容分析，如根据案例结构推论出五项主题分类：任务实施背景与目标、典型做法、主要成效、创新经验、下一步计划与展望。分析过程是以每个一级条目的案例文本作为单元数据库，依次进行主题交叉分析、创建标签、形成节点。再将节点属性和特征进行逐级分析，设置参考点，通过聚类编码的方式纳入十个一级条目当中。对于一个案例有多个属性特征的可划分至不同主题下，这需要根据文本内容进行推论，即一个案例文本可能同时被划分在多个主题当中。

4.导出数据。Nvivo12.0共有8种分类导出数据功能。本研究依据文本内容分析的过程和要点，按文件列出的编码汇总、案例节点，分类汇总导出数据进行分析。

（二）信效度检验

案例编码是基于属性聚类的文本分析过程，是人为判定一个案例归属于某个单一领域类型，存在一定的主观性和片面性，为此选取“双高计划”建设高水平学校A、B、C档3类典型案例进行有效性检验。同时，采取三角检验法②，即多人多角度进行编码类比，编码过程中产生分歧先相互讨论，若无法确定再咨询专家建议，直至达成一致编码意见。最后，本研究三组编码人员，通过对研究结果的两两比较，运行Nvivo12.0监测功能，获得编码信度系数分别为93%、92%、95%，具有相对稳定性和有效性。

四、研究结论

通过对56所“双高计划”高水平学校在建设期间的463个典型案例进行编码、归类发现，目前典型案例还难以真实、客观地反映建设成效。

（一）典型案例并不能完全覆盖或完整体现十项改革任务的建设目标

运用热频词检索功能，检索出频率最高的45个关键词（包含同义词在内的3～5个字符），并通过聚类分析归纳至十项改革任务中，发现已有典型案例覆盖面不完整、不均衡。而且各项改革任务的案例热频词差异较大，占比从高至低依次为：人才培养高地（42.86%）、校企合作水平（35.71%）、创新科研服务平台（25%）、高水平专业群（21.43%）、国际化水平（17.86%）、信息化水平（17.86%）、加强党的建设（14.29%）、高水平“双师”队伍（14.29%）、现代治理水平（7.14%）、服务发展水平（3.57%）。