基于模糊层次分析的气象培训后效果评估研究
作者： 叶金印 余道清 司静金 张苗苗
［摘 要］ 培训效果评估是培训实施之后进行的效果评价环节，评估结果可为改进和调整培训方案提供参考依据。将柯氏模型和模糊综合评判法相结合，构建了模糊层次分析法，以气象部门综合业务岗位培训为研究对象，对行为层和结果层进行了培训后效果评估。结果表明，培训后效果总体较好，学员回到工作岗位后所产生的培训效果明显。
［关 键 词］ 模糊层次分析；气象培训；效果评估
［中图分类号］ G642 ［文献标志码］ A ［文章编号］ 2096-0603（2023）07-0073-04
气象培训效果评估与之前培训实施过程都是培训流程的重要组成部分，通过对受训学员发生的行为改变和对气象事业发展的贡献进行客观评价，有利于培训工作总结，同时气象培训评估结果运用，为改进培训活动提供重要依据[1]。1959年，威斯康辛大学的唐纳德·L·柯克帕特里克（Donald·L·Kirkpatrick）教授曾提出由反应层、学习层、行为层、结果层构成的柯氏四级评估模型，4个分级的评估层次由易到难、由浅入深对培训效果进行评估[2]。几十年来，培训从业人员将柯氏模型广泛地应用于培训效果评估，尤其是在学员反应层和学习层的质量调查中普遍展开，对改进培训效果发挥了积极作用[3]。但由于行为层和结果层评估因素的设定具有复杂性和模糊性，且对培训项目取得的积极效果往往很难界定，因而培训后效果（行为层和结果层）评估大都以定性评价为主，科学、有效、客观的培训后效果评估模型尚未建立，制约着培训评估工作的深入推进[4-5]。培训工作者尝试从工作态度、工作能力、工作效益对行为层进行评估；从部门行业绩效、部门行业目标和部门投资回报对结果层进行评估，评价接受培训后学员工作行为改变程度以及在个人绩效和组织绩效方面的贡献程度[6]。气象教育培训工作者正在努力探索分类评估指标，以期实现评估结果更加具有针对性和有效性[7-9]。
模糊综合评价模型（Fuzzy Comprehensive Evalua-tion，简称FCE）是一种应用非常广泛并且有效的模糊数学方法，可综合多个不同影响程度的因素，赋予各影响因素不同的权重和隶属度，从而对事物进行综合性评价，模型的数学结构简洁、计算简单。气象培训效果评估同样涉及反应层、学习层、行为层和结果层，尤其是行为层和结果层相对复杂，影响因素对培训效果的影响也具有模糊性特征。模糊综合评判模型对此类问题评判效果较好，能够解决气象培训后效果评估的模糊性问题，增强气象培训后效果评估的科学性和客观性。
本文基于柯氏模型设定了行为层和结果层及其下一层次的评价因素，将模糊综合评价法应用于气象培训后效果模糊层次分析，以气象部门综合业务岗位培训项目为对象进行培训后效果评估实例应用分析。
一、模糊层次分析法
一个复杂系统往往受到多个因素影响，影响因素所处的层级不同，影响效果或发挥的作用也不相同，对复杂系统做出评价就需要采用分层次的多因素模糊评价。模糊层次分析法是利用模糊综合评价模型进行多级模糊综合评判，首先对评价因素从高层向低层逐级分解细化为多层次的隶属关系，其次从最低层开始逐层向上进行模糊综合评判，直至得到评判结果。
模糊层次分析模型由评价因素集、评判集、评判矩阵、权重集组成。单层模型是最简单的模型，将单层模型由低层向高层逐层应用即可完成多层次模糊评价。方法如下：
1.对评价对象的影响因素进行梳理分析，形成评价对象的评价因素集，通常用U表示，U=U1，U2，...，Ui，Ui表示第i个评价因素，诸多评价因素影响程度不同，因而具有不同程度的模糊性。
2.对评价结果的可能性进行设定，如将评价结果分为“很大”“较大”“一定”“较小”“没有”5个等级，建立综合评判集，通常用V表示，V=V1，V2，...，Vm。
3.对每个影响因素进行评价，得到某一影响因子在综合评价集上的模糊隶属度，也就是某一影响因素在“很大”“较大”“一定”“较小”“没有”5个评价等级上所占有的比例（隶属度），由多个影响因素的隶属度构成当前评价层级的模糊评判矩阵。本文采用百分比法，由每个评价专家给出每个影响因素的评价等级，将处于相应评价等级的个数除以专家总数，所占比例即某影响因素的隶属度，多个影响因素的隶属度构成的模糊评判矩阵，即：
4.确定各影响因素的权重，根据因素集中各因素的贡献程度，对每个因素给予相应权重，权重越大，影响因素的贡献越大，形成权重向量，即A=a1，a2，...，an，所有权重之和为1，ai=1（ai≥0）。
5.进行模糊综合评价运算，用B表示。由之前步骤求出R与A之后，B=A·R。记B=A·R=（b1，b2，...，bm）。它是某一评价层级上的模糊评价集合，其中元素bj的值对应于第j个评级等级的值，根据最大隶属度原则，确定模糊评级等级。
上述5个步骤是针对多评价因素的单层模糊综合评判方法，实际情况往往非常复杂，评价因素细分为多个层级，逐层进行模糊综合评判。
二、评价因素及评价等级设定
培训效果评估是评判培训项目的目标实现程度，需将培训目标分解为逐项可操作的不同层次评估指标。柯氏模型包含4个分级层次，反应层评估、学习层评估、行为层评估和结果层评估，由易到难、由浅入深，涉及培训的全过程，因而该模型在培训评估领域得到广泛应用。反应层评估是及时掌握学员对培训项目或培训环节的真实感受，如学员对授课教师及讲授内容的主观感觉和满意程度，对于学员评价好的方面进行积累经验，从学员的差评中吸取教训，从经验和教训中不断改进培训工作；学习层评估是掌握学员在接受培训后的知识及技能提升情况，如对相关知识有更深更广的理解，或对新技术、新方法有所掌握；行为层评估是考察评估学员工作态度、能力、效率等行为方式是否有提升以及提升的程度；结果层评估是评估学员经过培训后对于部门行业绩效和部门行业目标方面的实际工作行为改变程度，考察个人绩效和组织绩效的提升。
本文以柯氏模型为基础，针对行为层和结果层建立气象培训效果评估指标体系，将行为层和结果层作为第1层评价因素，行为层和结果层再向下设置第2层评价因素，见表1。
（一）行为层评价因素
行为层主要考察学员是否将培训中所学到的内容应用到具体的工作中，评价评估因素包括工作态度、工作能力、工作效率，评价学员行为的转变程度，评价要点如下。
培训后工作态度变化评价要点/内涵：（1）更加热爱气象事业与本职工作，敬业、乐业精神有改变。（2）积极面对工作中的困难，努力完成岗位职责内的工作，具有积极进取的工作态度。（3）遵守工作单位的各项规章制度和业务规定等工作纪律。（4）在日常工作中能协调好人事关系，不因个人情绪影响工作。
培训后工作能力提高评价要点/内涵：（1）具有发现问题和解决问题的专业知识和工作技能，取得良好的工作效果。（2）专业经验更加丰富和分析、判断问题的能力更强，具有胜任本职工作的能力。（3）针对发现的问题制定工作目标并提出改进措施和优化建议，具有解决工作短板问题的能力。（4）针对工作中的新问题提出新思路、新方案，改进工作方式方法，具有打开工作局面的能力。
培训后工作效率提高评价要点/内涵：（1）准时完成工作任务。（2）根据需要主动调整和加快工作进度。（3）能主动改进方法以提高效率。
（二）结果层评价因素
结果层评估学员由于行为改变带来的个人绩效和组织绩效提升程度，也就是考察学员应用所学的知识对部门绩效改变的程度、学员行为改变对于促进部门业务发展的贡献程度，这是培训效果评估最终目的性环节，重点评估培训工作对组织效能和目标的促进作用。从培训工作对部门行业效能提高、对科研业务等战略目标实现的贡献程度以及对投资回报率的贡献或影响程度3个指标，评价学员在培训后对事业发展的贡献程度。评估要点如下。
培训后部门行业绩效评价要点/内涵：（1）所学知识（新技术、新方法）业务应用绩效。（2）对单位工作绩效的改变程度。（3）业务科技发展贡献度。
培训后部门行业目标评价要点/内涵：（1）单位业务质量提高。（2）气象服务满意度提高。
培训后投资回报评价要点/内涵：通过对培训成本和人均效益的分析，给出培训投资收益率评价。用公式表示为：培训投入回报率=（培训收益-培训成本）/培训成本。
三、实例应用分析
本文以2017—2020年中国气象局气象干部培训学院安徽分院承担的气象综合业务岗位培训项目为研究对象，发放培训后效果评估调查问卷152份，问卷调查人员包括受训学员本人、单位同事、分管领导。
（一）分级评估权重的确定
行为层权重、结果层的一级评估指标权重和为1。行为层中工作态度、工作能力、工作效率改变的二级指标权重和为1。结果层中部门行业绩效、部门行业目标、投资回报率影响（贡献）的指标权重和为1。本文采用主观赋权法（德尔菲法）得出各级指标的权重（表2）。
第1层评估因素行为层和结果层权重分别为0.6、0.4，两者和为1，权重集为A=（0.6，0.4）。
第2层评估因素确定：行为层之下的工作态度改变、工作能力提高、工作效率提高评估因素的权重分别为0.3、0.4、0.3，三者和为1，权重集为A1=（0.3，0.4，0.3）。结果层之下的部门行业绩效、部门行业目标、投资回报率评估因素的权重分别为0.3、0.5、0.2，三者和为1，权重集为A2=（0.3，0.5，0.2）。
（二）评判集的确定
学员在培训之后行为改变越大，则认为学员能将所学的内容具体应用到实际工作中，个人绩效和组织绩效越大。要评价评估学员培训前后的行为改变程度，就需要设计行为改变程度的等级。评价等级分为“很大”“较大”“一定”“较小”“没有”5个等级，评价结果并不是唯一确定的“等级”，而是在5个评价等级上所占有的比例，也就是以向量表现形式的隶属度，由多个影响因素的隶属度向量构成当前评价层级的模糊评判矩阵。即V=V1，V2，...，Vm=很大，较大，一定，较小，没有，m=5。由各评价因素隶属度向量构成评价集。
（三）结果输出与分析
1.首先确定第2层评价因素模糊综合判断矩阵。
行为层：B1=A1·R1=（b11 b12 b13 b14 b15）
A1为行为层之下各评价因素权重集，R1为行为层模糊评判矩阵。
结果层：B2=A2·R2=（b21 b22 b23 b24 b25）
A1为行为层之下各评价因素权重集，R1为行为层模糊评判矩阵。
A2为结果层之下各评价因素权重集，R2为结果层模糊评判矩阵。
2.再确定第1层评价因素集模糊综合判断矩阵，以第2层模糊综合评判结果构成第1层评价因素模糊综合评判矩阵。
R=B1B2=b11 ... b15b21 ... b25
B=A·R=（b1 b2 b3 b4 b5）
3.输出评价结果。
分别进行行为层和结果层即第2层的多评价因素模糊综合评判矩阵运算，再将权重集与行为层和结果层评价结果组成目标层即第1层的模糊综合矩阵进行运算，得到目标层的以隶属度向量构成的评价集，根据最大隶属度原则，确定模糊评级等级。
行为层模糊综合判断矩阵为：
B1=A1·R1
=（0.3 0.4 0.3）·0.3322 0.3035 0.3084 0.0397 0.01620.2988 0.3921 0.2959 0.0133 0.00000.3334 0.3658 0.2744 0.0263 0.0000