(1)培训及预编码
正式访谈的录音被转录入电脑,校对和补充后整理成文本,最后获得了20份文本材料,共约31万字。每份文本都隐去了姓名以及组别,同时对文本随机编号。由于其中一份优秀者访谈的文本字数(8023字)显著少于平均字数,故只对其余19份文本进行了编码。编码采用的软件是NVivo7。0,编码小组由研究者本人以及另外3名心理学大三年级本科生组成。首先,编码者共同学习和讨论了Spencer的《通用胜任特征编码词典》,然后分别对一份访谈录音文本进行预编码。完成预编码后,编码小组进行了充分的讨论,并根据林业研究生的具体情况对原有的编码词典进行了一定的修订和补充,形成了第一版的编码词典。
在首次编码之前,每个编码者都经历了累计为10小时的编码培训、讨论过程,以及3小时的NVivo7软件学习。
(2)首次编码
根据修订后的第一版编码词典,编码小组在不知道谁是优秀组、谁是普通组的情况下,对访谈文稿进行独立编码。其中研究者独自完成所有19份文本的编码,其余3位编码者是分工(每人负责6或7份)完成。
(3)二次编码
首次编码后发现第一版的编码词典还是不能有效地提取访谈材料中的信息,并且许多等级之间存在界限不明的情况,编码效果不理想。故根据已提取的大量行为样本对编码词典进行了二次修订,将所有维度调整为5个等级,并充实了大量的行为指标,形成了第二版的编码词典。然后,研究者本人根据第二版编码词典对19份文本进行了二次编码,其他3位编码者没有参与二次编码的过程。
4。数据处理和胜任特征模型的建立
1名普通研究生的访谈事件因可信度遭到辅导员和同学的质疑,而没有参与到最终的统计分析。即,最终参与分析的数据为18个案例,其中优秀研究生11人,普通研究生7人。
建立胜任特征的数据以研究者本人二次编码的结果为准,首次编码中其余3位编码者的数据仅参与了研究信度的估计。统计指标有6个,分别是:文本字数、访谈时间、胜任特征频次、平均等级分数、最高等级分数和最高等级。这里“最高等级”这个指标是指5个等级中出现的最高的那一等级,“最高等级分数”是指“最高等级”的分数乘以最高等级出现的频次,例如,在5等级出现了2次,则最高等级=5,最高等级分数=5×2=10。
数据处理使用SPSS13。0统计软件。根据优秀组和普通组的差异检验结果,构建林业专业优秀研究生胜任特征模型。
(四)结果与分析
1。访谈长度分析
为了确保优秀组和普通组在各胜任特征上的差异不是由访谈长度所引起的,我们先对优秀组和普通组的文本字数和访谈时间进行了差异检验。如表3-1,无论是在访谈字数还是在访谈时间上两组均无显著差异。这表明,访谈的长度不会影响优秀组和普通组在胜任特征上的差异。
表3-1优秀组和普通组访谈长度比较分析表
为了检验各检验指标的稳定性,我们分别计算了胜任特征频次、平均等级分数、最高等级分数和最高等级与文本字数的相关系数。结果如表3-2所示,有2个维度的胜任特征频次与文本字数存在显著相关,其中自信心的自信这个构面的胜任特征频次和文本字数的相关达到了0。01水平,非常显著。同时,有2个维度的最高等级分数与文本字数存在显著相关。平均等级分数和最高等级这两个指标则非常稳定,它们和文本字数在统计学上无显著相关的情况。因此,本研究选择的4个指标的稳定性都是比较高的,理论上都能如实地反映出受访者在不同胜任特征上的水平,参考意义比较大。
表3-2特征频次、平均等级分数、最高等级分数和最高等级与文本字数的相关
注:*p<0。05,**p<0。01
2。编码信度的估计
由于时间和人员的限制,二次编码过程仅由研究者本人单独完成,无法得到编码一致性的直接指标数据。这里我们对首次编码的归类一致性系数进行了计算,作为本研究编码信度的间接估计值。
归类一致性(ent,CA)是指编码者之间对相同访谈文本的编码归类相同的个数占编码总个数的百分比。计算公式参照Winter的动机编码手册,若用T1表示编码者甲的编码个数,T2表示编码者乙的编码个数,T1∩T2表示编码者编码归类相同的个数,T1∪T2表示编码者甲乙各自编码个数的和,则计算公式为[17]:
T2)T1∪T2
在首次编码中,研究者本人和另外一名编码者的归类一致性系数在14。27%~27。83%,平均为21。31%。与以往的研究相比,这个一致性没有达到可接受的水平,这说明了首次编码采用的第一版编码词典是存在比较大的缺陷的,因此,改进词典、重新编码是非常有必要的。由于二次编码时对特征词典进行了细致的修订,因此,首次编码的归类一致性系数应该是对本研究信度的一个低估值。
3。胜任特征频次分析
对两组研究生每个特征的胜任特征频次进行T检验,结果如表3-3所示。虽然优秀研究生在部分胜任特征频次的平均分上高于普通研究生,但是这种优势在统计学上没有达到显著水平。这表明,胜任特征频次这个指标没有良好的区分度,仅从频次多少无法将优秀研究生和普通研究生区别开来,必须考虑特征行为等级和性质的区别。
表3-3优秀组和普通组在胜任特征频次上的差异比较
续表
4。差异检验
(1)平均等级分数差异检验
对两组研究生每个特征的平均等级分数进行T检验,结果如表3-4所示。数据表明,优秀研究生和普通研究生在7个胜任特征上有显著差异,它们分别是成就动机、主动性(时间构面)、主动性(努力程度构面)、团队合作、团队领导、压力管理、奉献精神。这说明,平均等级分数这个指标的区分度是比较好的,能够把优秀研究生和普通研究生区别开来。
表3-4优秀组和普通组在平均等级分数上的差异比较
注:*p<0。05,**p<0。01,***p<0。001
(2)最高等级分数差异检验
对两组研究生每个特征的最高等级分数进行T检验,结果如表3-5所示。优秀研究生和普通研究生仅在2个胜任特征上的最高等级分数有显著差异,它们是成就动机和人际理解(了解他人的程度)。这表明,从鉴别的角度来看,最高等级分数并不是一个十分优良的指标。
表3-5优秀组和普通组在最高等级分数上的差异比较
续表
注:**p<0。01
(3)最高等级差异检验
对两组研究生每个特征的最高等级进行T检验,结果如表3-6所示。数据表明,优秀研究生和普通研究生在5个胜任特征上的最高等级有显著差异,它们分别是成就动机、主动性(努力程度构面)、团队领导、压力管理和灵活性。可以看出,相对于最高等级分数,最高等级这个指标具有更好的区分度。
表3-6优秀组和普通组在最高等级上的差异比较