第二节 评价指标的权重估计

在利用挑选出来的评价指标建立综合评价模型时，还应当考虑各指标对评价结果的影响大小，即各个评价指标在评价模型中的权重问题。权重是指某一评价指标相对于评价目标的重要程度，其不同于一般的比重，体现的不仅仅是某一因素或指标所占的百分比，更强调因素或指标的相对重要程度。

通常用于确定指标权重的方法很多，归纳起来，有主观赋权法、客观赋权法和主客观结合赋权法三类，主观赋权法主要包括专家评分法、成对比较法、Saaty权重法等；客观赋权法主要包括模糊定权法、秩和比法、熵权法、相关系数法等。不论哪一种方法所定权重分配既有相对合理的一面，又有局限的一面，这表现为：主观定权指在权重形成过程中因渗入人的主观因素而可能产生因人而异的差异性。客观权重的形成则受样本和数据的代表性影响，因此用不同方法确定的权重分配，可能不尽一致，这将导致权重分配的不确定性，最终可能导致评价结果的不确定性。因而在实际工作中，不论用哪种方法确定权重分配，都应当依赖于较为合理的专业解释，也可以通过不确定性分析（详见本书第三章）进行可靠性的评估。

以下介绍几种较为常用而简便的赋权方法。

（一）专家评分法

这是一种依靠有关专家，凭借他们在某一学科领域内的理论知识和丰富经验，以打分的形式，对各评价指标的相对重要性进行评估，然后借助统计手段，以确定各评价因子权重大小的方法。

1.评估专家的选择

所谓专家，应当是在自己所擅长的领域很少犯错误的专门人才。擅长领域A_i是大系统S中某个子系统S_i的组成部分，评估专家在A_i领域拥有专门的知识和经验。例如，在临床医学系统中，A_i领域可能是内科、外科、妇产科或儿科等。在A_i领域，评估专家应当拥有一定的信息贮备量，例如：一般方法学和基础；理论规律性与基本趋势的知识；A_i领域及其相近领域的交叉学科知识；以往评估的经验；对该部门其他评估专家不同观点的独立见解等。

在实际工作中，常用专家擅长系数和专家意见一致性系数等指标来估计专家评分方法所定权重分配的相对合理性。

某一评估专家的水平可以用“擅长系数”来表示。

式中q为擅长系数；p为答错的概率。

若答对与答错的概率相等（p=0.50），则q=0；理想的“绝对正确”评估专家，p=0，q=1。当然，错答的概率还取决于提问的复杂性与重要性。通常在选择评估专家时，其擅长系数不应低于0.80。

专家组人数取决于评估问题的规模。人数太少，限制学科代表性；人数太多，难以组织与进行结果处理。据研究，对于评价而言，评价精度与参加人数呈函数关系，即随人数增加精度提高，但当人数接近15时，进一步增加专家人数对评价精度影响不大，此点似可供确定评估专家人数时借鉴。有人提出以10～50人为宜。

2.几种主要的专家评估方法

（1）直接评分法

1）评分方式：可分别采用专家个人判断、专家会议、“头脑风暴”等各种方式。

个人判断，即分别征求专家个人意见，在专家各自单独给评价因子的相对重要性打分的基础上，进行统计处理，以确定各因子的权重。该法主要优点是专家打分时不受外界影响，没有心理压力，可以最大限度地发挥个人创造能力；主要缺点在于仅凭个人判断，易受专家知识深度与广度的影响，难免带来片面性。

专家会议，即召集所有被挑选的专家开会，以集体讨论的方式进行评分，然后再借助统计方法确定各指标的权重。该法目前较为常用，其主要优点是可以交换意见，相互启发，弥补个人之不足。然而专家会议也有明显的缺点，主要表现在易受心理因素的影响，如不愿公开修正已发表的意见等。为了克服以上缺点，近年来有人提出召开“头脑风暴”式的专家会议。所谓“头脑风暴”，是通过专家间的相互交流，使专家的意见不断集中和精炼。该方法作为一个创造性思维方法，已在预测与评价中得到广泛应用。这种方法对参与会议的专家及专家发表意见的方式都有一些相应的规定，例如，当参加会议的专家相互认识时，要从同一职位人员中选取，领导人员不应参加，否则下属人员将产生心理压力；当参加者互不认识时，可在不同职位的人员中选取，这时不论成员的职务与职称等级，都给以同等对待；而且提倡会议参加者即席发言，不对别人的意见提出质疑和批评等。这样将有助于克服一般专家会议的短处，而发扬其长处。

2）评价指标权重的确定：首先由参加评估的专家给各评价指标的相对重要性一个评价分数，通常用100分制或10分制评分法；有时也可根据需要采用等差或等比级数评分法。例如将权重分为极重要、重要、一般和不重要四级时，各级权重评分之比可按等差（例如4、3、2、1）给分，或按等比（例如16、8、4、2）给分。然后计算每一评价指标的平均分数，如果不考虑专家的权威程度，则根据各评价指标的平均分数便可确定各指标的权重；如果考虑专家的权威程度，则应计算每一指标的加权平均分数，并以此确定各指标的权重。

例2-1　医学教育是卫生健康事业发展的重要基石，高质量医学人才是推进高质量卫生健康事业发展的重要保证。为推动高等医学教育高质量发展，需要制订临床教学基地评审标准。遵循科学性、导向性、可操作性等原则，建立普通高等医学教育临床教学基地评审标准，包含7个一级指标，选定10个专家对评审标准指标体系进行权重评估，各级评价指标见表2-1，各评价指标得分见表2-2。

如不考虑各专家权威程度，则各评价指标的权重比例为：

，经归一化处理后，权重分配为W₁∶W₂∶W₃∶W₄∶W₅∶W₆∶W₇=0.12∶0.15∶0.19∶0.15∶0.13∶0.14∶0.12。

如果考虑各专家的权威程度，则应计算另一个指标：各专家权威程度系数。

专家的权威程度一般由两个因素决定，一个是专家水平及其打分的判断依据，用A_i表示；另一个是专家对问题的熟悉程度，用A_s表示。专家权威程度以自我评估为主，有时也可相互评估。自我评估时，应填写判断依据及其影响程度表和对问题熟悉程度表（表2-3、表2-4）。

然后分别据表2-3和表2-4求出某专家的判断系数A_i与熟悉程度系数A_s，则某专家权威程度系数为：

A_a求出后，把它作为权重，对各评价指标的评分值进行加权平均，即可得到加权后的权重分配。

设上面讨论的问题主要涉及普通高等医学教育临床教学基地方面的问题，某专家填表结果如表2-3和表2-4中“*”所示，则该专家：

A_i=0.30+0.40+0.05+0.05=0.80

A_s=0.70

A_a=（0.80+0.70）/2=0.75

并按此法分别求得其他9位专家的A_a为：0.85，0.95，0.80，0.85，0.95，0.85，0.85，0.80，0.80，那么加权后的权重分配为：

，经归一化处理后，权重分配为：

W₁∶W₂∶W₃∶W₄∶W₅∶W₆∶W₇=0.12∶0.15∶0.19∶0.15∶0.13∶0.14∶0.12

3）专家意见协调系数：设参与权重评估的专家数为n，待评估指标数为m，则反映n个专家对全部m个指标权重评估的协调程度（或一致程度）的指标称为协调系数，以ω表示。首先根据专家评分对各指标评分编秩（R_ij），并计算各指标秩和（T_i），然后再计算各指标的平均秩和（），根据各指标的离均差平方和求出一致性系数。现以上题为例，说明其计算方法（表2-5）。

①按专家对各指标评分排秩，遇相等评分时，取平均等级，并按指标计算秩和，然后再计算各指标的平均秩和：

式中T_i为第i个评价指标之秩和；R_ij为第j个专家对第i个指标的评分等级。

式中为各指标平均秩。

本例教学地位指标秩和为：，余类推。

各指标平均秩和为：

②计算协调系数：

式中

当有相同秩次时，要对ω进行校正

式t_k为相同秩次的个数。

协调系数在0～1之间取值，越接近1，表示所有专家对全部指标评分的协调程度较好，反之，则意味着专家们协调程度较差，说明专家之间对各评价指标相对重要性的认识存在较大的不一致性。当然，我们希望协调系数越大越好，这说明各评价指标的权重估计较为稳定可靠。本例，

（2）成对比较法：专家组根据评价目的，将每一评价指标分别与其他评价指标成对比较，其中较重要的记1分，较不重要的记0分；在建立成对比较矩阵的基础上，建立评价指标权重矩阵，以确定权重。

例2-2　拟选用5个指标对某医疗仪器进行质量综合评价，试确定各指标的权重。

首先将各指标进行一一对比打分，并列出成对比较矩阵，如表2-6所示。

表2-6的最左边纵向列出的指标称为列指标，表的最上边横向列出的指标为行指标。当专家组认为列指标优先于行指标时，相应格子中斜线的上半部记1，下半部记0，反则反之。显然，当列指标与行指标系同一指标时，相应格子的斜线上下不作任何标记。对于本例，经专家组比较后确认：B比A重要，A得0分，B得1分；A比E重要，A得1分，E得0分；……所有各种组合的成对比较结果见表2-6，并累积各评价指标总分，见表2-6最右边一栏。

为确定各评价指标的权重，必须建立如表2-7所示的权重矩阵。该表中，首先按得分高低排序；而后由专家组确定各评价指标间的相对重要程度，如D为E的1.2倍，A为D的1.5倍，C为A的1.5倍，B为C的1.2倍等，如表中第（3）栏所示；然后计算各指标的初始权重，令得分最低指标E的初始权为1.0，再结合第（3）栏数据求出各指标的初始权重。例如D的初始权重为1.0×1.20=1.20，A的初始权重为1.20×1.50=1.80，……，为计算方便，最后将各指标的初始权重进行归一化处理，便得到各指标的权重分配，如第（5）栏所示。

（3）Saaty权重法：系Saaty在层次分析法中提出的权重计算方法。其主要步骤如下。

1）将评价指标进行对比打分，评分标准见表2-8。

2）根据各指标对比打分值，建立判断矩阵。例如：拟据医疗工作、护理工作、膳食供应三个评价指标评价医院工作质量，试用Saaty法估计各指标的权重分配，见表2-9。矩阵中的各数值代表行指标与各列指标相比较时的相对重要程度，例如第一行第二列元素为3，表示医疗工作（行指标）之重要性略大于护理工作（列指标）；第二行第一列元素则为第一行第二列元素的倒数，表示护理工作（行指标）的重要性略次于医疗工作（列指标），依此类推。

3）求判断矩阵的最大特征，根据λ_max及其相应的特征向量W_max，W_max中的各分量即各指标的权重。

实际计算时，先用近似解法求各指标的权重：

式中表示第i个指标的权重；a_il，a_i2，…，a_im分别表示判断矩阵中第i行各元素；m表示评价指标个数。本例：

经归一化处理后：可得到权重向量为：W₁=0.637 0，W₂=0.258 3，W₃=0.104 7，即权重分配为：医疗工作：护理工作：膳食供应=0.637 0∶0.258 3∶0.104 7。

亦有学者提出计算各指标权重更简便的方法，见表2-10。

4）用一致性指标CI检验该项目的相对优先顺序有无逻辑混乱，一般认为，当时，可能无逻辑混乱，即计算得的各项权重可以接受。其中：

当判断矩阵阶数＞2时，用同阶平均随机一致性指标（random consistency index，RI）对CI进行修正，计算随机一致性率（consistent ratio，CR）：。

表2-11为3～9阶判断矩阵对应的RI的理论值。当随机一致性比率CR小于0.10时，通常认为判断矩阵具有满意的一致性，否则就需要调整判断矩阵，再次进行检验，直到通过一致性检验。

本例

λ₁=（1×0.637 0+3×0.258 3+5×0.104 7）/0.637 0=3.024

λ₂=（1/3×0.637 0+1×0.258 3+3×0.104 7）/0.258 3=3.016

λ₃=（1/5×0.637 0+1/3×0.258 3+1×0.104 7）/0.104 7=3.074

λ_max=（3.024+3.016+3.074）/3=3.038

CI=（3.038-3）/（3-1）=0.019＜0.10

CR=0.019/0.58=0.032 8＜0.10

认为各项权重判断无逻辑错误，可以接受。

（4）关于组合权重问题：当评价指标可分层时，即某项或某几项评价指标可再分为次级评价指标时，则次级评价指标的权重既应考虑其本身在所有次级评价指标中的权重分配，又要考虑其高层评价指标在所有评价指标中的权重分配，即所谓组合权重。本文介绍以下两种求法：

1）代数和法：仍以医疗仪器质量评估为例说明。设前述五个评价指标又可分为三个次级评价指标，即装置A、装置B和装置C，试计算次级指标的组合权重。

①用成对比较法确定评价指标及次级评价指标的权重分配，见表2-12。

②计算各次级指标的组合权重，见表2-12最下面一行（合计）。

例如：装置A的组合权重=0.18×0.4+0.32×0.6+0.28×0.3+0.12×0.20+0.1×0.1=0.382。

2）乘积法：Saaty在层次分析法中提出了计算各层评价指标组合权重的方法。例如，拟对某市6所综合医院进行质量评估，用Saaty法求得各层次评价指标权重及最后评价指标的组合权重，如图2-1所示。对“医疗工作”而言，最后一层评价指标的组合权重等于各层指标权重的连乘积。例如，有效率的权重=医疗工作权重×医疗质量权重×疗效权重=0.637 0×0.539 6×0.667 0=0.229 3。

（二）统计计算法

用某些统计方法进行资料分析时，可得到有关因素权重分配的信息，例如在多元回归分析及逐步回归分析中，各自变量的标准化偏回归系数值，即可视为各指标权重分配的依据；此外，如计数资料判别分析中的指数，计量资料判别分析中各因子的贡献率，主成分分析中得到的因子载荷和贡献率等，都可为确定指标权重提供必要的信息；某些特定的统计方法，例如去某死因后期望寿命的增量，PYLL计算中各年龄组尚可生存年数等，都可为各死因的相对重要性提供有关权重分配的信息；还可根据专业需要，自行设计权重计算的公式。例如拟选用DO、BOD、COD、酚、CN五项指标进行水污染程度综合评价，考虑到各单项指标在总体污染中的作用，对于不同用途的水，应有不同侧重，因而对各单项指标应给予一定的权重。某单位采用根据分指标超标情况进行加权的方法，其计算公式为：

式中：C_i为i种污染物在水中的浓度；S_i为i种污染物对于某种用途水的浓度标准值；W_i为该污染物，或该项评价指标在综合评价中的权重。

由于DO指标与其他指标相反，其值愈大说明水质愈好，故计算权重时取其倒数。为了评价的方便，最后将各指标的权重值进行归一化处理。