02 Jun,2021

浏览次数:485

基于第三方绩效评价报告的项目评分系统构建
发布者:中诚政融发布日期:2021-06-02 16:23:31

2018 年 7 月,财政部对引入第三方机构开展绩效评价提出指导意见,进一步肯定了第三方机构在绩效评价中的重要地位

来源:《会计研究》

作者单位:杭州萧然会计师事务所

作者:章斐

前言

随着全面实施绩效管理的推进,越来越多的第三方专业机构参与到财政支出绩效评价工作中来。2018 年 7 月,财政部对引入第三方机构开展绩效评价提出指导意见,进一步肯定了第三方机构在绩效评价中的重要地位。


近年来,我国公共财政收支基数和范围逐年增加,笔者统计了 2017—2019年的 1~6 月份同期数据,全国一般公共预算收入和相应支出均呈增长趋势,但2020 年 1~6 月的数据首次呈现下降。财政部网站披露数据显示,2020 年 1~6 月全国一般公共预算收入 96176 亿元,比去年同期下降 10.82%;同期全国一般公共预算支出 123538 亿元,较去年同期下降5.77%,其中:中央支出同比下降 3.23%,地方支出同比下降 6.17%。公共预算收支均呈下降趋势,且地方支出的降幅高于中央支出;但公共预算支出依然大于公共预算收入,若不考虑其他收入路径,则将入不敷出。可见,财政支出绩效管理任重而道远。


财政支出绩效评价的定义

财政支出绩效评价形式多样,定义未严格统一。大体来讲,指评价机构通过搜集资料、访谈、走访现场等形式充分了解评价项目内容的手段来针对性地设置评价指标和评判标准,再综合运用各种评价方法对财政资金使用和实施后绩效进行现场和非现场评价,并对照已设置的评价体系进行全过程综合评分。通常而言,评价机构可以是财政评价组、部门(单位)评价组和第三方中介机构等;从类型上看,有项目支出绩效评价、部门整体绩效评价等。文中提到的绩效评价报告,指注册会计师为主体的第三方专业机构对财政支出进行绩效评价并形成的相应报告。


第三方机构开展绩效评价的原因分析和实践经验

(一)内外因分析 

1.内因:第三方机构特有的独立性和相对专业性项目绩效等级和绩效得分存在较大的弹性尺度,而项目绩效往往和项目负责人、分管领导的年度考核相挂钩,体制内部的人员进行评议很难做到公允;而第三方评价机构可保持应有的职业审慎,具有相对较强的独立性。此外,会计师事务所为主的第三方机构拥有各类专业人士,可以胜任评价方法系统性高、专业性强且评价对象多样化的绩效评价。 


2. 外因:行业全方位拓展新路径和社会需求度中 注 协 网 站 公 开 数 据 显 示, 截 至2018 年 12 月 31 日,注册会计师行业拥有会计师事务所 9005 家,执业注册会计师 106798 人,全行业从业人员基数庞大,而上述行业的传统业务呈减少趋势,国办56 号文件和行业协会的新业务拓展战略给出了开展非审计业务的新路径,而财政支出绩效评价正是新路径之一。同时,“全面实施绩效管理”的提出,绩效评价覆盖面扩大,社会需要更多专业力量参与评价,尤其是社会关注度高和民生类项目,社会大众更愿意信赖独立性和专业性较强的第三方机构。 


(二)实践和制度保障 

近十余年中,全国各地先后有多家第三方中介机构参与了财政支出绩效评价的尝试和探索。笔者所在的浙江省早在 2005 年 12 月就制定了第三方中介机构参与评价的暂行办法,于 2006 年建立“浙江省参与绩效评价中介机构库”,截至 2012 年 4 月已有 346 家专业机构入库,2013 年取消了第三方机构入库才能从事评价的准入限制,高校等其他社会力量可通过招投标入围方式参与绩效评价。财政部于 2011 年制订《财政支出绩效评价管理暂行办法》并提出可委托专家、中介机构等第三方实施绩效评价,于2018 年 7 月对引入第三方机构开展绩效评价提出指导意见,于 2020 年 2 月修订《项目支出绩效评价管理办法》并对部门委托第三方开展绩效评价提出相关要求。由此,全国范围内第三方参与绩效评价工作的路径向更广、更深层次推进


构建财政支出绩效评价报告评分系统的设想

第三方专业机构出具的绩效评价报告整体篇幅大,大致有 30~100 页,若不考虑附表,仅报告正文部分也有 15~40 页左右,报告使用者往往无从下手。尽管评价报告中有绩效等级和得分,但绩效等级基本为“良好”,绩效得分因评价指标体系的赋值无统一标准,得分可操作空间较大,难以实现有效横向比较。同时,第三方机构保持应有的职业审慎,试图将发现的问题尽数进行披露,但又需顾及报告意见征求阶段的顺利通过,导致报告中“存在问题”篇幅和结构异常复杂。往往是大问题中套小问题,多个小问题再归纳总结,力求问题数量保持“三大条”。 


上述现象导致原有绩效等级和得分难。以为报告使用者提供横向比较,大问题套小问题的“大三条”使得经验丰富的注册会计师和相关评价工作的实施者难以在短时间内作出判断和风险评估。显然,报告中披露的存在问题内容本身比项目绩效等级和得分更值得信赖。本人设想对已有财政支出项目绩效评价报告进行实证研究,对报告中反映的存在问题进行汇总和归纳,并以问题类型为导向设置定性和定量指标,构建出一个简单易操作、合理较科学的评分系统,试图解决上述相关人士的困惑,为报告使用者和评价实施者提供有用信息。


构建基于财政支出绩效评价报告的评分系统

(一)构建评分系统 

通过对 2008—2020 年期间主持并撰写的 79 个绩效评价报告所涉存在问题进行梳理,运用德尔菲法,对梳理出的实施绩效、预算管理等 14 项问题类型进行赋值(以下称该 14 项为“经验问题”),并通过具体项目和专家经验对相关因素进行反复修正,形成相应评分系统。大致框架如下:评分系统由基本指标、修正指标和附加指标组成,满分 100 分,项目总得分=100-∑ 基本指标 -∑ 修正指标 -∑ 附加指标。除附加指标存在增减值,其余指标均为扣分值。 


1.基本指标(定性指标)基本指标用于对绩效评价项目的经验问题进行定性打分,计算公式为:∑ 基本指标 =∑(标准值 × 重要性系数)。对经验问题群中各项根据问题严重程度设置相应的重要性系数,单一基本指标 = 标准值 × 重要性系数,单项经验问题标准值为 1 分,即每发现一项经验问题扣除一个基本指标值。 


该指标计算关键为重要性系数的确定。笔者向参与或研究财政支出绩效评价的专家团队 65 人征求意见,上述专家分别对已梳理的 14 项经验问题进行重要性排序。第 14 位取基础值 1,排位每上升1 位,阶梯值增加 0.1,则第 13 位的分值为 1+0.1=1.1。以此类推,第 1 位的分值为 1+0.1×13=2.3。上述 14 项分值合计为23.1。根据上述赋值规则,分别对每位专家的经验问题排序形成重要性链条评分表(见表 1)。 

每位专家的问题类型排序生成 1 条重要性链条,65 名专家的意见就有 65 条重要性链条,由此形成重要性链条组;再对重要性链条组中涉及的某单项经验问题分值取平均值,完成经验问题的重要性链条取值。以序号 1“实施绩效”举例,该经验问题的取值为重要性链条组中该单项经验问题分值累加取平均值,经计算,该项取值为 2.04。以此类推,其余经验问题赋值详见表 2“取值”行次(见表 2)

与专家讨论决定,单项经验问题的基准值为 1,经验问题群的基准值合计为 14,对单项经验问题取值进行折算得 出 重 要 性 系 数(即 表 2 中 简 称“系数”)。如序号 1“实施绩效”,取值为2.04,重要性系数 =2.04÷23.1×14=1.24;再如序号 14“财务管理”的重要性系数=1.44÷23.1×14=0.88。同理,可得到经验问题群 1~14 项数据。最后进行尾数验算,经计算,“系数”栏行次 1~14 项合计为 13.99,与 14 项既定基准值 14 相差0.01,故进行尾数修正,即序号第 14 项系数调增 0.01,调整后 1~14 项系数相加为 14。 


2. 修正指标(定量指标) 

修正指标分两部分内容,对基本指标 中 未 涉 及 的“满 意 度 ” 和“经 验 问题”的严重程度进行定量打分。计算公式 为:∑ 修正指标 =∑(基 准 值 - 定 量分)+∑ 扣分值。其中,∑(基准值 - 定量分)是针对各类满意率,如工人路北伸项目,总体满意度项,收回 326 份问卷,满 意 72 份, 比 较 满 意 149 份, 基 本 满意 88 份,根据“满意 10 分,比较满意 8分,基本满意 6 分”的标准计算,得分 =(72×10+149×8+88×6)/326=7.48 分,则此项修正指标 = 基准值 - 定量分 =10-7.48= 2.52 分。如果项目涉及多个满意度,则按各单项修正指标值累加。∑ 扣分值是针对同类经验问题多次出现的情形,对“经验问题”严重程度进行定量打分,即同类经验问题在基本指标中已计算一次,“经验问题”严重程度量化部分通过修正指标扣分。距离来看,如某年度农村桥梁改造项目计划对 27 座桥梁进行改造,如全部完成计划则不扣分,实际有 2 座桥梁改造未实施,计划完成率为 25/27=92.59%,按照完成率每下降 5% 扣 0.1 分计算,则对序号 8“目标完成”经验问题进行修正,该项扣分值 =0.1×2=0.2 分。该类指标可以将不同项目单位存在问题类型的严重程度进行区分,可以实现不同项目单位的横向比较。此处的定量修正需注意剔除与基本指标值重复的因素。 


3. 附加指标(定性与定量指标结合) 

附加指标,指加减分项。主要评价机制创新、违规违纪以及未在“经验问题”中体现的问题类型(以下简称“非经验问题”)等。机制创新视具体情况加 1~3分,以鼓励机制创新;违规违纪,即所谓的一票否决,可视具体情况扣 5~20 分,理论上说,如果存在违规违纪,总体分值不会很高。非经验问题为减分项,每出现一项非经验问题,视具体情况扣 0.5~2分。需要注意的是,本评分系统是倒扣分制,故此处的加分项为负值,减分项为正值。


 “非经验问题”扣分区间(0.5~2)的确定思路:将“经验问题”与“非经验问题”的严重程度进行比较,设“经验问题”的基准值为1。如果“非经验问题”严重程度较低,按 0.5 取值;如果“非经验问题”是我们在进行实证研究时未遇到或者未曾考虑到的经典问题,严重程度等同于“经验问题”,按 1 取值;如果该项“非经验问题”系同一类型并多次出现,考虑到附加指标中未设置类似修正指标中的数量因素,按基准值 1+ 调整值封顶 1进行赋分,则此种情况按 2 取值。 


(二)其他说明修正指标受报告披露和辅助数据获得的详细程度影响,如果能获取的数据越详细,则修正越有效,评分精度越高,反之,则评分系统越粗糙。重要性系数的主观性不可避免,本文仅提供一种思路,随着专家的层次提高和评价报告基础数据范围增大,可以降低主观程度带来的影响


财政支出绩效评价报告评分系统的局限性和适用范围

绩效评价本身和第三方机构开展绩效评价存在固有局限,评分系统也因指标量化、赋值主观性而存在不足,但随着第三方机构受重视程度和规范化、评价收费有效市场化等,其开展评价工作的相关限制状况会有较大改观;一些有意识、隐蔽性较强的不合规事项、舞弊行为随着绩效评价理论方法的深入研究和评价实践的持续开展而更容易被察觉;评分系统中重要性系数和基准值赋值的主观程度可通过德尔菲法来降低。 


尽管本评分系统构建是基于项目支出绩效评价报告的数据为基础,但这个思路同样适用于部门支出绩效管理。目前部门绩效评价的实践并不多,基础数据比较缺乏,随着全面实施绩效评价深入推进,以问题为导向的评分系统对部门绩效报告照样适用。此外,部分评价报告的指标体系是根据经济性(相关性)、效率性、效益性(有效性)、可持续性等评价维度构建,由于报告中同样包含存在问题段,故指标体系的区别不影响基于报告内容的评分系统运用,采用 3E 或 4E 指标体系的评价项目不影响本报告评分系统的运用。 


结语

以第三方财政支出绩效评价报告中问题类型为导向构建的评分系统比项目的绩效等级和得分更值得信赖。我们有理由相信,基于经验问题群框架搭建的评分系统通过后续的完善和细化,可以为今后的绩效管理和评价实施提供服务。期望通过上述研究,为今后的财政支出绩效评价工作提供思路和借鉴。


参考文献

 [1] 财政部 . 关于加快发展我国注册会计师行业的若干意见 [Z].2009. 

[2] 中国注册会计师协会 . 中国注册会计师行业新业务拓展战略实施意见 [Z].2011. 

[3] 国务院 . 全面实施预算绩效管理的意见[Z].2018.[4] 财政部 . 关于推进政府购买服务第三方绩效评价工作的指导意见 [Z].2018


*本文系转载,版权归原作者所有。如著作权人发现本公众号转载了其拥有著作权的作品时,请及时留言联系。