时间:2019-10-22 作者:李文彬 沈涵 华南理工大学公共管理学院
[大]
[中]
[小]
摘要:
目前,越来越多的第三方机构参与我国的财政政策、项目支出、整体支出等绩效评价,这对提升绩效评价的专业性和民主性产生了积极效果。但是,由于财政绩效评价在我国尚属新鲜事物,评价指标体系的合理性、评价方法的科学性、评价标准的客观性和第三方评价机构的专业性,都有待提高,导致了评价质量的参差不齐,削弱了评价结果的权威性与公信力。质量是评价的灵魂,加强我国第三方评价的质量体系建设与强化质量控制,尤为重要。
评价质量标准体系建设框架
财政绩效评价质量是指评价活动及其结果对政策制定者、执行者和利益相关者等用户需要的满足程度。若将绩效评价作为一种知识生产和管理咨询服务,其质量则体现为该服务满足评价技术标准和委托方需求的能力与程度。财政绩效评价的内容包含价值性评价和事实性评价两部分。价值性评价是指对财政政策设计、项目设立和资金分配与社会主流价值的相符性、政府行为的合理性和合法合规性进行评价;事实性评价是指财政行为对公共问题识别和界定的准确性判断、财政手段对社会经济问题的适用性分析、目标设置的科学性、合理性与可行性、目标实现程度以及财政政策、项目可持续性的评析。高质量的财政绩效评价应该满足价值分...
目前,越来越多的第三方机构参与我国的财政政策、项目支出、整体支出等绩效评价,这对提升绩效评价的专业性和民主性产生了积极效果。但是,由于财政绩效评价在我国尚属新鲜事物,评价指标体系的合理性、评价方法的科学性、评价标准的客观性和第三方评价机构的专业性,都有待提高,导致了评价质量的参差不齐,削弱了评价结果的权威性与公信力。质量是评价的灵魂,加强我国第三方评价的质量体系建设与强化质量控制,尤为重要。
评价质量标准体系建设框架
财政绩效评价质量是指评价活动及其结果对政策制定者、执行者和利益相关者等用户需要的满足程度。若将绩效评价作为一种知识生产和管理咨询服务,其质量则体现为该服务满足评价技术标准和委托方需求的能力与程度。财政绩效评价的内容包含价值性评价和事实性评价两部分。价值性评价是指对财政政策设计、项目设立和资金分配与社会主流价值的相符性、政府行为的合理性和合法合规性进行评价;事实性评价是指财政行为对公共问题识别和界定的准确性判断、财政手段对社会经济问题的适用性分析、目标设置的科学性、合理性与可行性、目标实现程度以及财政政策、项目可持续性的评析。高质量的财政绩效评价应该满足价值分析的逻辑性、事实描述的精细性和绩效提升策略的有效性的三大要求。为满足这三大要求,财政绩效评价应该遵循一致性、准确性和有效性的原则。一致性体现为第三方机构独立、客观、专业立场与其行为的一致,评价内容与绩效概念的一致。准确性是指评价指标与方法可以准确识别政策绩效及其问题。有效性是指评价活动可以产生改善管理流程、促进绩效学习和提升的信息。对此,联合国经济合作与发展组织(OECD)的发展援助委员会认为,一个高质量的评价应该为加强结果导向的问责或先进经验的学习提供可靠而有用的证据。
结合国内财政绩效评价的特点,针对质量控制的内涵、意义与主要特征,本文从制度体系、管理体系和技术体系三方面,依循一致性、准确性和有效性的三大原则,建设适应我国实情的第三方参与财政绩效评价的质量标准体系,对评价实行全过程质量管理,以提升评价的公信力。第三方参与财政绩效评价质量标准体系的具体框架见下表。
评价质量的制度标准体系建设
建立健全第三方机构参与财政绩效评价的各项制度是开展评价质量控制与提升评价质量的基础。第三方参与财政绩效评价的制度体系建设涵盖第三方机构的遴选、内控、评价过程和评价报告的撰写、审核与验收制度。首先,第三方机构的遴选制度。该制度建设要体现合规性和专业性标准。合规性是指财政部门按照政府采购法和本部门有关绩效评价制度与文件的相关规定,建立第三方遴选制度,规定入库第三方在机构业务、人员组成、专业技术、评价经验方面的准入条件以及遴选方式与流程。专业性是指第三方机构的业务范围应该涵盖政府管理咨询,拥有熟悉政府财政预算管理的专业人员,具有财务评价和政府绩效评价相关领域的资格证书,开展政府绩效评价业务时间超过一年等。
其次,第三方机构内部的评价质量管理制度。该制度建设要体现科学性和完整性的标准。科学性是指第三方评价的人员与专家的配备与分工以及内部工作流程的科学合理。这就要求第三方评价的工作团队应该包含评价的组织、协调、实施和监督评价的人员,队伍专业、齐全且内部分工合理,并配备相应的岗位说明书与建立以工作节点为对象的考核制度。第三方评价方案的撰写应该引入外部专家参与,委托方要对工作方案报告质量进行审查,有条件的还应召开专家评审会,对评价方案进行审核并提出修改完善意见。第三方应该吸收合理的修改意见,对评价方案进行修正。完整性是指第三方机构按照财政部门有关绩效评价制度与文件要求,针对评价工作团队搭建、人员分工与考核、专家聘请与考核、评价方案和工作计划制定、评价工作内部考核与激励等建立全面的内部质量控制制度。
第三,第三方评价实施过程的质量管理制度。该制度的建设要体现全面性、指导性和可靠性的标准。全面性是指第三方要按照财政部门、行业技术规范的要求,针对评价工作实施方案的撰写与修改、评价工作的布置与培训、现场调研与评价、数据收集与分析、公众参与、专家评价等环节,制定专业与适用的制度规范体系。指导性是指财政部门要按照有关规定,围绕评价实施方案的撰写流程、内容与格式的规范,培训内容与方式的要求,现场调研评价的专家配备、评价流程、抽样标准、数据资料收集与审核方式,数据资料分析的方法和类型要求,公众参与的范围与方式,专家评价的内容、流程、方式、专家意见撰写模板和廉洁要求,制定相应的制度文件。可靠性是指建立确保绩效数据真实可靠的制度。绩效评价质量的核心是数据质量,只有真实数据才有可能产生客观的评价结果,并对管理决策产生正确的影响。因此,必须要建立严格的数据质量审查机制,确保评价结果的可靠性与真实性。
第四,评价报告的撰写、审核与验收制度。该制度的建立要体现合规性、准确性和操作性的标准。财政部门要建立规范的评价报告的撰写指引,规定评价报告撰写的内容、格式和时限,明确绩效信息和绩效建议的准确性与操作性要求;建立专家审核与验收制度,引入外部专家审核评价报告并出具修改意见,规范专家验收的流程。
评价质量的管理标准体系建设
建立健全第三方机构参与财政绩效评价的管理体系,是提升评价质量的重要载体。第三方评价涉及到合约管理、任务管理、现场管理、技术管理和资料管理,需要建立相应的管理机构或小组来进行管理,确保第三方评价的合规性、专业性、独立性、客观性和有效性。
首先,合约管理。合约管理是指对第三方机构的资质和遴选进行裁定与监督,其目的是确保第三方机构达到资格合适性和遴选合规性的标准。财政部门应该建立第三方遴选的工作小组,确保遴选过程的合规性,遴选产生的第三方符合独立、专业和匹配的要求。
其次,任务管理。任务管理是对第三方评价任务的时间进度与数量质量进行督促和核实,其目的是确保各项评价任务完成达到时效性、充分性和有效性的标准。时效性是指第三方按照约定的时间节点来开展各项评价工作任务,评价工作顺利进行。充分性是指第三方全部完成所承诺的评价任务,评价合约得到切实履行。有效性是指各项评价任务达到预定目的,能有效识别绩效与存在问题,并对绩效改善与组织学习提供有效的操作性建议。
第三,现场管理。现场管理是指财政部门或其委托的机构对第三方现场评价的内容、方法与流程进行指导与监督,其目的是确保现场评价达到合规性、真实性、参与性和客观性的标准。
第四,技术管理。技术管理是指对第三方建立评价指标体系和选择评价方法的过程进行指导和监督,以确保评价的专业性、参与性和有效性。
第五,资料管理。资料管理是指对评价过程所运用的基础数据资料进行分类整理、归档保管,以确保资料数据的可复查性和可利用性。
评价质量的技术标准体系建设
建立健全第三方机构参与财政绩效评价的技术体系,是提升评价质量的关键。第三方评价涉及的技术体系包括指标设计、评价标准、资料数据收集与复核、评价方法、数据与绩效分析的技术。建设第三方评价的技术标准体系,有助于提升技术手段的科学性、适用性和有效性。
首先,指标设计技术。指标的效力体现在辨别、区分评价对象在不同属性的数量和质量上的特征。指标应该符合相关性、重要性、数据可得性和可量化等标准。在对财政绩效评价指标难以全部量化的约束条件下,为确保指标的测量效力,应尽可能保证指标符合量化、细化或流程化的要求。细化,是指将难以量化的指标细分为不同的类型、层次、程序、环节等,以实现指标的可测量性。流程化,是指将难以量化的指标按照工序的要求,设定步骤并发挥指标的鉴别力。
其次,评价标准设计技术。评价标准是指标发挥识别绩效优劣作用的衡量工具,包括历史标准、行业标准、地区标准和标杆标准等标准。评价标准的设计应该同时符合可比性和先进性的要求。可比性是指评价标准使得不同指标数据具有进行合理比较的基础。先进性是指评价标准具有树立标杆、引领绩效提升的作用。绩效是“进步”与“改善”的代名词。通过在评价标准中设立最佳、最优、最高等具有标杆意义的指标值,可以有效识别绩效“差距”和发挥评价标准对绩效提升的“牵引”作用,推动绩效学习与改善。
第三,资料数据收集与复核技术。资料数据收集与复核应该满足原始性、自然性和可印证性的标准。原始性是指收集到的多数资料数据应该属于未经人为处理的原始和一手资料数据,原始资料数据是准确、客观反映绩效状况的重要依据。在当前大数据和人工智能技术突飞猛进的背景下,第三方可以使用大数据、网页文本挖掘与分析、图像分析和机器学习等先进技术,收集更多的原始数据资料。自然性是指应该收集自然形成并未经粉饰、诱导或调整的数据。可印证性是收集的资料数据具有佐证材料,并与通过其他渠道收集的相关数据形成交叉印证。
第四,评价方法。评价方法的选择和运用应该满足科学性、综合性和有效性的标准。科学性是指所用的评价方法经过重复验证并具有技术成熟性,适用于政策评价领域。综合性是指综合运用定性和定量的评价方法,对政策绩效进行宏观分析和微观剖析,深入挖掘影响政策绩效诸因素的逻辑联系。有效性是指评价方法可以产生高质量的绩效信息,有效实现绩效评价的预期目标。
第五,数据与绩效分析技术。数据与绩效分析的形式要满足合规性和可视化的标准,内容要满足逻辑性、深刻性和可操作性的标准。从形式上说,数据与绩效分析要符合专业规范和委托方的要求,并尽可能以图表的方式呈现。从内容上说,数据与绩效分析的逻辑框架与文字描述清晰、指标数据分析深入、责任界定与改进方向明确、建议可操作性强,实现绩效问题与责任的精准识别、原因分析的精细梳理与对策建议的精确瞄准,确保评价结果能够切实地改进管理。
责任编辑 雷艳
相关推荐
主办单位:中国财政杂志社
地址:中国北京海淀区万寿路西街甲11号院3号楼 邮编:100036 电话:010-88227114
京ICP备19047955号京公网安备 11010802030967号网络出版服务许可证:(署)网出证(京)字第317号