由于电网规模不断扩大，电网元件N-1和N-2组合数量十分庞大。为提高计算效率，需要在全故障扫描时采用加速技术。
1.1静态扫描加速技术
1）对于双回线或多回线、并列运行的变压器等，在扫描时无论是单重故障还是多重故障，均只枚举一次；
2）使用拓扑分析功能，快捷地找出同塔双回线路，以及同一发电机组的出口变压器；
3）优化元件切除方案，生成校核元件列表，只生成一次节点导纳阵，优化了静态扫描计算流程；
4）使用改进PQ分解法，并用合并小支路的形式提高潮流计算收敛性和计算速度。
1.2动态扫描加速技术
按故障的严重程度对故障的计算顺序进行排序，优先计算较严重的故障。若计算结果显示稳定，则自动认为该元件发生较轻的故障也能保持稳定，而不再对较轻故障进行校核，从而减少动态扫描计算量。动态故障优先级见表2所示。优先级1表示故障后果最严重，优先级9表示故障后果最轻微。动态扫描时从优先级为1的故障开始。
2应用测试
本系统已在江西电力调度控制中心投入运行。使用本系统对江西电网2014年夏大方式进行分析，对220kV及以上电网进行静态和动态全故障扫描。故障元件范围是江西省内220kV及以上电网元件，分区选择江西省内全部13个分区，电压等级选择220kV、500kV。越限元件范围与故障范围相同。
2.1静态全故障扫描
静态故障类型选择N-1和同杆并架故障扫描。结果显示，静态扫描故障总数760个，导致越限的故障11个，其中导致母线电压越下限的故障1个，导致线路过载的故障1个，导致变压器过载的故障9个。静态扫描结果详细列出了11个导致越限的故障信息，包括切除元件列表和越限元件及越限量。用户可以在地理图中选择相应的故障作业号查看潮流结果。
2.2动态全故障扫描
动态故障类型选择线路三相短路、单相接地重合闸成功、同杆双回或多回异名相故障。根据计算设置，本次扫描自动生成3202次故障，结果表中列出2168次故障暂稳计算结果，有1034次故障根据动态扫描加速技术省略计算。在有暂稳计算结果的故障中，导致功角失稳的有85个，导致电压失稳的有420个。
2.3计算结果分析
该系统计算过程迅速，结果准确。该次应用在台式计算机上完成，CPU是intel酷睿2.93GHz，内存2G。在进行江西220kV及以上电网静态全故障扫描时，仅需5~7min即可完成。完成江西220kV及以上电网线路三相故障动态扫描需要约22h。通过抽样对比可以验证该系统的计算结果与PSASP是一致的。
3结论
0世纪30年代,量子力学、量子化学及高分子化学链理论的确立,为自然科学和工程技术的发展奠定了新的基础。40年代在各种应用研究领域已呈现出有深远意义的重大进展。例如半导体器件的发明,高分子材料的诞生和电子计算机的研制成功等。此后,电子技术的迅猛发展,不仅带动了其它工程技术,而且还以其为先导相继涌入了医学领域,从而出现了一门融理、工、医的新型的边缘学科——生物医学工程学,并推动了诸多医用高新技术的发展。例如0世纪50年代研制出了许多人工脏器(人工肺、人工心脏瓣膜、人工血管)。1957年开展了人工心脏的研究。1959年植入式心脏起搏器应用于临床。光导纤维的出现使纤维内窥镜得以发展。在医学影像领域出现了用于动态观察的照相机,红外成像也开始用于临床。1958年自动生化分析仪研制成功。
1960年世界上第一台激光器问世,不久激光也进入了生物医学领域并被广泛应用[1]。然而,由于技术的迅速发展及其在医学领域取得的巨大成功,在令人倍感振奋之时,也使人们陷入了对技术盲目追求的误区。在这种思想的影响下,一些新的医学技术迅速而不加任何限制地广为传播[,3]。而另一些人又对医学技术持有怀疑看法。早在1816年听诊器刚刚发明不久,一些使用它的医务人员即对其产生了怀疑和不信任。187年一位评论家写道:“听诊器的应用程度远远超过了我们对这项技术本身的了解。”1850年甚至有怀疑者将“新的诊断辅助器械描述成危险仪器”[4]。虽然绝大多数人都肯定医学技术给人类健康带来的好处,然而还存在相当多的不确定因素,包括技术本身的特性,以及该技术是否应该使用,使用的程度,使用的成本效益等[5]。
在技术的广泛应用中,人们还发现由它带来的众多未预料到的消极影响和不良后果,尤其是新的或不成熟的技术的应用,更是如此。这些不良后果涉及医疗、经济、社会、伦理、法律及政治等等相关领域,例如对生命安全和健康的威胁、人口性别比例的失调、生态的失衡、环境的污染、医疗费用的过度上涨、医患关系的淡漠等等。在此历史背景下,人们开始意识到有必要对医学技术进行科学地控制和管理,而其基础即是要对医学技术及其产生的各种影响进行全面性的评估。医学技术评估也就随之应运而生了。
技术评估(TechnologyAssessment)兴起于0世纪60年代中期,是从对技术的重要作用和未知后果的评价开始的。技术评估这个术语是在1965年由美国的EmilioDaddario议员正式提出的。最初技术评估多集中在工、农业等技术领域,评估的题目有海底石油钻探、农药、汽车污染、核电站、超音速飞机等。197年,美国国会颁布了技术评估法案,并据此建立了技术评估办公室(OTA)[]。在正式的医学技术评估出现之前,即曾对医学技术的安全性、有效性、成本和其它的影响开展过评估性研究。在早期的技术评估中也曾涉及到医学技术,如对人工心脏及多阶段健康筛查的评估等。于是,在美国国家科学基金会(NSF)的要求下,美国国家研究委员会(NRC)将技术评估的概念进一步扩展到生物医学技术领域,实施了体外受精等技术的评估。
1974年,OTA提交了一份有关药物生物平衡的报告,1976年OTA卫生计划提交了第一份正式的卫生评估报告,这标志着医学技术评估的诞生[7]。目前,技术创新和医疗费用问题,从正反两方面推动了医学技术评估的发展。首先,在最近的30年中技术创新层出不穷,生物技术、生物材料、手术技能和计算机技术的突破带动了医学领域的进步。据报道,每年就有50种新药推出,新的器械、新的医疗方法和新的卫生保健的提供方式每时每刻都在增加[8]。面对这些众多的已经广泛使用的技术和新兴的技术,医生们、卫生系统的管理者们不知如何选择,才能最大地满足各方面的需求,而医学技术评估恰恰是为这些选择提供了科学的依据。
其次,医学技术的迅猛发展,部分地造成了卫生保健费用的过度增长。在西方发达国家,其卫生保健费用的增长速度超过了国民生产总值(GNP)的增长速度,国家卫生总费用已超出了社会经济所能承受的负担。如美、法等发达国家,50、60年代国家卫生总费用占GNP的3%-5%,90年代初增长到10%-14%[6]。据有关报道,美国每年卫生保健费用增长的1/是用于技术的引入和使用[9]。各国政府都在努力控制卫生保健费用的增长,但是与此同时人们对卫生保健的需求却越来越高,通过对医疗技术进行评估选择适宜的技术,可较好地解决这种矛盾[5]。正因为如此,医学技术评估得到了普遍的认可并迅速传播。世界各地相继建立了国际性的医学技术评估机构。
诸如,1985年国际卫生保健技术评估协会(theInternationalSocietyofTechnologyAs-sessmentinHealthCare,ISTAHC)正式成立,截止1998年,已有来自40多个国家的100个成员单位[3]。1993年又建立了国际卫生技术评估机构网络(theInter-nationalNetworkofAgenciesforHealthTechnologyAssessment,INAHTA),目前有35个成员机构[11],而且还相继建立了其它的国际组织,包括卫生技术评估加拿大协调办公室(theCanadianCoordi-natingOfficeforHealthTechnologyAs-sessment,CCOHTA),该组织包含10个国家的技术评估办事处,还有为加强欧洲各国医学技术评估的交流与合作,建立的欧洲评估计划(EUR-AssessProject)[1]。在我国医学技术评估起步较晚。80年代引入技术评估的概念,90年代医学技术评估才日益受到人们的关注。
199年4月和9月,卫生部先后在上海、杭州召开了“全国医药科技成果推广研讨会”和“医学技术评估高级研讨会”[6]。1994年1月,在上海医科大学(现复旦大学医学院)成立了全国第一家医学技术评估中心,并同时出版了首期《医学技术评估》内部专刊。目前我国共有4家相关的医学技术评估机构,即医学技术评估中心(复旦大学医学院),生物工程技术评估中心(浙江大学),医学伦理学研究中心(北京医科大学)和中国循证医学中心(华西医科大学)[10]。
2医学技术评估的定义
医学技术(国外又称卫生技术,HealthTechnology),是指应用于卫生保健领域和医疗服务系统的特定知识体系,包括用于疾病的预防、筛查、诊断、治疗和康复的药物、器械设备、医疗方案、手术方法、后勤支持系统和行政管理组织[10]。这里的医学技术是广义的,它不仅涉及到所有卫生专职人员应用的全部方法,还包括那些使卫生保健服务提供更加有效的后勤支持系统和行政管理组织。技术的用途也不限于诊断和治疗领域,在疾病的预防、筛查和康复中使用的技术也在其内。
医学技术评估有多种定义,随着这个学科的不断发展,其定义也在逐步完善。1981年,美国国家医学技术中心将医学技术评估定义为“对医学技术的安全性、有效性、成本、成本-效益、伦理和法律方面的影响进行细致的评估,评估既包括对技术本身的评估也包含与其它竞争性技术的比较”[13]。1994年,英国国家卫生署(NationalHealthService,NHS)的卫生处进一步扩展了医学技术的内涵,定义为“医学技术评估是用来描述对各种卫生专职人员所应用的全部方法,包括促进健康的,预防、治疗疾病的,以及促进康复的和长期保健所涉及的方法的成本、效益和其它广泛影响的评估”。同年,美国国会的技术评估办公室又提出另外一种定义,主要强调了技术评估的目的,即“医学技术评估是对一种医学技术、一组相关技术或与技术相关问题的结构化分析,为政策制定提供所需的决策依据”。目前,国际上最通用的定义为:医学技术评估是一个涉及多种学科的决策分析领域,它评估医学技术在开发、传播和应用过程中所产生的医疗、社会、伦理和经济影响[11]。医学技术评估定义的不断完善,恰恰反映了这一新兴学科尚在发展中。
3医学技术评估的目的从上述定义可以看出HTA是一个决策分析领域,它通过多种途径辅助决策。
3.1为协调机构就药物、治疗方案或手术方法及其它技术能否进入市场,提供决策提据。例如为FDA提供药品和设备批准进入市场的证据。
3.帮助医学技术的提供者和支付者,决定纳入卫生福利政策的医学技术,并确定合理的费用报销制度。
3.3协助临床医务工作者、医学技术提供者和消费者,做出卫生保健设施合理选择的决策。
3.4为医院、卫生保健网络和机构的管理人员,获得和管理医学技术提供帮助。
3.5协助政府卫生部门的官员,制订公共卫生计划。
3.6支持卫生保健产品生产者,进行产品的开发和市场营销。
3.7制定医学技术生产、使用、维护和再利用等方面的标准。
3.8为政府官员制定医学技术创新、研究、开发、调控、支付和推广等方面的政策提供依据[7,10]。总之,医学技术评估可为不同层次的决策者提供所需的信息,例如为单位、地区、国家甚至国际间提供决策依据。通过为各种决策提供信息,达到的最终目的是影响医学技术的研究、开发、推广和应用,协助医学技术的选择,提高卫生保健系统的效率,使有限的卫生资源得到合理的配置,达到在最佳成本效益比的情况下提高卫生保健质量的目的。目前,循证医学发展十分迅猛,实际上循证医学也可视为是医学技术评估在临床领域的应用。
4医学技术评估的内容及类型
4.1医学技术评估的内容
技术特性;临床安全性;有效性(效能、效果和生存质量);经济学特性(成本-效果、成本-效益、成本-效用和宏观经济学效应);社会适应性(社会、法律、伦理、政治方面的影响)[7,10]。
4.医学技术评估的类型
4..1按照评估的内容范围可分为:全面评估和部分评估。前者是指一项技术按以上各方面均进行评估;后者是指对技术的一个或几个方面进行评估。最常做的医学技术评估是部分评估。医学技术评估现状的调查发现,全世界的HTA组织均进行技术的安全性、效能、效果和成本的评估,最多的是对技术效果、效能,其次是成本、安全性的评估。
4..按所评估技术的物理特性可分为:对药品,对医疗器械和设备,对医疗方案和手术方法,对支持系统,以及对行政管理机构的评估。调查发现在美国89%HTA组织评估器械和设备,85%评估医疗方案,74%评估药物。
4..3根据所评估技术的用途可将评估分为:治疗性技术的评估、诊断性技术的评估、预防性技术的评估、康复性技术的评估和公共卫生技术的评估。调查显示,全球89%HTA组织进行治疗性技术的评估,84%评估诊断性技术,63%评估预防性技术,53%评估康复性技术,7%评估公共卫生技术[9,10]。
4..4按照所评估技术的不同阶段来分类:新型技术的评估,已普遍接受的或标准医疗技术的评估,陈旧技术的评估。全世界93%的HTA组织评估新型技术,83%的组织评价已普遍接受的或标准医疗技术,仅有44%评估陈旧技术[9,10]。
4.3衡量健康结局的指标
要对一种技术的安全性、效能、效果等进行评估,首先要对这项技术所产生的患者健康结局进行研究,通过综合患者健康结局的改变来得出对技术的安全性、效能和效果等方面的评价。健康结局的衡量指标存在一个发展的过程。首先应用的是患病率和死亡率,是传统的结局衡量指标。之后,应用健康相关的生存质量指标(Health-RelatedQualityofLifeMea-sures,HRQL),其特点是反映了技术对患者及其他相关人群的多方面影响,常用于慢性病治疗性技术的评估。最后出现了生存质量调节年(Quality-AdjustedLifeYears,QALY),它是一种结合了所获得(失去)的生存时间和生存质量的健康结局单位,其特点是可直接进行技术之间的成本-效益比较。以上是评价除诊断性技术以外的技术的健康结局衡量指标。诊断技术的评价更加复杂,原因是诊断性技术与患者的健康结局之间是间接关系,无法直接应用现有的健康结局指标来衡量诊断性技术的效果,其衡量指标包括技术能力、诊断准确性、对最终诊断的影响、对治疗的影响、成本-效益等[7]。健康结局的衡量指标还在不断发展,这也代表了技术评估的发展。衡量指标越全面,越能更好地对多种竞争性技术进行比较,从而挑选出最为适宜的技术。
5医学技术评估的步骤
医学技术评估的基本步骤包括:
5.1确定评估的题目
5.1.1确定备选题目备选题目的确定在较大程度上是由机构的任务或目的决定的。不过也有机构通过对机构成员进行调查来获取题目,还有的公司或组织通过对各种技术信息资源(新药和新设备数据库、医学/技术期刊以及其它出版物)的广泛查找确定备选题目。
5.1.设定评估优先级这一步是对评估的备选题目进行挑选的过程,以定出最终评估题目。在设定优先级时需要遵循一定的原则,要对技术及其针对的健康问题、项目本身的一些限制因素进行全面的考虑。最常用的是定性的方法,目前也有应用定量的方法来确定优先级的。
5.2明确评估问题
明确要评估的问题是技术评估过程中十分重要的一步,它对以后的一系列步骤都有影响。开展一项评估要清楚地理解评估的目的和评估服务的对象,这需要评估小组不断地论证、讨论和澄清。明确评估问题要对所评估的健康问题、技术、评估所涉及的患者人群、医务工作者和卫生保健环境和评估内容进行说明。
5.3确定评估的机构
这一步主要是决定评估项目实施的机构。有3种情况:第1种完全由发起评估的机构本身来实施,这主要见于大型医院、主要的保险公司等。第种情况是完全依赖专业医学技术评估机构,可免费或交纳一定费用获得评估结果。第3种情况是本身实施一部分,从其它专业机构购买另外一部分的评估结果。在决策时,要考虑所评估的问题、可支配的资金、可获得的专家资源、时间的限制以及其它因素,权衡本身实施和购买的比例。
5.4搜集可获得的证据
证据的收集是进行医学技术评估的重大挑战之一。证据包括涉及特殊评估问题的数据、文献和其它信息。文献的检索和相关信息的搜集,是一项成功的医学技术评估所不可或缺的。对HTA有价值的信息资源种类繁多,包括期刊数据库、临床和管理数据的数据库、印刷版的索引和目录、政府报告和专题研究、专业目录/登记报告、公司报告和信息、研究/综述/Meta分析的参考文献、有关的国际互联网网站以及同事和其他专家。要做到对一项技术的客观评价就必须获得广泛全面的资料,而许多有价值的信息不能从经典的信息资源中获得,我们称其为灰色文献。有关文章介绍,灰色文献可以通过查找行业和政府专题研究、专业机构报告和指南、市场研究报告、政策研究机构研究报告、专业委员会的即时出版物、会议记录等等来获取。在利用灰色文献时,一定要仔细地阅读、筛选,注意其权威性和准确性。资料证据收集的越全面,就越能避免出现片面性,这样评估的结果才能越客观、越全面、越有价值。
5.5新的原始数据的获取
通常情况下,收集的现存的各种信息可能对于评价一项技术还不够充分,需要一些新的数据来补充不足的证据,这时就需要进行新的原始数据的收集。但是目前大多数的HTA并不涉及原始数据的收集。新的原始数据可通过临床试验、流行病研究等方法获取。通过在评估中将新的原始数据和搜集的现有的证据结合,来更全面、有效地评价医学技术。
5.6证据解析
从不同质量、类型各异的科学证据中演绎出实质性的结论,这对于任何的HTA都是一种挑战。评估人员需要一种系统的方法,来慎重地评价每一条搜集到的证据的质量。总体上说,证据的解析需要3步。
5.6.1研究分类
原始数据的收集方法种类繁多,但是用不同方法收集的证据其价值也不同,例如前瞻性研究优于回顾性研究,对照性研究优于非对照性研究等。根据研究的基本类型和特征,将所收集的原始资料整理成一个表明证据的表格,表格的项目涉及研究的设计(是否随机、是否是盲法、有无对照等)、患者健康结局衡量指标(患病率、死亡率、健康相关生存质量等)和推论的统计学指标(P值、可信区间等)。评估者通过它可以了解所搜集的不同研究的类型分布。
5.6.证据评分
对证据的评分已经成为目前HTA的标准步骤之一了,但是不同的专业评估机构所用的证据评分体系不同。例如,美国的AHCPR认为对设计较好的随机对照试验的Meta分析中获取的证据最可信,证据的可信度最低的是病例报告和临床实例。评估成员可通过这些层次来对不同的研究分类,且对所得的证据进行分级。例如,AHCRP规定存在从Meta分析中得出的数据,定为一级(最强);而缺乏证据和只有病例报告、临床实例汇报的数据,定为四级(最弱)。通过对证据的评分可以使评估成员对证据有一个整体的认识。
5.6.3选择证据
在证据评分之后,评估成员可以选择证据来应用于评估。在证据的选择上评估专家们尚未达成一致,有的专家认为除随机试验以外的证据都不可取,有些专家却认为那些可靠性较差的试验可以使用,可以通过给不同的权重来体现证据的级别。
5.7综合证据
由于证据收集的研究类型各异,而且每项研究的目的不同,所以就要求评估人员综合有价值的信息。综合证据的方法有:非定量的文献评述、Meta分析及其它定量的文献分析方法、决策分析、小组决策或专家咨询(consensusdevelopment)。传统定性的文献评述存在许多片面性,目前评估人员更加青睐应用结构化强、定量的、经充分证实的方法。
5.8形成结论和建议
结论是评估的结果,建议是在评估以后得出的意见、观点。建议比结论的操作性更强,它可直接用于临床和政策制定。由于证据的价值不同,结论的可靠性也就有相应的差异存在。目前,评估的用户对于明确结论强弱有确切的要求,所以评估人员可以利用以前对证据的评分来确定结论的强弱。结论的强弱也分为一定的层次,但是它是双向的,支持的结论由强到弱,反对的结论由弱到强。
5.9传播结论和建议
评估的目的是为决策服务的,如何将评估的结论和建议传播给需要的各种决策者,对于HTA的成功也是至关重要的。传播的计划主要涉及3个层面:目标人群、采用的中介和实施的策略。例如,AHCRP采用小册子向患者传播评估结论,用快速的参考指南、临床相关手册的形式向医生宣传结论,通过全面的报告传播结论给研究者和政策分析者。据1995年调查,全球95%的HTA组织通过在公开出版的杂志上发表文献传播结果,美国还通过研究所和计算机网络系统如In-ternet传播[9,10]。
5.10监督HTA的影响
HTA的影响存在许多不确定性,正像它评估的技术一样,技术评估也会产生预期的影响和未预料的结果。它受许多因素制约,包括评估的目标组织及该组织的法律性、契约性或行政性的义务,环境因素,评估结论、建议本身,评估结果的传播等。例如,AHCPR进行的绝大多数HTA,其结果直接应用于HCFA的卫生保险覆盖的决策。而有些设计良好或有权威性的随机临床试验的结论和建议却没有被采纳[7]。以上介绍了HTA的10项基本步骤,但是这并不意味着每一次HTA都要进行所有步骤,它们可以实施其中的部分内容,且进行的顺序也无严格的要求,美国和中国都有一些评估实例可以证明这一点。[18,3]
6医学技术评估的方法
HTA方法可根据评估的内容来分类:
6.1功效与安全性的常用评估方法有,临床前期评价法、非正规的临床评价法、流行病学与统计学评价法、临床对照试验法与正规综合法等。
6.生存质量的评估方法有,心理测试的健康指标测量和健康效用评价的方法。
6.3经济学评价方法有:成本分析、最小成本分析、成本效果分析(cost-benefitanalysis)、成本效用分析(cost-utilityanalysis)、成本效益分析(cost-effective-nessanalysis)、敏感性分析。
6.4社会适应性的评价方法有,无结构、半结构和全结构访问法、小组访谈法以及观察法等[14]。目前,评估的方法学是一个重要的研究领域。原因是评估的用户要求基于证据的评价、所得的结论要尽量减少片面性、要求尽量使用正规的定性和定量方法。同时还要求尽量缩短评估的时间、提高评估自身的成本效益,这些要求对评估研究者提出了新的挑战。最近,由于技术评估国际化的发展,各国需要交流评估经验和结果。在这种背景下,由EUR-ASSESS的方法学项目分组(ProjectSubgrouponmethodology),于1997年提出要建立一种为产生透明的、有力和有效的HTA所需的各种逻辑方法的经典结构。INAH-TA在000年提出要统一和规范评估方法的议题。可见国际上的组织机构正在积极进行这方面的尝试[11]。
7医学技术评估的实施
7.1实施机构
医学技术评估的实施或发起机构种类很多,包括:调控机构,政府和私人支付机构,卫生职业组织,标准制定机构,医院、管理保健组织和其它卫生保健提供者,患者和消费者组织,政府政策研究机构,私人评估/政策研究结构,学术中心,生物医学研究机构,卫生产品公司,风险投资商和其它投资者。这些机构所进行的评估的目的、内容、方法各不相同。政府的政策研究机构进行的评价,是与国家层次上的技术政策的制定息息相关的;而卫生产品公司的评估可能是为公司的产品营销、公司的经济利益而进行的。
7.实施所需的人力资源
在定义别强调医学技术评估是一个涉及多种学科的政策分析领域,而且在评估中使用的方法也涉及许多学科,所以就需要各种类型的专家来共同合作实施HTA。所需的专家有:包括放射、化验等在内的临床各科医生,医院、卫生组织的管理者,生物医学和临床工程师,药理学专家,患者,流行病学家,生物统计学家,经济学家,律师,社会学家,伦理学家,决策科学专家,计算机专家/程序号,图书/信息专业人员。对于一项确定的HTA,专家的选择要考虑到评估的目的、所评估的内容、可利用的资源等因素。
7.3实施的时机
实施HTA的时机很难把握,对于一项新技术越早发现它的不利影响,越早控制其传播和误用是评估人员所希望的,但是由于技术本身在发展、临床使用者的技术使用熟练程度在改变,使技术使用早期的评估结论可能产生偏差或错误。要避免这一点,就要对技术进行多次的HTA,不能只靠进行一次的HTA就盖棺定论[7]。
8医学技术评估的意义
HTA开展以来,是否促进了医学技术的合理使用和卫生资源的合理分配呢?答案是肯定的。在临床方面,1995年加拿大魁北克的医学技术评估委员会就1份HTA报告对卫生政策和医疗费用的影响进行了调查。结果表明,除3份报告外,其它的均产生了巨大的影响。1990年建议使用高渗造影剂来替代低渗造影剂,使医疗费用明显降低,净节约近100万美元。对心导管再利用的建议节约医疗费用约600万美元,而取消术前常规胸片则节约了700万美元,并且,有关高档技术如器官移植、MRI等的HTA报告,对制定卫生政策和临床指南,以及合理配置资源均产生了显著的影响[16]。
哈佛大学公共卫生学院分析了4种医疗方案,10年中:内皮细胞显影检查节约为1.3亿美元,精神分裂症的隔离节约为.46亿美元,癌症病人的热疗节约为.7亿美元,近视眼的角膜手术节约为4.77亿美元。加州大学洛杉矶分校公共卫生学院对另外3种治疗方法进行的评估表明,10年节省为:家用氧气600-000万美元,心脏起搏器的电化监测为0.87-0.97亿美元,风湿性关节炎的血浆提取疗法为100-150亿美元[6]。而且,有些HTA本身就可以产生直接的临床作用,即通过参与评估所进行的临床试验,直接使患者受益[17]。例如某些癌症和艾滋病患者,通过参与HTA的临床试验尝试先进的治疗方法,即可能会直接受益。在预防医学领域,HTA也起着明显的作用。例如加拿大一项有关乳腺癌普查的HTA结果显示,对于50-70岁的妇女进行普查其成本-效果最佳,这使政府改变了过去对所有育龄妇女进行普查的政策,节约了相当的卫生保健经费,优化了卫生保健系统[10]。
1978年美国对肺炎球菌疫苗的成本-效果评价,发现成本-效果比最佳的是65岁以上的老年人。国会据此修改了老年保健法,规定从1981年开始给老年人接种肺炎球菌疫苗。1988年OTA发表关于在老年人口中进行青光眼筛查的报告。报告中指出,这种筛查成本高,效益不确定。分析结果表明,识别和证实1例青光眼患者的成本在000-1600美元。通过对技术评估结果的应用,减少一些没有效果的或不必要的医学技术的支出。据报道,美国国家卫生保健技术中心对老人保健项目覆盖政策的咨询工作,使项目开支每年节省几亿美元[6]。总之,在选择适宜卫生技术、合理利用卫生资源和优化资源配置上医学技术评估做出了相当大的贡献。
9医学技术评估的障碍
虽然总的趋势是鼓励广泛开展HTA,但是仍然有一些因素和情况不利于HTA,其中包括:
1)技术方面:存在对技术的盲目崇拜,尤其在美国一些人认为“技术是迫切的”,只要是新的就是好的,不管技术是否有效。还有一些技术权威人士在没有可信的证据情况下控制技术的使用。更有些人认为,技术评估的目的是阻止技术的创新和传播[7]。
2)医学方面:医生对于医学实践的惯性,他们习惯了长期形成的实践常规,其医学知识也已过时,且接受科学咨询的机会甚少,同时也缺乏对临床知识的批判态度,故产生了他们对旧的作法的惯性,这对于HTA结论的传播和利用是一种障碍[7]。再者,一些医生希望自己有选择技术的自由,不希望HTA来干涉他们的自由[19]。
3)商业方面:一些生物医学领域的企业认为,HTA限制了他们的医学创新获得最大经济利益的自由。他们一般通过法律程序来限制HTA。1997年加拿大的BMS(BristolMyers-SquibbCanadaInc.)药品公司CCOHTA来阻止其对该公司药品的技术评估报告的发表。类似的事情也发生在美国的Merck公司。目前国际的经济条例也对HTA是一种威胁,在经济条例中给予商业机构过多的权利。1998年WHO表示要关注与贸易相关的知识产权协定(theAgreementonTrade-RelatedAspectsofIntellectualPropertyRights,TRIPs)的有关问题。这些由商业目的引发的法律威胁,对HTA造成了严重的影响,包括评估人员在评估中将会过多考虑技术以外的社会因素,研究者、研究机构、出版商和基金组织不愿进行可能引起法律纠纷的评估等不利影响[0]。
4)资金方面:HTA的资金不足。一些医学研究人员不愿意将资金从基础研究转向HTA,还有一方面HTA要花费一定的经费用于应付技术生产商的[19,0]。
总之,HTA的发展过程中确实存在一些困难和障碍,并且这些困难正在扩大且还会出现新的障碍,HTA能否在未来顺利地发展,将需要政府给予更多的关注和支持。
10医学技术评估的展望
未来,HTA将在范围、方法学、机构的联合和评估结论的转化方面进一步发展,今后着重强调基于证据的医学技术评估。不仅对现代医学领域中的技术进行评估,也要对传统医学领域的技术实施评估。在方法学上力求不断创新、灵活运用,尽可能地缩短评估的时间,及早推广先进的、有价值的适用技术。目前,国际上正在努力探索一套规范化的方法,促进国际间的技术评估交流和共享。重视国际和国内的评估机构联合,最好是形成评估机构网络,有利于资源共享、信息交流,减少不必要的重复评估。
一、论文名称、课题来源、选题依据
论文名称：基于bp神经网络的技术创新预测与评估模型及其应用研究
课题来源：单位自拟课题或省政府下达的研究课题
选题依据：
技术创新预测和评估是企业技术创新决策的前提和依据。通过技术创新预测和评估, 可以使企业对未来的技术发展水平及其变化趋势有正确的把握, 从而为企业的技术创新决策提供科学的依据, 以减少技术创新决策过程中的主观性和盲目性。只有在正确把握技术创新发展方向的前提下, 企业的技术创新工作才能沿着正确方向开展,企业产品的市场竞争力才能得到不断加强。在市场竞争日趋激烈的现代商业中, 企业的技术创新决定着企业生存和发展、前途与命运, 为了确保技术创新工作的正确性,企业对技术创新的预测和评估提出了更高的要求。
二、本课题国内外研究现状及发展趋势
现有的技术创新预测方法可分为趋势外推法、相关分析法和专家预测法三大类。
(1)趋势外推法。指利用过去和现在的技术、经济信息, 分析技术发展趋势和规律, 在分析判断这些趋势和规律将继续的前提下, 将过去和现在的趋势向未来推演。生长曲线法是趋势外推法中的一种应用较为广泛的技术创新预测方法,美国生物学家和人口统计学家raymond pearl提出的pearl曲线(数学模型为: y=l∕[1+a?exp(-b·t)] )及英国数学家和统计学家gompertz提出的gompertz曲线(数学模型为: y=l·exp(-b·t))皆属于生长曲线, 其预测值y为技术性能指标, t为时间自变量, l、a、b皆为常数。ridenour模型也属于生长曲线预测法, 但它假定新技术的成长速度与熟悉该项技术的人数成正比, 主要适用于新技术、新产品的扩散预测。
(2)相关分析法。利用一系列条件、参数、因果关系数据和其他信息, 建立预测对象与影响因素的因果关系模型, 预测技术的发展变化。相关分析法认为, 一种技术性能的改进或其应用的扩展是和其他一些已知因素高度相关的, 这样, 通过已知因素的分析就可以对该项技术进行预测。相关分析法主要有以下几种: 导前-滞后相关分析、技术进步与经验积累的相关分析、技术信息与人员数等因素的相关分析及目标与手段的相关分析等方法。
(3)专家预测法。以专家意见作为信息来源, 通过系统的调查、征询专家的意见, 分析和整理出预测结果。专家预测法主要有: 专家个人判断法、专家会议法、头脑风暴法及德尔菲法等, 其中, 德尔菲法吸收了前几种专家预测法的长处, 避免了其缺点, 被认为是技术预测中最有效的专家预测法。
趋势外推法的预测数据只能为纵向数据, 在进行产品技术创新预测时, 只能利用过去的产品技术性能这一个指标来预测它的随时间的发展趋势, 并不涉及影响产品技术创新的科技、经济、产业、市场、社会及政策等多方面因素。在现代商业经济中, 对于产品技术发展的预测不能简单地归结为产品过去技术性能指标按时间的进展来类推, 而应系统综合地考虑现代商业中其他因素对企业产品技术创新的深刻影响。相关分析法尽管可同时按横向数据和纵向数据来进行预测, 但由于它是利用过去的历史数据中的某些影响产品技术创新的因素求出的具体的回归预测式, 而所得到的回归预测模型往往只能考虑少数几种主要影响因素, 略去了许多未考虑的因素, 所以, 所建模型对实际问题的表达能力也不够准确, 预测结果与实际的符合程度也有较大偏差。专家预测法是一种定性预测方法,依靠的是预测者的知识和经验, 往往带有主观性, 难以满足企业对技术创新预测准确度的要求。以上这些技术创新预测技术和方法为企业技术创新工作的开展做出了很大的贡献, 为企业技术创新的预测提供了科学的方法论, 但在新的经济和市场环境下, 技术创新预测的方法和技术应有新的丰富和发展, 以克服自身的不足, 更进一步适应时展的需要, 为企业的技术创新工作的开展和企业的生存与发展提供先进的基础理论和技术方法。
目前,在我国企业技术创新评估中, 一般只考虑如下四个方面的因素: (1) 技术的先进性、可行性、连续性; (2) 经济效果; (3) 社会效果; (4) 风险性, 在对此四方面内容逐个分析后, 再作综合评估。在综合评估中所用的方法主要有: delphi法(专家法)、ahp法(层次分析法)、模糊评估法、决策树法、战略方法及各种图例法等, 但技术创新的评估是一个非常复杂的系统, 其中存在着广泛的非线性、时变性和不确定性, 同时, 还涉及技术、经济、管理、社会等诸多复杂因素,目前所使用的原理和方法, 难以满足企业对技术创新评估科学性的要求。关于技术创新评估的研究, 在我国的历史还不长, 无论是指标体系还是评估方法, 均处于研究之中, 我们认为目前在企业技术创新评估方面应做的工作是: (1) 建立一套符合我国实际情况的技术创新评估指标体系; (2) 建立一种适应于多因素、非线性和不确定性的综合评估方法。
这种情况下, 神经网络技术就有其特有的优势, 以其并行分布、自组织、自适应、自学习和容错性等优良性能, 可以较好地适应技术创新预测和评估这类多因素、不确定性和非线性问题, 它能克服上述各方法的不足。本项目以bp神经网络作为基于多因素的技术创新预测和评估模型构建的基础, bp神经网络由输入层、隐含层和输出层构成, 各层的神经元数目不同, 由正向传播和反向传播组成, 在进行产品技术创新预测和评估时, 从输入层输入影响产品技术创新预测值和评估值的n个因素信息, 经隐含层处理后传入输出层, 其输出值y即为产品技术创新技术性能指标的预测值或产品技术创新的评估值。这种n个因素指标的设置, 考虑了概括性和动态性, 力求全面、客观地反映影响产品技术创新发展的主要因素和导致产品个体差异的主要因素, 尽管是黑匣子式的预测和评估, 但事实证明它自身的强大学习能力可将需考虑的多种因素的数据进行融合, 输出一个经非线性变换后较为精确的预测值和评估值。
据文献查阅, 虽然在技术创新预测和评估的现有原理和方法的改进和完善方面有一定的研究,如文献[08]、[09]、[11]等, 但尚未发现将神经网络应用于技术创新预测与评估方面的研究, 在当前产品的市场寿命周期不断缩短、要求企业不断推出新产品的经济条件下, 以神经网络为基础来建立产品技术创新预测与评估模型, 是对技术创新定量预测和评估方法的有益补充和完善。
三、论文预期成果的理论意义和应用价值
本项目研究的理论意义表现在: (1) 探索新的技术创新预测和评估技术, 丰富和完善技术创新预测和评估方法体系; (2) 将神经网络技术引入技术创新的预测和评估, 有利于推动技术创新预测和评估方法的发展。
本项目研究的应用价值体现在: (1) 提供一种基于多因素的技术创新定量预测技术, 有利于提高预测的正确性; (2)提供一种基于bp神经网络的综合评估方法, 有利于提高评估的科学性; (3) 为企业的技术创新预测和评估工作提供新的方法论和实用技术。
四、课题研究的主要内容
研究目标：
以bp神经网络模型为基础研究基于多因素的技术创新预测和评估模型, 并建立科学的预测和评估指标体系及设计相应的模型计算方法, 结合企业的具体实际, 对指标和模型体系进行实证分析, 使研究具有一定的理论水平和实用价值。
研究内容：
1、影响企业技术创新预测和评佑的相关指标体系确定及其量化和规范化。从企业的宏观环境和微观环境两个方面入手, 密切结合电子商务和知识经济对企业技术创新的影响, 系统综合地分析影响产品技术创新的各相关因素, 建立科学的企业技术创新预测和评估指标体系, 并研究其量化和规范化的原则及方法。
2、影响技术创新预测和评估各相关指标的相对权重确定。影响技术创新发展和变化各相关因素在输入预测和评估模型时, 需要一组决定其相对重要性的初始权重, 权重的确定需要基本的原则作支持。
3、基于bp神经网络的技术创新预测和评估模型研究。 根据技术创新预测的特点
, 以bp神经网络为基础, 构建基于多因素的技术创新预测和评估模型。
4、基于bp神经网络的技术创新预测和评估模型计算方法设计。根据基于bp神经网络的技术创新预测和评估模型的基本特点, 设计其相应的计算方法。
5、基于bp神经网络的技术创新预测和评估模型学习样本设计。根据相关的历史资料, 构建基于bp神经网络的技术创新预测和评估模型的学习样本, 对预测和评估模型进行自学习和训练, 使模型适合实际情况。
6、基于bp神经网络的技术创新预测和评估技术的实证研究。以一般企业的技术创新预测与评估工作为背景, 对基于bp神经网络的技术创新预测和评估技术进行实证研究。
创新点：
关键词：科研绩效 科技管理 二次评估方法 指标体系
知识经济时代对一个国家科技综合实力的评估与发展越来越重要，针对科学探索和技术创新的不同特点建立更为科学的评估体系和激励机制，尤其要改革科研绩效评估方法，建立适合科技创新的科技管理体制。
1 我国既有科研绩效评估方法综述
1.1 科研绩效评估的程序
①提出评估目的和要求。②明确评估主体。③评估主体进行评估设计。④评估信息的采集。⑤综合分析与反馈。⑥编写评估报告。
1.2 科研绩效定量评估基本模式
科研绩效评估是一次有目的的活动，为了到达目标，保证评估结果的公正性、科学性，科研绩效评估有自己的评估程序。从评估程序上分析，科研绩效定量评估必然经过这么几个环节：建立指标体系，确定指标权重，数据的预处理，数据综合。本文把他们提出来定义为科研绩效定量评估的基本模式。
1.3 科研绩效评估的指标
联合国教科文组织将科学研究分为基础研究、应用研究和试验发展等三大类，在我国一般把试验发展称为技术开发研究。基础研究成果其绩效表现形式主要为科学论文和学术专著，因此对基础研究成果绩效的评估实质是对其产生的科学论文和学术专著进行评估。应用研究成果其绩效表现形式以技术论文、技术专著和专利为主，但一般情况下，应用研究专利形式比论文形式更能体现其技术特征。技术开发研究成果主要以商业价值为评估标准，即强调其实用性。
由于学科特点的不同，特别是当今科学技术的飞速发展，对有些研究很难明确地区分是基础研究、应用研究还是开发研究，因此其科研绩效表现形式也是多种多样的，在定量时应综合考虑。科研绩效具体的表现在以下几个方面：承担项目、、科技著作、获奖成果、获得专利、创造价值、培养人才等。
1.4 指标权集构造的常用方法
专家评定法，是将指标体系提供给专家，请专家对所有的指标给出权重值。收回专家意见表后，经统计取平均值确定各项指标的权重。德尔斐法，这种方法使用反复分发专家咨询表的形式，将专家的意见集中、返回、再集中，最后取得确定的权集系数的较为一致的意见。层次分析法，又称为多层次权重解析法、解析递阶过程（Analytic Hierarchy Process），简称AHP法。它是采用一种多目标、多标准的两两比较方法对一评估指标系统列出其各项指标的优先顺序和权重系数。
1.5 评估数据的预处理
阀值法。阀值也称临界值，是衡量事物发展变化的一些特殊指标值，比如极大值、极小值、满意值、不允许值等。阀值法使用指标实际值与阀值相比以得到指标评估值的无量纲方法。标准化法。统计学理论告诉我们，要对多组不同无量纲的数据进行比较，可以先将它们分别标准化，转化成无量纲的标准化数据。而综合评估就是要将多组不同的数据进行综合，因而可以借助于标准化方法来消除数据量纲的影响。比重法。是将指标实际值转化为它在指标值总和中所占的比重。
1.6 评估数据的综合
在科研绩效定量评估中，选择的指标都是数量性的，经过数据预处理之后，下一步将预处理过的评估指标数据进行综合。数据综合方法很多，其中两种常见的综合方法：加权算术平均值，加权几何平均值。
2 新的科研绩效定量评估方法构建
2.1 二次相对评估方法
为了消除客观基础条件优劣的影响，获得真实的反应各被评科技机构的主观努力情况的指标，我们应从被评科技机构的综合实力的动态变化中进行挖掘。在建立综合实力评估指标后，我们选择科学、合理的综合评估方法，对当前的状况进行测算，得到的指标我们称之为当前指数。当然，我们可以用同样的指标体系以及同样的方法对科技机构以往的状况进行测算，得到的指数反映了被评对象的客观基础条件的状况，我们称之为参考指数。设xj是第j个被评科技机构的参考指数，yj是该被评科技机构的当前指数，其中xj∈E1，yj∈E1，我们称数组（xj，yj）为第j个被评科技机构的指数状态。
将参考指数作为横坐标X，把当前指数作为纵坐标Y。假设有三个被评对象参加评估，他们的指数状态分别是A（X1，Y1），B（X2，Y2），C（X3，Y3），他们在平面坐标的位置如图1所示。评估对象B的参考指数介于评估对象A、C之间，即X1
我们可以在平面坐标上标出所有被评对象的指数状态，采用数据包络分析（DEA）方法可以得到指数状态可能集的前沿面。任何一个被评对象（X，Y）均介于某两个处于前沿面的被评对象之间（见图1），将该被评对象的当前指数Y在前沿面上的对应值记为Y′，Y与Y′的比值η可作为有效努力程度的一种度量。
2.2 引入二次相对评估方法的科研绩效定量评估新模式
在科研绩效定量评估原模式里，第一是建立指标体系。为了能测评到科学的、公正的科研绩效，许多学者往往在建立指标体系上作研究，他们深入分析科技活动的规律及特点，各自提出自己建立的科研绩效评估指标体系。这样做工作，仍然是沿用原评估模式的思路，仅仅是修整原模式，难以解决原模式存在的根本问题。本文在深入研究二次相对评估方法的原理，把它引入到科研绩效评估中来，提出新的科研绩效定量评估方法。基本想法是通过被评单位的综合实力的变化，运用二次相对评估方法测出科研绩效。可以分两个阶段，第一阶段测出被评单位的科技综合实力，具体有四个步骤；第二阶段，二次相对评估。新模式如图2所示。
3 结论
本文提出的科研绩效定量评估的新模式，较好的解决了基于科研产出的科研绩效评估体系和基于行为的科研绩效评估体系这两种体系各有偏重的问题，进而达到了理性评估与非理性评估的统一。另外本文所提出的科研绩效定量评估的新模式，用它对科研单位进行科研绩效评估不但包含了科技活动的结果即科技产出，而且考虑了科研人员的行为因素产生的相对的科研效果，为科研绩效评估提供了新的解决思路。
参考文献：
[1]张运华，郭海娜.基于DEA的高校科研绩效交叉评估研究[J].科技管理研究，2012（13）.
[2]姜彤彤.基于DEA方法的高校科研效率评估研究[J].高教发展与评估，2011（11）.
1．公共政策风险评估的特殊性研究欠缺公共政策是一种话语与价值表达，风险评估是科学判断的过程，首要的就是建立关于不确定性（如数据、语言、系统、推断、变异性、模型、决策等）的类型学［3］。不精确的政策语言及社会的不确定性预期既潜藏了风险，也决定了公共政策风险评估的特殊性。例如，公共政策较之于项目管理的最大区别就在于有无经费的支持，前者是一项相对宽泛的规定，后者则是体现经费开支的具体行动过程。对这两者进行风险评估存在较大的差异性。现有研究很少对公共政策风险评估与几个既区别又相互联系的概念，如公共政策评估、项目风险评估、绩效管理、政策试验等做出区分，这将难以为实践提供操作指南。
2．基于实践体悟的研究成果不多“三段式”是公共政策风险评估研究的常用写法，即先对具体政策做一介绍，然后从最一般意义上对其存在的潜在风险进行分析或者预测，最后提出防范、控制风险的对策建议。该研究路径泛泛而谈，较为陈旧，研究结论跟实际联系不紧密。即便是借助量化的技术模型（如RBCS模型等）［4］，现有研究也基本未超越政策———风险———对策的套路。实际上，研究者要是无法参与公共政策风险评估实践，就很难全面把握具体公共政策可能运行的系统，提炼风险评估的核心指标则更加困难，遑论风险源的识别并以此提出针对地方需求的对策建议。由此，公共政策风险评估的研究成果大多是从文献到文献的“原地打转”，很难有新突破。
3．整体性风险评估框架尚未建立随着整体性治理理念的推进，西方政府普遍建立起整体性绩效评估（管理）框架以推进绩效管理的发育成熟［5］。这种做法同样可用于公共政策风险评估，既体现治理理念，也可将其提供的操作流程与方法作为风险评估的使用指南。公共政策风险评估一般应包括原则、主体、流程、指标、方法、问责机制等核心要素。理论研究对上述要素都有所涉及，也充分认识到评估指标的重要性，提出了“政策环境风险”、“政策制度风险”、“政策选择风险”和“政策伦理风险”等指标［6］。然而，零星、分散的研究并未构建起整体性的公共政策风险评估框架。
4．跨界研究处理不善毋庸置疑，源自管理科学的风险评估技术和模型能够为公共政策风险评估的开展提供借鉴和便利。与此同时，基于风险识别和评价强数理、强技术的要求，公共政策风险评估也必须利用其它学科的方法。由此，公共政策风险评估及其研究就成为一种跨界行动，如何实现政策科学和管理科学的有效对接是一项颇具难度的挑战。作为一种分析工具，将风险评估引入和应用于政策分析为公共政策的科学化确实提供了很大的益处，但偏重技术分析的政策风险评估与规范意义上的政策分析之间的鸿沟也日益显现［7］。现有研究已经开始移植项目风险评估模型等尝试方法技术上的挖掘，但效果并不理想。将管理科学关于风险评估的做法引入政策分析时形成了“两张皮”，一者是公共政策风险要素的分析，另一者是套用技术模型从宏观上谈如何对风险进行评估，离极具操作性的风险要素识别、监测、控制等还有相当的距离。此外，有些研究者对技术模型一知半解甚至全然不知，这样的研究肯定无法深入，只是做表面的花哨处理而已。
二、公共政策风险评估研究局限的成因
就上文的分析，公共政策风险评估虽已引起关注，但研究并不深入，高质量的成果相对有限。剖析造成这一困局的原因，将有助于针对性地提出消解和突破策略，推进理论研究，更好地为实践提供指引。
1．理论研究重视不够政策科学经过几十年的发展，逐渐形成了自己的学科范式。政策评估作为政策分析的一个环节和分支，也日益得到重视，旨在为决定政策变化、政策改进和制定新政策提供依据［8］。有学者提出，如果政策评估的标准或方法不科学，那么具有明显的负向排斥性政策将可能评价为好的或者合乎正义的政策［9］，这将引致很大的风险。然而，他们只是点到为止，把公共政策风险评估作为政策分析的一部分，淡化了其重要性。归根到底，还是因为公共政策风险评估的理论研究没有获得足够的重视。
2．问题意识不强公共政策风险评估的重点不在于定义什么是公共政策风险，而是如何找到风险源，进行风险的识别与控制。这就决定了理论研究需厘清公共政策风险的特殊性、公共政策风险评估与其它项目（活动）等的风险评估有何本质区别，哪些可靠的技术手段可用于公共政策风险评估与管理等问题。然而，现有研究花了大量的笔墨为公共政策风险下定义，以无争议的粗线条方式阐明公共政策的风险源在政策系统内外部或者政策过程。如此一来，公共政策风险评估研究并非基于明确的研究问题，而是把公共政策和风险评估进行简单叠加。理论上的“自说自话”显得空洞乏味。
3．研究者学科背景受限从现有情况看，公共政策风险评估研究的主体大多来自于政治学、行政学等学科领域，较少受过风险评估技术方法的专门训练，这不利于研究工作的顺利开展。有意思的是，部分研究者具有经济学、管理科学的背景，在公共项目风险评估实践操作的基础上形成了关于公共政策风险评价的研究成果，可他们又没有接受过系统的公共政策分析训练。然而，更好的风险评估比较来自于信息交换，而不是依赖技术模型进行定量信息的比较［10］，选择适当的技术之后需考虑如何对结果做出解释。所以，研究者的学科背景限制了公共政策风险评估研究将价值理念、语言表征及技术工具进行有效地整合。
4．研究的压力与动力不足公共政策风险评估的研究成果大体形成于以下两种情况：一是研究者个人基于兴趣、社会热点等方面的考虑进行研究尝试，以文献研究居多，重复生产的意味较重，质量不高；二是研究团队获批纵向课题后开展研究，虽说引入多学科的方法，也运用了大量的模型，但是理论解读和推导居多，基于实践的总结与提升较少。因为纵向课题通常只需提供公开出版的论文、著作等就可以申请结题，深入实践的压力几乎没有，动力也就无足而生了。当然，这跟研究者鲜有机会接受政府的委托进行公共政策风险评估有关。以教育政策的风险评估为例，由政策制定者和专家学者组成临时性风险评估团体是政府的惯常做法，从事理论研究的专家学者可以说是依附于政府参与评估工作，无独立性可言，压力和动力自然也有限。缺乏实际操练机会的现状很难促进研究者投入力量组建多学科背景的成员进行研究，这又怎么习得风险评估硬本事？如果研究者还是按照前文所述提提一般性的对策建议，这又加剧了地方政府对专家、科研机构独立评估的不信任，研究人员更加难以深入到“评估市场”中去。
三、公共政策风险评估研究的突破
公共政策风险评估是一项技术性、实践性较强的跨界对接工作，理论研究更加需要把握理论联系实际的原则。这样才能使得理论成果真正指导评估实践，增强公共政策风险评估工作的成效。借鉴项目风险评估、政府绩效评估等较为成熟的做法，研究者从“黑板”、“电脑”走向“政府”、“市场”将是总体发展趋势和方向。基于这个大方向，研究者可从以下方面尝试以实现突破。
1．树立研究信心党的十八届三中全会明确提出，全面深化改革的总目标，就是完善和发展中国特色社会主义制度、推进国家治理体系和治理能力现代化。公共政策是一系列方针、策略的统称，是党和国家的治理工具。任何的执政理念都要靠各项公共政策来落实。很显然，对公共政策进行风险评估，不仅关乎治理能力和水平，更影响到社会稳定与社会质量的改进。通过对未来的预测，把不确定性控制在一定的范围内，就等于政府掌握了主动权。可以预见，政府将越来越重视公共政策风险评估。研究者应该对这个领域的研究前景抱以乐观的态度，相信不仅可以有所作为且可以大有作为，提高研究激励。共识一旦达成，就可促使更多的研究者加入，为研究队伍输送新鲜血液。
2．增强“市场”意识从前文分析看，研究者因承接政府委托项目少，公共政策风险评估实践有限等导致了理论研究不充分。要想推进公共政策风险评估研究，还得回归“市场”。这里的“市场”并非纯经济的买卖市场，而是基于政府是委托人，研究者是人形成的公共政策风险评估市场。在这个特殊市场中，政府提供经费支持，研究者基于物质利益的考虑和理论研究的需要等承担具体政策的风险评估工作，这将促使他们带着明确的问题寻求解决之道。所以，要想在现有成果的基础上有所突破，研究者必须改变“关起门来做学问”的做法，主动接触政府，“推销”自己的成果，寻求与政府的对接。只有增强市场意识，受到市场的刺激，研究者才会以更加开放、积极的心态投入研究，体悟理论与实践的差异，在理论成果有所转化的同时进一步修正、充实、完善已有的研究结论。此外，研究者需与政策制定机构建立起有效的风险沟通以增强信任感，因为价值判断是专家风险评估途径的内在特性，目的是提供关于危害的综合信息以满足政策制定者和利益相关者的需要和利益，并以易于理解的方式对待不确定性决策问题［11］。这有助于提高获取市场操练的机会。
3．组建跨学科研究团队公共政策风险评估既需要政策分析（评估）的理论指导，也需要风险评估（管理）技术的方法支撑，这很难靠学科背景既定的研究者个体单打独斗来完成。除了政策分析的多学科研究途径，公共政策分析评估尤其需要得到理工科技术方法的支持。由此，组建跨学科的研究团队，吸引政治学、行政学、社会学、经济学、管理工程等学科的人才实现优势互补是较为理想的选择。例如，风险评估是一个利益相关者参与审议的程序，将社会学中的社会资本理论之四大参数———社会信任、制度信任、社会规范和社会网络作为风险感知的影响因素就可被广泛应用［12］。这既可以弥补政策学家方法运用上的缺陷，也可预防风险评估技术人员价值理念上的偏差，因为风险研究往往没有质疑事实（包括某些有害后果的概率期望）和价值观之间的根本区别［13］。此外，公共政策涉及合法性问题，应将有法学背景的专业人才吸纳进研究团队。
[关键词]计划;项目;验收;评估;
Abstract : In this paper ,through the practice of acceptance check evaluation, Take quantitative and qualitative assessment,peer review law, the level of analysis and retrospective analysis of combined assessment method, analysis to the scientific and technological projects acceptance check evaluation and performance evaluation.Focus on researching the indicators and weights of the scientific and technological projects ex-post evaluation by practice.And table proposals on Strengthening science and technology projects in the acceptance check evaluation.Have a Guide and reference value to China's scientific and technological projects Ex-post evaluation.
Key words : planning;projects; acceptance check ;evaluation;
科技计划评估是政府科技投入决策与管理的重要依据,对计划项目的评估包括了从立项、实施和结果或者影响的各个阶段。项目验收评估指项目结束后,对计划目标完成情况、成果结论、效益、作用和影响进行评估,检验项目完成后与项目立项时指标的一致性,以及能否在市场上应用,为新的资金支持提供决策依据。
科技计划项目验收评估是科技计划管理和项目绩效管理的关键环节,是根据项目任务书内容,对研究项目的完成情况进行评估。做好科技计划项目的验收评估工作,了解科技计划项目的执行进度、资源使用情况、目标任务的完成程度和存在问题,是科技计划管理工作的重要环节,是保障科技计划项目的顺利实施,实现计划目标的重要手段,对促进科技计划执行的有效性具有积极的作用。
我国的科技计划项目验收是指由验收单位按计划任务书或所规定的验收标准和方法进行测试、评价,并做出结论,本来是鉴定的前提,后因验收与鉴定的目的不同而脱离出来,相对于鉴定,项目验收活动开展得较少,或将二者合二为一。这两种评价活动一般都是由项目管理方(立项部门)来完成的,验收中的专家评审过程也大体与鉴定一致。由于验收工作不受重视,存在着评价内容简单、定性评价结论不准确、缺少定量评价指标等问题,立项部门即是项目管理方,又是评估方,验收通过率高,很少有不能通过验收的项目。而国外发达国家一般都是通过立法来保障项目绩效评价工作,并通过第三方中介机构实施的,故效果很好,保证了项目的完成。
我国1990年代后期在科技管理中引入科技计划立项评估机制后,科技评估活动在全国各省市逐步开展起来,主要以科技计划项目立项评估为主。2003 年5月,科学技术部、教育部等部门联合印发了《关于改进科学技术进行评价工作的决定》。同年 9 月,科学技术部印发了《科学技术评价办法》(试行)。这两个文件规定,对重大科学技术项目要求实行全程评价,包括立项、中期评估和结题验收,并可根据需要在项目结题2至5年内进行绩效评价;一般性生产技术项目评价应侧重立项评价和结题验收。此后,“国家高技术研究发展计划(863计划)”和“国家重点基础研究发展计划(973计划)”等计划项目的中后期评估纳入到计划管理环节,交由第三方――评估机构来完成。2008年,黑龙江省也首次开展科技计划项目的验收评估,完成了14项国家“十五”863计划引导项目的验收评估工作,效果很好,得到了科技部火炬中心的认可;此后,又对黑龙江省重点科技成果推广计划项目进行了验收评估,共有27个农业项目、9个工业项目通过了验收,评估结果为计划项目管理部门对下一轮项目决策提供了很好的反馈支持。
一、评估方式
验收评估主要依据有关评估规范和验收规范来操作。从实际操作上来看,验收评估一般采取同行评议来选择专家,主要包括实地考核、材料审阅、现场答辩和会议形式的讨论,并以定量和定性的方式给出验收评估结论意见。其中定量的方式主要考核取得成果和专利、论著、经费决算、以及取得的技术指标和经济指标。国家“十五”863计划引导项目和黑龙江省科技成果推广计划项目的执行情况评估工作就是严格按照上述方式实施的。评估活动遵循客观公正和科学规范的原则,参考计划评估典型案例,在充分利用已有信息基础上,综合运用案卷分析、数据统计、专利分析、座谈调研等多种方法,系统采集计划项目执行的有关信息。采集并分析了执行总结报告、计划拨款、统计数据、执行者队伍、企业参与情况、成果和专利产出等,重点对项目实施状况、组织实施及效果、取得专利及其效果、企业参与状况及其效果等关键问题进行了评估分析,评估结果说明该方式达到了分析诊断、决策参考、完善管理的评估目的,体现了突出重点、兼顾总体,面向需求、面向决策的特点。
二、评估方法
科技计划验收评估方法主要有两种:一种是综合指标体系评估的方法,即以定性和定量相结合的分析方法为主要手段,构建定性指标和定量指标相结合的评估指标体系及评估模型,评估计划目标实现的程度和实施效果的优劣分析;另一种是以数学模型为基础,强调严格的定量指标和计算方法,用于评估投入产出的情况。对一些大的评估项目,往往会针对评估问题的特点专门设计一套评估方法。如美国对日本和德国超导材料电力应用项目的评估、法国对阿丽亚娜火箭项目的评估等。用于科技项目评估的方法很多,但是每一方法都有一定的适用范围,注重方法之间的互补性,根据不同项目情况灵活使用,才能有利于提高评估的质量。
同行评议法是某一或若干领域的专家采用同一种评议标准,共同对涉及相关领域的某一事项进行评价的活动,是目前世界各国在做评价工作时最常用的方法。设方案Ai的指标因素bj的得分为aij。通过加权平均法计算Ai方案的综合评价值的公式如下:
为权系数,满足层次分析法(Analytic Hierarchy Process,简称AHP法)是美国运筹学家A.L.Saty于20世纪70年代初提出的定性和定量分析相结合的决策分析及综合评价的方法。通过专家调查,构建层次指标权重判断矩阵,并计算各指标的赋值,对主观判断作定量描述,是管理决策科学中非常实用、具有很大发展前途的一种方法,适用于处理多目标、多层次、多因素的复杂系统问题 。
三、指标体系
项目验收评估指标一般包括:计划目标完成情况、研究成果情况、应用前景、人才培养情况、资金和资源使用情况、创造效益(包括科学价值和社会效益)情况等。1991年经合组织发展援助委员会(OECD/DAC)首先提出项目中后期评估的指标体系,包括相关性、效果、效率、影响和可持续性等5大评估指标。日本在进行项目后期根据研究开发的目的、性质、方式、规模、时间等因素,评估课题的意义、目的、目标、方法和资源(人才和资金等)分配是否合理妥当。评估指标主要有:目标达成度情况、研究成果及扩散效果等。韩国对项目中后期评估的内容还包括:项目是否落后和重复、与其他项目的集成情况等。
我国的科技计划项目验收评估指标,以863计划为例,863计划课题验收评议指标包括:研究内容的完成情况、技术指标的实现情况、计划进度的执行情况、研究成果的水平、研究成果的应用前景、项目组织管理情况、人才培养情况、技术资料的完整性、经费使用的合理性、资产使用和管理情况等。专家评议时,针对这些内容分别给出定性和定量的意见,其中“经费使用的合理性”和“资产使用和管理情况”两项指标的评议内容只能由财务专家填写。分值分布情况,如表1所示。
通过此次863计划引导项目的验收评估,以及之后的推广计划项目验收评估,提出修正后的科技计划项目验收评估指标还应考虑:项目已取得的科学价值、经济效益、社会效益、生态效益情况等;应用性项目及其相关产品是否能够形成立项时预期的市场竞争力,公益性项目能否发挥出立项时预期的社会效益;项目实施过程中技术问题等目标任务的解决与开发推广的结合程度。科技计划项目验收评估指标体系P,如表2所示。
具体一些重点指标的权重,“成果水平”、“应用前景”、“已应用或开况”、“经济效益”、“预算执行和经费使用”、“固定资产使用和管理”在项目验收的各项指标中属于关键内容,应为一级权重。其中“预算执行和经费使用”、“固定资产使用和管理”两项指标可根据有关资料给出较为准确的评价意见,“自筹经费占项目总经费比例”和“购置大型设备的共享程度”是主要量化指标;“成果水平”指标不易给出准确、具体的评价结论,其定性评价主要是通过在国内外同类技术中进行比较得出的。取得的论文论著、专利、调研报告,取得的新产品、新品种、新工艺、新设备、新标准等现在可以得到量化统计,通过文献计量法进行评估后,只要根据一定的数据指标赋分值就能够实现准确评价。
四、工作体会与建议
1.通过第三方的事后评估,建立了有效的计划项目监督管理机制,促进了科技计划管理工作的规范化、科学化,增强了项目验收的公正性。
2.开展计划项目后期评估,改善了以往科研“重立项,轻结果”的局面,提高了科技投入资金的资助质量和效益,强化了科技计划项目的信用管理意识,对促进科技计划执行的有效性起到积极作用。
3.开展计划项目后期评估,可以将项目管理全过程的成功与不足置换成项目管理知识,对项目管理提供以“项目后期评估”知识为依据的决策支持,为下一步的科技计划安排和资金预算提供了依据。
4.当前科技计划项目中后期评估工作存在的主要问题就是计划执行情况和验收评估不受重视,计划项目中后期绩效评价机制缺少政府的强势推动。从发达国家的绩效评估实践看,必要的立法支持是确保计划绩效评估法制化、制度化、规范化的重要保证。要明确科技计划评估的任务导向,进一步完善科技计划项目绩效评估制度建设。
5.加强科技计划从立项、执行情况和验收全过程的评估服务和研究,尽快建立综合的、可操作性强的科技计划评价体系。通过验收评估和绩效评估的实践,感到如果有完善的项目中期评估机制,评估时间再充裕一些,评估的效果会更好。
尽快转变政府的职能,改变现行的科技项目评审中政府既是政策的制订者,又是政策的执行者和监督者的做法,由社会中介机构或专门的专业机构来对科技计划项目进行评估,完善科技计划项目评估制度并给予立法保障,是科技计划管理工作贯彻落实科学发展观的当务之急。只有用科学发展观引导科学评价观,合理地将科技计划项目评估向项目的中后期评估、成果评估、绩效评估等方面延伸,强化计划项目的合同制效力,提高项目执行的质量和实施的效率,才能使成果的创新性得到保证,使科技计划管理工作更加科学高效,全面、协调、可持续的发展。
参考文献:
[1]科学技术部,教育部,中国科学院,中
国工程院,国家自然科学基金委员会.
关于改进科技评价的决定[S].2003.
[2]科学技术部.科学技术评价办法(试行)
[S].2003.
[3]彼得・罗西,霍华德・弗里曼,马克 ・李
普希.项目评估―方法与技术[K] .邱泽
奇,译.
[4]Jan-EricFurubo, RayC . Rist, Rolf
Sandahl,刘世威,译 . Internationnal Atlas
Evaluation (内部资料)[Z].2001.
[5]方衍. 国外政府评估:以史为鉴,洋学
中用(内部资料)[Z].2007.
[6]OECD. Evaluation of Research.1997. [7]肖利,乐慧兰.迈向新世纪的日本科技
评估[J].科学对社会的影响,2002,(2).
[8]方衍. 日本、韩国科技评估的实践及其
经验借鉴(内部资料)[Z].2003.
[9]Werner and Souder .Measuring R&D
关键词 高校教师 教育技术培训 培训效果评估 评估体系
中图分类号：G451 文献标识码：A DOI：10.16400/ki.kjdkz.2016.03.026
On Construction of College Teachers' Educational Technology
Training Performance Evaluation System
CHEN Shumin， MENG Gang， LI Kechen
（The PLA Information Engineering University， Zhengzhou， He'nan 455001）
Abstract In 2001 the Ministry of Education in Educational Technology Training in Universities clear requirements， while college teachers' educational technology training effectiveness evaluation will be the Ministry of Education to implement the requirements of an important manifestation of culture， but also examine the availability of educational technology training requirements . To this end， the paper will Universities' Educational Technology Training Effectiveness job evaluation system， to assess the effectiveness of the training theory proposes diversified educational technology training effectiveness and assess the main mode of operation， the four-level evaluation model reference offset based on the use the Delphi method to determine the evaluation index， AHP and to clarify the right of each index to obtain a sound education and technical training effectiveness evaluation system.
Key words college teachers； educational technology training； training effects evaluation； evaluation system
教育技术是高等院校教育体制改革的关键，也是推进高校信息化建设发展的主要动力。随着现代信息技术在高校教育教学中的广泛应用，加强对高校教师教育技术培训与管理工作就显得尤为重要。2001年教育部出台的《关于开展高校教师教育技术培训工作的通知》，明确提出本项工作开展的意义与目的，从而进一步推动了高校教师教育技术培训工作的全面开展。在培训工作开展以来，对于我国高校教师教育技术培训效果的研究也逐渐增多，特别是对于构建科学合理的，具有可操作性的培训实效评估体系来说，成为各校教育技术培训工作关注的焦点。本文将从当前高校教师教育技术培训效果评估现状入手，从可行性、客观性、定性和定量相结合的原则指导下，运用德尔菲法、层次分析法、模糊综合评估法等技术来设计评估指标，并从指标权重优化上来构建一套科学、合理、可行的高校教师教育技术培训实效评估体系。
1 对当前高校教师教育技术培训评估现状分析
现代信息技术下的高校教育技术培训工作已经全面开展，而对于教师培训效果评估上，国内外学者也给予了广泛而全面的研究。教师培训效果评估是教育评价的重要内容，而教育评价模型的建立是从教学实践和学生评价实践中抽象出来的。如上世纪30年代泰勒模型是将教育目标作为指导，从目标分解和量化上来编制相应的课程和教学方案，从而对教学活动进行全面评价，以判定其是否得到预期目标；柯克帕特里克提出的四层次分析模型理论，将评估的深度和难度进行划分为四个层次，即反应层、学习层、行为层和效果层；斯坦弗尔比姆引入对象分析法，分别从情景、输入、过程和成果四个阶段进行评价，得出CIPP四项综合评价方法。美国教师教育评估委员会从教育评估标准的建立上来提升教师教学专业化水平，如从关注培训内容向培训效果的转移；从关注培训者向培训项目的转移；关注标准在培训实践中的运用等。英国教育管理者在建立评估方法上，将培训组织者、决策者、培训者、学校及教师作为考评对象进行多方位评估，并从培训实践中的问题出发来分析原因，改进培训项目的运转机制，提高培训工作质量。
我国在教师培训效果评估工作研究中，最早在上海成立“师资培训工作质量评价指标体系”课题研究组，从办学条件、教学质量和办学效益三方面来进行综合评价。而随着我国学者对国外评估模式的引入和实践，如引入柯克帕特里克四层次评估模型，引入全因素、全过程、全员评价模型，来对培训的输入和输出进行跟踪评估和监测。总的来看，在我国教师培训效果评估实践中，还存在一些不足，主要表现在以下几点：一是关注培训过程而忽视对培训效果的有效评估，很多培训中心在开展教师教育技术培训实践中，对于评估环节疏于管理，仅仅关注反应层和学习层，并未贯彻好全面评估的目标。在对培训后的教师调查反映来看，多数受训教师仅关注培训内容的掌握程度，而对教师在培训中的参与行为和能力等问题很少问津，也对培训效果评价问题缺少足够的认识，从而制约和限制了培训效果评价工作的深入落实；二是对于教师培训效果评价随意性大，由于缺乏客观、有效的评估手段和措施，在对教师培训后的评价工作上缺乏针对性，特别是受训教师、学校领导个人主观上的认识不到位，往往对培训效果的评估上重视不够，在对教师评价上受其总结性发言的影响而侧重于印象成绩，或者为了照顾情面而给出与评估结果不符的成绩；三是对于教师培训效果评估方法上较为单一，特别需要强调的是，很多培训效果评价工作仅停留在问卷或书面测试上，无法从主客观上进行全面评估，也难以实现评估成绩的量化管理；四是对于教师培训效果评估机制缺乏完善，尤其是很多学校在教师培训后未能将培训成绩与其职位提升建立关联，在缺乏制度建设和统一规范的评价下，培训成绩仅仅是一个分数，不仅挫伤了受训教师的工作积极性，还抑制了教师参与培训的热情。
2 高校教师教育技术培训实效评估指标体系的构建
2.1 构建教育技术培训实效评估体系的原则和目标
结合高校教育技术培训实践，在进行全面培训实效评估中需要遵循一定的准则和原则，建立科学而正确的评估原则是开展评估活动，选择评估模型，发挥评估功能的有力依据。为此，一是要遵循客观性原则，客观性是对评估人员在对评估实效进行检测时，要从客观实际出发，坚持实事求是，避免个人主观推断带来了影响评估质量的基本方法。客观性主要表现在坚持指标体系的科学性、坚持判定实践的公正性，坚持选取指标的事实性，收集和处理数据的准确性，问卷设计的合理性。唯有此，才能从培训实效上来实现对培训结果的准确评价，才能真正发挥培训工作的应有价值。二是要遵循科学性原则，科学性是从科学的视角出发，结合教师培训实践来建立科学的评价指标体系，运用科学的指导思想和评估理论来进行科学准确的评价，尤其是对评价方法和评价指标的选择上，要体现出对数据加工的科学性。三是要遵循可行性原则，对于评价指标体系的建立上一定要体现出可行性，无论是评价方法还是评价内容，都要避免繁冗拖沓，难以量化，不仅耗费人、财、物、时间，还难以提升准确性。因此，要从评价指标体系的设计上，遵循科学、合理、可行的原则来确定评估体系，以便于操作执行。四是要遵循定量与定性相结合原则，对于定性评价侧重于质，主要是对评价对象的性质进行界定，其特点是模糊性和综合性，而对于定量评价，则侧重于对量上的分析，尤其是对于培训效果中的相关数据的比较和分析，更需要从复杂的培训动态中进行有序的量化，以满足定性和定量相结合的要求。评估目标是开展高校教师教育技术培训实效性的落脚点和归宿，也是构建多元化评价指标体系的重要内容。本文结合高校教师教育技术能力要求和相关文献，最终明确4个一级指标、10个二级指标和32个三级指标，从而构成一套层次分明、结构合理的培训实效评估体系。
2.2 对教育技术培训实效评估主体及运行模式的选择
谁是培训实效评估的主体？如何选择培训评估主体？从培训评估实践来看，不同的评估主体，其评估视角和认知态度是不同的，如何在评估主体的选择上避免自身的局限性，需要从评估主体的甄选上进行全面审查，并得到相互平衡互补的效果。一般而言，在高校教师教育技术培训实效评估中，主要有五大主体，一是高校主管教育培训工作的相关部门，主要才宏观培训目标和培训方向上来确保培训评估工作的有序进行，并对评估活动进行开展落实和收集整理各类培训实施情况等内容；二是培训中心，主要由相关主管部门下设的实施教育培训管理工作的机构，作为培训工作的具体实施者，不仅需要从知识上进行提供服务，还需要从培训方案的制定、培训过程的监控与考核评定等工作；三是受训教师所在单位，对于受训教师自身单位相关教育培训工作的部门，其在安排自身学校培训工作的同时，也承担着对教师受训后的综合评估责任，并从对其参与到培训实践的表现进行总结和评定。如对其工作态度进行考核、对其教学能力进行对比分析、对其科研实效及工作绩效进行分析，以获得受训教师在培训后的教学水平变化；四是受训教师，作为最终的培训对象，结合自身培训实际进行自评，从培训前后的表现上给予最直接、最真实的自我评估；五是专家，邀请相关培训实效评估专家，通过对教师培训实效评估体系的实施和测评，来对教师的培训效果进行汇总和分析，最终得出相对公平公正权威的评估结果。
从教师培训实效评估实践来看，教学评估是贯穿于培训实践的全过程，并通过对培训前、培训中、培训后的教师表现等方面进行检查和考核，发现相关问题，及时改进培训方案，以提高培训实效和质量。作为教育培训主管部门，在落实培训实效评估工作中，既要做好自身的管理和协调工作，又要发挥统筹全局、协助评估的工作，积极在培训实践中制定全面的评估认定措施，并通过定期或不定期的审查监督来确保培训实效评估工作的有效执行。培训中心作为实施培训的主体，在培训实践及课程安排上，要组织好师资力量，并从教师的参与积极性的激发上来推动培训实效的评估。一方面将自身培训工作接受主管层面的监督，另一方面通过书面及角色模拟等方式来对受训教师进行知识技能综合考核，以提升培训实效。
2.3 综合运用多种培训实效评估方法
培训实效评估重在评估方法的选择，结合高校教师教育技术培训工作实际，需要综合运用多种培训方法来提升培训实效评估效果。一是目标评估法，对于培训工作及培训内容进行细化和分解成单个的目标，并从培训规划和培训阶段成绩上对培训过程进行全面监控，培训目标与培训实效是相互联系的，在目标评估法执行过程中，要对受训教师在培训后所达到的基本要求进行明确，从知识的掌握、能力的养成、工作方法的改进、思想态度的转变等方面进行对比，以实现对培训实效的确切考核。二是测试比较法，测试是对受训教师所学相关知识进行考核的有效方法，主要是通过书面或角色互换等方法来对相关知识、能力进行评估，其特点是培训后的测试，忽视在培训过程中对相关知识点的及时评测，为此，可以从测试时间选择上，对培训前及培训后的相关内容进行测评分析，比较培训后的评估方案的权威性和有效性。三是关键人物评估法，所谓关键人物主要是从受训教师自身相关的人来完成评估，如同事、学生、上级领导等。通过对受训教师在培训后综合能力的测评，引入同事评估法或学生评估法，来推进培训实效评估的可操作性和可行性，也有助于上级领导、同事、学生能够从不同角度来获得全面的培训评估效果。问卷调查评估法，主要以问卷问题的发生来考察培训工作内容，并让受训教师从回答问题中来进行评定其学习结果。在问卷调查评估中，一方面是文字性问卷，旨在从受训教师的思想及知识上进行测评，另一方面是实践性问卷，旨在从受训教师的技能掌握上来测评其学习效果。五是访谈评估法，通过对受训教师进行面对面的对话或交谈，从受训教师的心理及行为变化中来获得评定结果，本方法的优点是能够从谈话中获得受训者的工作态度及动机，不足是费时费力成本较大。
2.4 确定培训实效评估指标体系的内容
对培训效果的评估关键是建立公正、合理、全面的评估指标体系。对于高校教师教育技术培训实效评估指标来说，主要分为4大一级指标，即培训反应、学习收获、行为变化及培训成果。培训反应作为最基本的指标之一，主要包括对培训教师、培训内容、培训方式及环境设施等方面进行评估，是对培训活动的直接评估。主要评估方法有访谈法和问卷调查法，并从访谈内容和时间的灵活选择上来实现对受训教师的学习情况的掌握，而问卷调查则通过全面的设置问卷内容来获得培训过程的满意度，以改进培训工作，解决培训过程中的问题。学习收获是主要是对受训教师的学习后取得的成绩进行客观评价，如学习后的态度转变，学习后的知识与技能的提升等。通过学习收获测评来掌握教师在消化和掌握培训知识中的进度和程度，如由培训中心开展阶段性的学习评估，从测试受训教师的知识、能力及态度上来获得培训前后的变化，对培训后责任与意识方面有无提升，能否遵守相关规定做好示范和榜样，在知识理论及方法实践上能否得到相应要求等。行为变化的评估重在从受训者的态度、知识和技能等方面的表现来获得评估效果。一般来说，对于行为变化的评估主要放在培训后的3～6个月，通过上级领导测评、同事测评，以及学生测评等方法来考察教师的知识和技能状况。在指标选取上主要分为课堂教学实施和科研创新能力两方面，在教学实施上，结合受训教师的行为变化来测评其能否合理有效地运用多媒体技术来完善课堂教学，在科研创新中能否运用新技术、新方法来改进自身的研究水平等。培训成果的评估是对培训实效进行最高层级的全面评定，其作用是改善受训教师在培训后所取得具体工作表现和业绩，其指标主要有教师和学生。在教师层面上，通过对受训教师的教学实践、教学方法、教学效果等方面进行测定，并从其课堂组织、班级管理、科研论文集专著等方面来测评其成绩；在学生层面上，旨在从受训教师的教学能力及合作、创新能力上，能否促进学生成绩的显著提升，能够运用科学的态度和积极的方法来改善交流合作能力，促进教学与科研能力的全面提升。
3 结语
总之，对于高校教师教育技术培训实效评估体系的建立是一项系统而复杂的工程，特别是对于评估指标体系的选择和确定上，更要从客观性、可行性和科学性上来进行审慎对待，并能够结合培训工作实际来灵活创新。同时，在推进培训实效评估工作中，不断完善相关规章制度，优化评估工作流程，制定公平公正合理的激励约束机制，逐步提升培训评估工作实效。
参考文献
[1] 邓志建.成人学习动机研究现状及展望[J].当代教育论坛（综合研究），2011（7）.
【关键词】中小学教师;教育技术能力网络培训;效果评估;指标体系
【中图分类号】G420【文献标识码】B 【论文编号】1009―8097(2010)09―0058―04
一 教师教育技术能力网络培训背景
为了贯彻经国务院批准的《2003-2007年教育振兴行动计划》,配合基础教育课程改革和“农村中小学现代远程教育计划”的实施,提高中小学教师教育技术能力水平,教育部在2005年启动实施了“全国中小学教师教育技术能力建设计划”。计划按照“总体规划、分步实施、学用结合、注重实效”的原则组织实施。从2005年开始,组织部分省(自治区、直辖市)先行试点。[1]为进一步扩大培训的规模, 同年,教育部师范司委托北京大学和华东师范大学在两套培训教材的基础上,开发中小学教师教育技术能力培训(初级)网络课程。2006年5-9月期间,北京大学教育学院和北京大学网络教育学院合作,完成了网络课程及相关资源的开发。2006年11月至2007年1月期间,北京大学组织教师对广东深圳、辽宁沈阳和平区和新疆乌鲁木齐三地的近200名教师开展了网络培训试点教学,培训取得了满意的效果。2007年2月,该网络课程(初级)通过了教育部师范司和项目办组织的专家评审,并向全国推广。截止到2008年底,仅北京大学网络教育学院和广州市远程教育中心两个单位,就为12万多中小学教师开展了这门课程的培训。2009年,报名参加北京大学网络教育学院培训的人数已经接近9万人。[2]
二 实施效果评估的必要性
从以上描述可见网络培训的规模确实可观,但是网络培训是否真正起到了作用,在多大程度上起到了作用,我们应该如何对待网络培训:是继续推广?还是加以改进后再推广?还是立即废除停止?对于这些问题的回答都有待于我们对网络培训的效果进行评估。而目前,我国教师培训还没有一个成熟的评估模式来指导,对培训效果的评估方法也是各不相同。[3]现实中教育行政部门衡量教师培训效果的标准通常为是否完成了教育行政部门规定的学习课时,优秀率是多少等,致使教师培训存在各种各样的问题而未被发掘,最终导致很多的教师培训流于形式。教育界对于教师培训效果的评估倒是有一些研究,但是这些评估大都是针对传统的面授培训的,而且评估也只停留在一些浅层次上,关于网络培训效果的评估尚未出现。由此可见,运用一定的评估方法对我国教师网络培训效果进行评估无疑是非常必要的。在教育评价中,评价的准则通常有两种形式:其一为指标系统,其二为概括性问题[4]。指标作为一种评价的准则,能用外在的行为来反映内在的思想,用具体的项目来反映抽象的内容,具有便于测量、测量误差较小、信度较高等优点。因此文章尝试运用构建评估指标体系的方法对教师教育技术能力网络培训的效果进行评估。
三 评估指标体系的构建
1 指标体系建构的理论基础
因为文章构建的是对“中小学教师教育技术能力网络培训效果”的评估体系,所以首先涉及到的问题就是教师的教育技术能力有哪些,经过初级培训应该达到哪些目标。其次涉及到的问题是网络培训课程的质量,因为我们这里研究的培训是在网络环境下开展的,整个培训的内容是以网络课程的形式呈现的,网络培训课程的质量应该是影响培训效果的一个很重要的因素,也应作为网络培训效果评估的一个重要指标。再次涉及到的问题是选择什么样的评估理论对培训的效果进行评估。
综上分析,本文拟在对《中小学教师教育技术能力标准》(以下简称:“能力标准”)和《中小学教师教育技术能力初级培训大纲》(以下简称“初级培训大纲”)、网络课程评估理论、培训评估理论综合分析的基础上尝试构建出适合中小学教师教育技术能力网络培训的评估指标体系。
对于中小学教师的教育技术能力包含哪些,经过初级培训应该达到哪些目标,笔者结合了“能力标准”和“初级培训大纲”中的内容进行了分析,得出初级培训后中小学教师在“意识与态度”、“知识与技能”、“应用与创新”、“社会责任”方面应该达到的目标。
对于中小学教师教育技术能力网络课程的评估笔者参照了2002年6月7日,教育技术标准委员会的《教育信息化技术标准CELTS―22.1――网络课程评价规范》,规范中从课程内容、教学设计、界面设计和技术这四个维度对网络课程进行评价。
对于选择什么样的评估理论作为评估教师网络培训效果的支撑理论是本文的一个难点。此次培训的目标是提高教师的教育技术能力,而能力的培养与提高又是一个循序渐进的过程,影响能力培养与提高的因素也是多方面的。因此我们的评估不能是一个静态的评估,而应是动态的、全面的、连续性的、分层次的评估。而美国威斯康星大学的唐纳德•柯克帕特里克教授提出的评估四层次模式,也称柯式四层次训练成效评估模式[5]恰好采用了分层评估的思想,从反映、学习、行为、结果这四个层次来评价培训的效果。这无疑对我国的教师培训效果评估有很大的借鉴意义。其实,在实践中,人们已经开始将这一评估模型应用到教师培训评估中。教育部―微软(中国)“携手助学”项目中师资培训效果评估采用了柯克帕特里克分层次评估培训效果的思想,将教师培训效果分为教师对培训的反应、教师的学习、学校的支持、教师的应用、学生的学习结果五个层次分别进行评估。[6]因此本文在借鉴前人评估经验的基础上,将教师网络培训的效果的评估分为:教师对培训的反应、教师的学习、学校的支持、教师的应用和培训成果五个层次。其中的培训成果包括学生的学习结果、教师的教学成果、学校的综合实力三个方面。
2 评估指标体系雏形的构建
根据上述综合分析,构建出来的评估指标体系的雏形如表1所示。评估指标体系包括一级指标5个、二级指标16个、三级指标52个和相应的评判标准。
四 结束语
构建评估指标体系仅仅是教师网络培训效果评估工作的一个开始。将评估指标体系很好地应用到评估实践中,及时发现网络培训活动中存在的问题并加以解决,不断提高培训的效果才是我们的最终目标。但是对教师网络培训效果开展全面、深入地评估并不是一件容易的事。首先,教师网络培训是在网络环境下,依托网络课程开展的,那么网络课程的质量对培训的效果会有直接的影响。而对于网络课程的评估本身就是非常复杂的。其次,教师将培训中收获的知识技能应用到在教学工作中需要一个比较漫长过程,那么效果评估在应用层面上必然要持续较长的时间。最后,学生的学习能力、教师的教学成果和学校的综合素质这些都是很难进行如实地评估的,因此效果评估在衡量培训成果时又需要更大的耐心和更高的技巧。
参考文献
[1] 教育部.教育部关于启动实施全国中小学教师教育技术能力建设计划的通知[EB/OL].
[2] 郭.从一门网络培训课程到“虚拟”教师培训学院[J].中国电化教育,2009,(7):24.
[3] 戴锡莹,王以宁.柯试成效评估模式对教师信息技术培训评估的启示[J].电化教育研究,2003,(12):57.
[4] 陈玉琨.教育评价学[M].北京:人民教育出版社,2003:34.
