首页 公文范文 数据管理论文

数据管理论文

时间:2022-05-21 11:40:42 关键词: 数据管理 数据论文 数据
摘要:数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。其目的在于充分有效地发挥数据的作用。实现数据有效管理的关键是数据组织。随着计算机技术的发展,数据管理经历了人工管理、文件系统、数据库系统三个发展阶段。在数据库系统中所建立的数据结构,更充分地描述了数据间的内在联系,便于数据修改、更新与扩充,同时保证了数据的独立性、可靠、安全性与完整性,减少数据冗余。

数据管理论文

数据管理论文:建立机电设备大数据管理系统探讨

摘要:大同煤矿集团公司机电设备盘活工作采用手工记账,主要存在处理速度慢、传递不及时等问题;建立机电设备盘活系统可以对集团公司机电设备盘活管理所涉及存量机电设备信息生成、存量机电设备信息公示、盘活步骤、存量机电设备使用情况跟踪、分析等进行全程闭环式信息化管理,加快了设备周转、提高工作效率。

关键词:机电设备;大数据管理;系统

1建立盘活大数据管理的必要性

大同煤矿集团公司设备机电管理处、设备租赁中心的机电设备盘活工作存在诸多问题,主要集中在业务停留在手工记账阶段,机电设备信息以纸质单据或报表形式分散存放于各生产矿与集团不同部门,共享程度低,处理速度慢,易出错;机电设备信息汇总、统计慢,传递不及时,造成信息滞后,影响决策、分析;财务信息、存量机电设备台帐信息、现场实际情况对比困难,可能造成存量机电设备过储或供应欠缺;存量机电设备价值计算、平衡利库、库存预警等均依靠人工计算,工作量大。集团机电设备盘活信息管理系统(以下简称:机电设备盘活系统或系统)对集团公司机电设备盘活管理所涉及存量机电设备信息生成、存量机电设备信息公示、盘活申请、审批、价值评估、调拨、租赁、出售、转让、接受、报废、存量机电设备使用情况跟踪、分析等进行全程闭环式信息化管理。

2盘活设备管理流程

系统从各矿设备台帐及集团各部门财务数据开始,生成存量机电设备台帐,实时/定期对该台帐进行数据更新;各生产矿可通过实际需求查询或由系统库存报警自动生成机电设备盘活申请;设备机电管理处、设备租赁中心依据该申请,联系设备归属矿、机电处、集团财务等相关单位、对该申请进行线上核实/审批,以及线下现场检验等;获得审批通过的设备,将在存量机电设备原所属单位进行出库,在接收单位进行入库。系统为管理流程中的每一环节都提供详尽准确数据,有效辅助集团公司解决存量机电设备盘活过程中业务管理、库存管理、财务管理存在的执行、监控、统计等问题。其主要工作流程如图1所示(图中资产即指机电设备)。针对集团机电设备盘活业务停留在手工记账阶段,机电设备信息以纸质单据或报表形式分散存放于各生产矿与集团不同部门,共享程度低,处理速度慢,传递效率低,易出错;机电设备信息汇总、统计慢,传递不及时;财务信息、存量机电设备台帐信息、现场实际情况对比困难,可造成存量机电设备过储或供应欠缺;存量机电设备价值计算、平衡利库、库存预警等均依靠人工计算,工作量大等问题,研究开发集团机电设备盘活数据管理系统[1]。

2.1建立集团盘活机电设备源数据仓库

目前集团公司各直属矿井、千万吨矿井、二级子公司所辖矿井的各类盘活机电设备信息共享程度低,针对各矿可盘活机电设备管理的不摸底,各矿盘活机电设备所在位置、盘活机电设备完整性、可用性、可靠性情况不明朗。建立基于利用集团局域网和国际互联网的集团盘活机电设备设备数据仓库,对各矿盘活机电设备建立集团统一的标准化信息管理平台。

2.2建立集团盘活机电设备管理信息化体系

目前集团盘活机电设备管理流程是基于手工层面的管理流程,各矿信息获取、申报、审核、批准等均处于手工或半手工状态。建立基于电子信息流程的管理体系,盘活机电设备信息状态在线共享,与集团财务系统,设备管理系统实现对接,共享盘活机电设备的设备信息,状态建立集团层面的盘活机电设备管理运营标准实现机电设备盘活流程的电子信息化。

2.3建立集团盘活机电设备的考核指导体系

目前盘活机电设备的管理流程中有些环节还存在管理困难。目前集团各生产矿所属盘活机电设备的完整性,该机电设备是否已经被拆卸成不同配件;盘活机电设备的可用性,该机电设备是否在可以运行的状态;盘活机电设备的可靠性,该机电设备是否得到了应有的维护。由于手工操作的局限性,上述工作的管理处于缺失或部分缺失状态。利用互联网电子信息化技术,将管理颗粒延伸到每一台盘活机电设备设备,针对各台设备进行信息化考核。

2.4完善盘活机电设备分析预测功能

通过对盘活机电设备的机电设备管理运营,建立设备完整性、可用性、可靠性的大数据分析模型,对各矿盘活机电设备调拨、属地化管理等进行数据分析,实现风险库存、调拨预警等功能。

2.5实现平台分级管理、远程访问等功能

系统提供数据网络接口,可以利用Internet和集团局域网将盘活机电设备信息和分析报表等传送到有关部门及生产矿井,实现盘活机电设备信息的整合和信息共享、远程查询。同时针对各级领导和管理者开放不同级别的盘活机电设备数据,做到信息分级化管理。

3大数据在机电设备盘活方面的应用及创新

将大数据概念引入机电设备盘活领域,同时兼顾煤矿集团企业架构与煤机管理特殊背景,在国内外此项研究均属首次。系统为同煤集团机电设备盘活管理工作定制开发,以机电设备盘活工作为主线,同时兼顾研究设备维检运行、煤机调配规律等实现对集团直属矿井、千万吨矿井、子公司等分级进行机电设备设备状态的跟踪监督;通过与设备管理系统、财务系统对接,利用现有集团局域网、国际互联网等,实现信息共享,与机电设备盘活工作信息化。主要创新如下:(1)建立集团盘活机电设备设备的数据仓库,记录从设备采购、地理位置、归属、维检、盘活等信息,记录盘活机电设备的“前世今生”。(2)建立基于集团局域网、国际互联网的混合网络架构,通过与财务系统、设备管理系统对接,实现的煤矿机电设备盘活信息化工作体系。(3)通过对每台设备的数据信息化管理,建立完善的机电设备盘活监督考核体系,弥补了手工作业条件下,单台设备监督苦难的缺陷。(4)通过K-means、最大期望等大数据算法,建立机电设备盘活的大数据预警机制,实现库存、采购、盘活等多维度数据分析功能。

4前期研究工作情况、现有的基础和条件

同煤集团集团公司在煤矿信息化方面已取得了较成功的经验,塔山、同发东周窑等千万吨矿井已经成功实施库存管理系统,马脊梁矿实施了安全生产大数据系统。集团机电设备盘活大数据管理系统可充分利用机电设备管理与大数据风险预警的积累经验,为集团机电设备盘活管理工作进行定制开发。

5社会经济效益

(1)系统对集团盘活机电设备设备信息进行了统一化、标准化、数据化。通过建立盘活机电设备数据仓库,将集团各所属矿井的闲置机电设备进行统一归口管理,将各类可盘活机电设备进行信息公开与信息共享。可极大提高闲置机电设备的使用效率,避免重复采购。(2)系统对集团盘活机电设备管理工作进行了数据化、信息化梳理,建立完善基于现代网络信息化技术的机电设备盘活管理流程。从过去的手工/半手工管理模式,全面提升为信息化/自动化管理模式。(3)系统对集团盘活机电设备工作进行了深耕细作,借助信息化管理手段,从过去管理到矿/大类别的设备,精细化到每台设备的管理,通过监测每台设备的属地性、完整性、可用性、可靠性。大大提高机电设备盘活工作效率、通过对每台设备的精确考核,从而实现了机电设备盘活工作的闭环管理。(4)系统利用K-means、最大期望等大数据常用算法,建立大数据设备管理平台,通过监测盘活机电设备设备状态,为设备采购、设备报废、库存预警等提供管理支撑。

6结语

同煤集团存量机电设备盘活工作已经取得了丰硕的成果,机电管理处、设备租赁中心每年仅有数名管理人员,便已经实现了每年四亿元以上的机电设备盘活,为集团节省了大量采购开支。机电设备盘活大数据管理系通过对每一台盘活机电设备的精确管理、管理流程信息化实现、与现有设备管理系统财务系统对接、商业智能机制引入,可有效提高闲置机电设备使用效率,大大节约集团设备采购数量。

作者:庞海龙 单位:同煤集团机电管理处

数据管理论文:大数据管理会计信息化解析

摘要:

在大数据时代下,信息化不断发展,信息化手段已经在我国众多领域已经得到较为广泛的应用和发展,在此发展过程,我国的管理会计信息化的应用和发展也得到了非常多的关注。同时也面临着一些问题。本文通过分析管理会计信息化的优势和应用现状以及所面临的的问题,以供企业在实际工作中对这些问题的控制和改善进行参考和借鉴。

关键词:

大数据;管理会计信息化;优势;应用现状;问题

在这个高速发展的信息时代,管理会计的功能已经由提供合规的信息不断转向进行价值创造的资本管理职能了。而管理会计的创新作为企业管理创新的重要引擎之一,在大数据的时代下,管理会计的功能是否能够有效的发挥,与大数据的信息化,高效性、低廉性以及灵活性等特点是密不可分的。

一、大数据时代下管理会计信息化的优势及应用现状

在大数据时代下,管理者要做到有效地事前预测、事后控制等管理工作,在海量类型复杂的数据中及时高效的寻找和挖掘出价值密度低但是商业价值高的信息。而管理会计信息化就能够被看做是大数据信息系统与管理会计的一个相互结合,可以认为是通过一系列系统有效的现代方法,不断挖掘出有价值的财务会计方面的信息和其他非财务会计方面的综合信息,随之对这些有价值的信息进行整理汇总、分类、计算、对比等有效的分析和处理,以此能够做到满足企业各级管理者对各个环节的一切经济业务活动进行计划、决策、实施、控制和反馈等的需求。需要掌控企业未来的规划与发展方向就能够通过预算管理信息化来实现;需要帮助管理者优化企业生产活动就能够通过成本管理信息化对供产销一系列流程进行监控来实现;需要对客观环境的变化进行了解以此帮助管理者为企业制定战略性目标能够通过业绩评价信息化来实现。

(一)预算管理信息化

在这个高速发展的信息时代下,预算管理对于企业管理而言是必不可少的,同时对企业的影响仍在不断加强。正是因为企业所处的环境是瞬息万变,与此同此,越来越多的企业选择多元化发展方式,选择跨行业经营的模式,经营范围的跨度不断增大。这就需要企业有较强的市场反应能力和综合实力,对企业的预算管理提出了新的发展挑战要求。虽然不同企业的经营目标各不相同,但对通过环境的有效分析和企业战略的充分把握,从而进行研究和预测市场的需求是如出一辙的。企业对需求的考量进而反应到企业的开发研发、成本控制以及资金流安排等各个方面,最终形成预算报表的形式来体现企业对未来经营活动和成果的规划与预测,从而完成对企业经营活动事后核算向对企业经营活动全过程监管控制的转变。然而从2013国务院国资委研究中心和元年诺亚舟一起做的一项针对大型国有企业的调研结果中得出,仅仅有4成的企业完成了预算管理的信息化应用,大型的国有企业在预算管理信息化应用这方面的普及率都不高,足以说明我国整体企业的应用情况也不容乐观。所以从整体上来讲,预算管理信息化的应用并未在我国企业中获得广泛的普及。

(二)成本管理信息化

企业由传统成本管理企业向精益成本管理企业转换是企业发展壮大的必然选择。而基于大数据信息系统能够为企业提供对计划、协调、监控管理以及反馈等过程中各类相关成本进行全面集成化管理。而进行成本管理的重中之重就是对企业价值链进行分析以及对企业价值流进行管理。企业能够通过成本管理信息化对有关生产经营过程中的原材料等进行有效地信息记录及进行标示,并结合在财务信息系统中产生的单独标签,使与企业有关的供应商、生产经营过程和销售等的过程全都处于企业的监控。以此企业可以做到掌握生产经营的全过程,即能够通过财务信息系统实时了解到原材料的消耗,产品的入库及出库等一切企业生产经营活动。同时,结合价值链的分析和价值流管理,企业通过将生产过程进行有效地分解,形成多条相互连接的价值链,运用信息化手段对企业的每条价值链的成本数进行有效的追踪监管和综合分析,以此为基础为企业提出改进方案,并使用历史成本进行预测,达到减少企业的不需要的损失及浪费,最终达到优化生产经营过程。虽然成本管理信息化是企业发展的一个重要趋势,以大数据信息技术为基础的信息系统可以使得企业完成全面的成本管理,给企业的成本管理带来了巨大的推动力。然而信息化在成本控制方面的实施效果并不是很理想。

(三)业绩评价信息化

业绩评价是对企业财务状况以及企业的经营成果的一种反馈信息,当企业的绩效处于良好状态,代表企业的发展状况良好,也反映了企业现阶段人才储备充足,发展处于上升期,由此企业定制扩张战略计划。而当企业的绩效不断减少,代表企业的发展状况在恶化,也反映了企业的人才处在流失状态,企业在不断衰退,此时企业应该制定收缩战略计划。企业进行业绩评价信息化的建设,通过对信息系统中的各类相关数据进行综合分析,有效地将对员工的业绩评价与企业的财务信息、顾客反馈、学习培训等各方面联系在一起。对于企业而言,具备一套完善且与企业自身相适应的业绩评级和激励体系是企业财务信息系统的一个重要标志,也是企业组织内部关系成熟的一种重要表现。然而,如今对于具备专业的业绩评价信息化工具平衡分卡等在企业的发展过程中并未得到广泛的应用。其中最大的原因应该是对业绩评价的先进办法对于数据信息的要求比较简单,通常可以由传统方式获得。所以,现如今能够完全将业绩评价纳入企业信息系统,并能够利用业绩评价信息化来提高企业管理效率的企业数量并不多。

二、大数据时代下管理会计信息化存在的主要问题

(一)企业管理层对管理会计信息化不重视

我国企业管理层对企业管理会计信息化建设存在着不重视的问题。首先,对管理会计信息化概念和建设意义没有正确的认识,有甚至由于对于企业自身的认识不够充分,会对管理会计信息化的趋势产生了质疑和抵触心理。再者,只有在一些发展较好的企业中进行了管理会计信息化的建设工作及应用,但是,企业应用所产生的效果并不是很理想,进而促使管理会计信息化在企业的发展速度缓慢。

(二)管理会计信息化程度较低

大数据时代下,信息化手段已经在我国众多领域已经得到较为广泛的应用和发展,在此发展过程,我国的管理会计信息化的应用和发展也得到了非常多的关注。但是,由于管理会计在我国受重视程度不够,企业在进行管理会计信息化建设的过程中对与软件的设计和应用也要求较高,所以与管理会计信息化建设相关的基础建设还相对较落后。

(三)管理会计信息化理论与企业经管机制不协调

虽然随着国家政策鼓励和扶持,很多行业的不断涌现出新的企业,企业数量不断增多,但是由于这些企业在规模以及效益等方面都存在着较大的差距,同时在管理决策方面也产生了显著地差别。很多企业在发展的过程中并没有实现真正的权责统一,产生了管理层短视行为,没有充分考虑企业的长远利益等管理水平低下的问题。

三、管理会计信息化建设的措施

(一)适应企业管理会计信息化发展的外部环境

企业在进行管理会计信息化建设时,要结合企业所处的外部环境进行全方面的规划和建设。在企业进行规划和建设时,国家的法律法规等相关政策占据着十分重要的位置,需要对市场经济发展的相关法律法规进行充分理解和考虑,为企业管理会计信息化建设提供好的法律环境。管理会计信息化系统的正常运转要求企业处于相对较好的环境之中,以此充分发挥出其应有的作用。

(二)管造合适的管理会计信息化发展内部环境

企业管理会计信息化的良好发展要求企业能够提供良好的内部环境。树立有效推进企业管理会计信息化建设的企业文化,企业文化作为企业股东、懂事、管理层以及每个员工的价值观念体现,有利于各级员工都能够正确认识到管理会计信息化建设的重要性,接受管理会计信息化的价值取向。再者,企业要储备足够的管理会计人才,为管理会计信息化的建设提供源源不断的血液。同时,为企业管理会计信息化建设提供强大的资金保障。最后,对企业内部控制体系不断完善,为企业创造长足的生命力,为管理会计信息化赖以生存的环境。

(三)开发统一的企业信息化管理平台

在大数据时代下,信息化不断发展,对于企业而言,会同时使用多种不同的信息系统进行组合使用,并且这种情况在未来也可能将持续下去,企业需要建立综合统一的企业信息化管理平台。

四、结束语

管理会计信息化已经成为企业发展的重要趋势。同时也面对着一些问题。因此,相应的措施和不断地完善和改进是必不可少的,以此才能够促进管理会计信息化的不断发展。

作者:李瑞君 单位:河南大学

数据管理论文:制造企业资源数据管理系统设计

[摘要]

制造企业逐渐认识到材料、标准件等基础资源数据统一管理的迫切性,传统思路是每一类基础资源建一个管理系统,存在建设重复、维护成本高、系统集成复杂等问题,文章着重分析了企业基础资源管理业务流程共性需求,在分析基础资源数据特点的基础上,提出了以数据建模为核心的企业基础资源数据管理系统,实现多种类型的基础资源数据的统一管理。

[关键词]

制造企业;基础资源数据管理;管理系统;数据建模

1制造企业基础资源数据管理存在的问题

随着数字化技术在产品的设计制造过程中的深入应用,制造企业逐渐认识到基础信息资源统一管理的迫切性,开始逐步开展设计、制造等基础信息资源数据库建设,并应用信息化手段建立统一的信息资源管理体系,将企业经常使用的材料、元器件、标准件等基础资源整理后形成内部共享的基础资源数据库。然而,制造企业研发相关的标准件、材料、元器件等基础资源的分散在各个下属单位和部门,都不全面、比较零碎。由于缺乏统一管理和支持,各单位的数据库结构不一致、编码不一致、建设要求不一致,信息分散、数据重复、相互封闭,缺少持续维护,各数据库多数不具备完整性、权威性和开放性。缺乏统一的有效管理,共享程度低,必然影响设计制造一体化效率。传统的基础资源管理系统的建设思路是为每一类基础资源建一个管理系统,虽然实现了各类基础资源的管理,但也存在着极为严重的问题。主要问题表现在:

(1)投资大,开发周期长。

(2)运行维护成本高,管理员需要学习多个系统的管理技巧,需要与多个不同的系统供应商合作完成系统的维护和更新。

(3)使用成本高,使用人员需要熟悉多个系统,在查找一些紧密相关的数据时,需要跨多个系统操作。

(4)缺乏统一的、完整的基础资源管理,各系统间数据重复存储,造成大量数据冗余但又有部分数据不全的矛盾现象。

(5)集成应用成本高,各个系统间是独立的,为实现跨系统间的数据共享和交换,需要额外的集成工作。针对以上问题,制造企业亟需研发支持包括标准件、材料、元器件等基础资源在内的统一的企业基础资源管理系统,为企业各单位和部门提供统一的数据服务,也就是说,通过一个管理系统就能完成各类数据的管理和查询使用。

2基础资源数据统一管理模式

以标准件在企业里管理基础信息资源的主要过程如下。

(1)梳理数据模型:标准化管理部门完成标准件信息梳理,包括标准件类别信息,每个标准件的描述信息等。

(2)开发系统:系统开发人员根据标准件信息设计数据库,完成系统的代码开发。

(3)部署系统:系统管理员完成系统的初始化,设定人员功能权限。

(4)数据录入:数据维护人员将标准件数据录入到相应的管理信息系统中。

(5)数据使用:标准件使用人员访问管理信息系统,查找需要的标准件并下载数据。材料、元器件以及其他基础资源的实现方式大同小异,最终企业往往在逐步建设过程中形成了矩阵模式,即标准化人员、软件开发员、系统管理员、数据管理员和数据使用人员需要再多个不同的系统中完成相应的重复性工作。针对传统的多个基础资源管理系统并存的缺点,本文提出的企业基础资源管理系统抽取业务流程共性需求,通过一次系统开发实现多种类型的基础资源信息统一管理。

(1)开发系统:系统开发人员总结各类基础资源信息的数据模型共性,开发企业基础资源管理系统。

(2)系统建模及部署:系统实施人员根据基础资源数据结构和管理要求完成基础资源数据模型、表单模型、流程模型等模型的建立。

(3)数据录入:数据维护人员选择待录入的基础资源数据模块,将数据录入到系统中。

(4)数据使用:使用人员访问企业基础资源管理系统,查找需要的数据并下载数据。因此,建立企业基础资源管理系统后能有效解决多个系统存在的问题,其中最核心的功能是需要设计开发兼容各类基础资源信息的建模工具。

3系统核心功能

针对新的数据对象的管理需求,数据管理功能模块为系统实施人员提供业务建模配置工具。

(1)数据建模:利用数据建模工具完成数据对象的数据模型的建立。

(2)表单建模:从数据模型中选择相关的数据源作为表单展现数据,利用模版自动生成表单的样式(HTML代码),美工人员借用第三方网页设计器完成表单页面的美化。

(3)报表设计:从数据模型中选择相关的数据源作为表单展现数据,选择报表的模版展示方式,生产报表页面。

(4)利用功能设计工具实现数据对象的展示页面(WebPage)的布局,设定增加、删除、修改等基本功能,确定页面的位置及关联菜单。

(5)利用工作流引擎设计数据管理的流程,明确各环节的角色、权限和业务逻辑。该步骤可选,即对于部分数据可以不经过流程直接提交数据库。

(6)用户使用新功能完成数据维护。

4数据建模设计与实现

数据建模功能是基础资源管理系统的基础模块,是实现多基础资源数据统一管理系统的核心。从企业设计制造过程中使用的标准件、材料和电子元器件数据特点分析可以得出,基础资源信息由两类数据或属性组成:

(1)基本属性:可以用数据可中一个字段描述的数据,包括字符、整数、小数、时间、文件、富文本、图片等。

(2)复杂数据对象:指资源的一个属性需要用多个数据来描述,在数据库中需要用一个结构化的表格来表示。因此,企业基础资源管理系统需要提供支撑上述两种属性建模及数据录入功能。在数据建模中根据描述基础资源属性的不同,采用三种类型来创建及管理。对同一种基础资源建立一个单独的库进行管理,对每个库建立分类。注意到基础资源每个类别拥有该类别的独特属性。以材料数据为例,在金属材料类别中一个常用的属性是剪切强度,但对于非金属材料而言,如橡胶而言,一般不测试热导率。为保证系统能灵活定义基础资源属性的同时保证存储空间最优化,系统采用继承树的方式存储基础资源属性。数据建模的最终目的是生成物理表,在生成物理表的过程中有“继承”关系的体现,所谓继承就是根据分类的层级关系,孩子分类结点自动拥有父级结点的属性,同时孩子结点可以有自己特有的属性。Browser是浏览器段运行的JQuery脚本程序,在客户端对建模过程字段类型、字段长度、精度以及是否必需等规则开展校验,T9PcategoryTypeAct为分类管理前后台交互类,属于基础服务层,获取从浏览器发出的建模指令,判断属性字段是否存在,T9PropertyCategoryAct负责数据建模前后台交互类,属于数据交互层,根据T9PcategoryTypeAct的指令完成在数据库(DB)中完成数据库表的建立。

5结语

上所述,本文提出的制造企业基础资源管理系统基于统一管理模型,能有效降低开发和维护成本,有效解决多种基础资源管理系统建设重复、缺乏统一管理等突出问题,系统的核心是灵活的数据建模功能,使系统适应基础资源数据多样化的特点,目前已在制造企业实际使用,取得了较好的经济价值。

作者:马戎 周翀 单位:湖北工业大学 中国兵器工业信息中心

数据管理论文:探析欧洲海洋数据管理网络及其服务

欧洲的海洋观测系统是分散的。在欧洲各沿海国家内,分布着政府机构和私人工业的600多个科学数据收集实验室。他们通过船载传感器、潜水设备、固定或漂流平台、飞机、卫星等手段收集数据,用以观测物理海洋、地球物理、地质、生物、化学等参数。欧洲的海洋观测系统又是集中的。它是全球海洋观测体系的重要组成部分。欧洲的主要海洋区域,如北极、大西洋、波罗的海、地中海和黑海以及北美和亚得里亚海都具有各自鲜明的特征,也都有各自的区域海洋观测系统,如西北大陆架业务化海洋学系统(NOOS)、波罗的海业务化海洋学系统(BOOS)等[2]。另外,欧洲的海岸线蜿蜒曲折,破碎复杂,各国还建立了许多局地海岸带监测系统,以便为海岸线资源的监测和管理提供支持。

欧洲的数据管理网络

海洋数据的获取对于众多的海洋研究领域具有重要的意义,海洋防灾减灾、海洋工程开发、海洋环境保护、气候变化预测、海洋国防安全等都离不开海洋数据。欧洲在先进观测系统的基础上,建立了较为全面的数据信息管理和服务网络,并将它们在互联网上公开。通过使用人性化简单快捷的可视化用户界面,让来自不同背景的、无论是否具有处理复杂元数据库经验的用户来提取所需要的信息,这些措施有效保证了对海洋学相关数据和信息的轻松访问。这种便利的访问和获取方式将确保网络的使用并不仅仅局限于业务海洋学中心和机构。学者及来自各界的科学家和企业家将能够找到各种欧洲海洋观测系统和数据相关的信息,例如观测站点/设备,观测数据要素、测量精度、时空分布及观测数据所有者等特征信息。

1)欧洲海洋数据和信息管理网络

欧盟发起的海洋搜索(sea?search)计划聚集了来自30个欧洲沿海国家的33个研究所/中心,在不同的海洋数据和信息的管理和附加服务方面具有丰富的专业经验[3]。数据的学科范围包括物理海洋学、海洋生物、海洋化学、水动力学。另外,这些中心在各自的国家局扮演海洋数据和信息的国家资料中心或联络点的角色。它们是国家的中心节点,与其他的组织相连接,积极参与海洋研究和海洋环境管理活动;因此,负责监测和检查国家海洋研究活动和海洋数据流。大部分的合作伙伴也加入了IOC-IODE系统的国家海洋学数据中心。这些成员机构也参与了很多部级和国际级别的海洋研究计划,包括一大批的欧盟委员会①计划。在多数情况下,成员机构对这些计划的海洋数据管理给予支持或协调。通过这些过程,成员机构为数据和信息管理的全过程,即数据监测、追踪、质量控制、处理、存档、产品制作、数据分析、元数据库及数据库维护、支持服务、数据分发/服务等积累了专业的技巧,训练有素的员工,以及建设基础设施(软件、硬件、网络)。在sea?search(2002—2005年)计划期间,所有的成员组织一起建立并推广了来自欧洲30个沿海国家的海洋数据和信息资源的泛欧洲目录以及概况。这些服务的维护、升级,以及未来的拓展由sea?search的后续计划———海洋数据网络计划(seadatanetproject,2006—2010年)来完成。sea?search计划的目标包括以下内容。(1)建立、维护及电子3个元数据产品/目录以追踪海洋数据和信息的动态,并提高欧洲海洋数据和信息的知名度、总体概况及可获取性。这3个目录分别是:①欧洲海洋环境数据集目录(europeandirectoryofmarineenvironmentaldata?sets,EDMED),一个索引和检索海洋环境相关数据集的欧洲标准,覆盖多个学科,它发起于1991年,至今仍在不断更新。目前,EDMED已经涵盖了来自超过574个资料中心的2814个数据集。②航次总结报告(cruisesummaryreports,CSR,旧称ROSCOP),一个通过调查船检索海洋航次信息的全球标准。它给出了这些航次所涉及的数据收集活动以及研究机构。航次报告由首席科学家编写。③欧洲海洋环境研究计划目录(europe?andirectoryofmarineenvironmentalresearchpro?jects,EDMERP),提供正在进行的研究计划、数据收集活动、参与机构和科学家、成果产品等信息。目前,EDMERP包括了来自超过62个研究中心的320多个研究计划。(2)针对数据和信息管理实践与方法交流经验,共同促进其发展和实施。(3)建立并组织形成处理、质控、存档不同格式海洋学数据的总体能力,并充分考虑单个团体能力差异以及新数据种类的出现。(4)定义、建立、实施公共数据索引(commondataindex)元数据目录,保证用户可以获得详细的海洋数据可获取性和地理分布信息。可扩展标记语言(XML)技术将被应用于以分布式网络方式建立并维护新的元数据库,支持跨越多平台的检索。

2)海洋数据管理欧洲基础设施

欧盟海洋数据网络(seadatanet)计划是sea?search计划的后续计划,它的目标是建立一个标准化的系统来管理由海洋调查船和新型自动观测系统所收集的不同种类的海量数据集以及网络,并巩固现有基础设施,即来自35个欧洲国家的积极进行数据收集工作的40个国家海洋数据中心和卫星数据中心。这些专业数据中心的联合将产生一个独特的数据管理系统来在线提供统一质量标准的综合数据集[4]。seadatanet已联合开放数字资源库,对来自海洋船队,新型自动观测系统和空间传感器的数据、信息、产品和知识,进行管理、访问和共享。

通过使用通信和信息技术的新发展和标准,现场和卫星海洋数据平台正在作为一个独特的虚拟数据中心提供元数据、数据和产品。seadatanet的各国合作伙伴将确保数据的归档和保存,以便它们被用于新的研究,保护不可能被重复创建的独特观测数据,提高供研究项目及海洋环境管理和教育、历史以及其他用途的数据的可用性。seadatanet还涵盖了以数据为基础的研究所强调的重要信任问题:安全性、保密性、所有权、保证来源、真实性,以及数据质量和元数据。标准的制定及其在通信和数据、元数据和产品质量保证问题方面的应用,为综合数据集提供了可通过评估的质量。seadatanet采用分布式网络方法对其数据资源实现综合协调的概述和访问,即通过制定和实施通用数据索引(CDI)服务来为用户提供了跨越整个欧洲的不同数据中心的海洋数据的可用性和地域分布等详尽信息。CDI为单个的数据集(如样本、时间序列、剖面图、轨迹等)提供了基于ISO19115的指数(元数据库),并提供了一个独特的在线数据访问接口。seadatanet同时还提供数据产品服务,其产品设计的目的是验证和综合有关海洋状态和健康监测的多学科数据集。区域涉及北极地区、北大西洋地区、波罗的海、地中海、北海等区域;主要变量包括热量和盐度、海平面、海流,还包括海洋生物资源及生态系统的相关变量,如营养盐和溶解氧等。区域seadatanet产品已通过这个项目的框架开发了专用的网络界面———OceanBrowser并向公众访问开放。通过这个网络界面可查看水平断面和任意垂直剖面。图形可以导出为各种格式,包括PNG,EPSSVG和KML,还可下载NetCDF格式的整个数据产品或使用OPeNDAP下载一个子集。seadatanet开发的基本型产品主要是环境参数的网格场,用于估算其平均值、季节变化及年际趋势。分析场使得seadatanet数据中心能够进行质量比对检查和其余离群值的检测。这些产品被科研团队广泛使用,如模型初始化和新的观测地点的优化选取等。#p#分页标题#e#

同时,一批面向非专业人士的高层次产品也将被,以实现贡献于国际气候变化与可预测性研究计划(CLIVAR)和海洋生物地球化学和海洋生态系统综合研究计划(IMBER)等重大国际项目、为Argo/Coriolis、My?Ocean、MFS/MOON等实时/业务项目提供补充产品等目标。用于分析的算法在优先级参数、时间和空间尺度和现有的程序方面,充分考虑了在不同海洋区域的特殊环境条件和需要。不同区域产品之间的一致性问题,由逆变模型分析进行的交叉检查来确保,并且通过参考DIVA图形软件专家和国际专家来实现。目前的工作主要为进一步提高产品的可视化服务:用户将能够从产品目录中搜索到数据产品,然后在地图中查看以及下载产品。目录和地图查看服务正在与My?Ocean合作,根据INSPIRE和OGC标准进行开发[6]。在元数据服务方面,欧洲海洋机构目录(EDMO)、欧洲海洋环境数据集目录(EDMED)、欧洲海洋环境研究项目目录(ED?MERP)、航次总结报告(CSR)、欧洲海洋观测系统目录(EDIOS)等5个欧元数据服务,给出了欧洲的海洋组织和他们在海洋研究项目、大型数据集管理,以及调查船和监测计划获取的欧洲海洋和全球海洋数据方面的概要。这些目录由各国协同编制,由seadatanet合作伙伴整理。每个目录都有各自的来源,然而seadatanet已将所有目录在使用语法、语义和工具上进行了统一。下面分别介绍seadatanet的5个元数据目录[7]。

(1)欧洲海洋环境研究计划目录

欧洲海洋环境研究计划目录(europeandi?rectoryofmarineenvironmentalresearchpro?jects,EDMERP)涵盖了海洋气象、物理海洋、化学和生物海洋学、沉积学、海洋生物学和渔业、环境质量、沿海和河口研究,以及海洋地质与地球物理等学科范围广泛的研究项目。在EDMERP编目中的研究计划是根据其题名或最关键内容的摘要而排列的[8]。其主要目标是支持用户在整个欧洲范围内寻找其感兴趣的研究活动,使他们能够与计划的科研管理人员联系,并访问项目成果,如数据、模型、出版物等。数据库具有许多实用功能,例如确定沿海和河口的研究项目,包括它们的数据收集活动,确定灰色文献(greyliterature)等。EDMERP由欧盟海洋搜索(EUsea?search)项目发起。欧盟seadatanet是其后续计划,参加seadatanet的成员国覆盖了所有35个欧洲国家。此外,EDMERP最近完成了一次重大升级:EDMERP用户界面和在线内容管理系统已经升级到第二版(V2),这将更好地衔接其他seadatanet目录,并使用已被引入seada?tanet的通用词汇。用户可以查询和浏览EDMERP目录,还可以指定搜索条件的组合。由此生成的与查询匹配的结果将出现在一个浏览列表中,清晰显示所选的个数,并允许在列出的结果之间跳跃浏览。此浏览列表可按一些关键要素排序,也可查看每个条目更多的细节,用户可以从一个项目跳到另一个。所涉及的组织和国家机构名称均设置了超链接,以链接到欧洲海洋组织目录(EDMO)所提供的具体组织的完整地址和描述介绍。EDMERP条目的汇编和维护由seadatanet网络的参与伙伴进行协调,它们与各自国家的机构联系和沟通,确保收集到重要的海洋研究计划的最新信息以及有关合作伙伴机构的地址和相关配置文件。NODC通过位于荷兰的机构来协调EDMERP的维护。这是通过一个专门的网上EDMERP内容管理系统(CMS)实现的。NODC可以为该国机构设置子账户,使其可以拥有自己的登录信息,因此,各机构可以添加和编辑自己的计划记录。然而,NODC负责验证由当地机构执行的所有修改和新建条目,然后再通过EDMERP用户界面提供给用户。另外,研究机构可以通过XML文件交换提供新条目和现有的条目的修改。因此,已经开发了一个新的适合单机使用的录入工具———MI?KADO。本着与seadatanet和NODC内的其他元数据库标准化和统一化的目的,EDMERPV1XML架构和XML交换格式已使用ISO19115元数据标准的标签来制定。EDMERPXML格式使用了通用词汇(commonvocabularies),该通用词汇是在seadatanet计划内发起建立的,通过网络服务和用户客户端保持业务运行。通过使用ISO标签和通用词汇,确保了与其他元数据库之间的互操作性。MIKADO工具可兼容修订后的CSRV1的XML格式,并使用seadatanet通用词汇。

(2)航次总结报告航次总结报告

(cruisesummaryreports,CSR,旧称ROSCOPs)是记录和汇报航次调查或海上现场实验的常用手段[9]。传统上,首席科学家有义务在航次结束两星期内向其国家海洋学数据中心(NODC)提交一份航次总结报告。通过此报告给出海上测量和所采集的样本的第一级目录清单。在欧盟Sea?Search项目范围内,德国海洋局(DeutschesOzeanographischesDatenzen?trum,DOD)已经安装了一个创新的基础设施,以简化录入和更新航次总结报告(CSRON?LINE)的流程,并通过互联网搜索和提交航次总结报告(CSRRETRIEVAL)。作为其后续项目seadatanet的一部分,覆盖范围扩大到了参加seadatanet的所有35个国家。目前正在进行的一个重大的升级是:CSR用户界面和维护系统已经升级到第一版(V1),与其他seadatanet目录更加一致,并使用了为seadatanet介绍的通用词汇。目前,CSR数据库涵盖了从1873年直到今天,来自欧洲30个沿海国家覆盖欧洲海域和全球海洋的超过37万条航次信息。其中也包括来自欧洲国家历史的CSR,从国际海洋勘探理事会(ICES)数据库加载的1960年之后的航次总结报告。CSR的汇编和维护由seadatanet网络成员负责协调,他们与各自国家的首席科学家沟通并且提交其CSR报表。NODC是荷兰的责任机构,协调和指导NODC成员机构整理和维护全国的CSR条目。这可以直接使用在线内容管理系统通过seadatanetCSR数据库完成,或者以CSR的形式提交给NODC,然后NODC将传输XML格式的CSR更新至seadatanetCSR数据库。为了与seadatanet和NODC内的其他元数据库标准化和统一化,使用ISO19115元数据标准的标签制定了CSRV1XML架构和XML交换格式。CSRXML格式使用了seadatanet发起的通用词汇,它通过Web服务和用户客户端保持业务。通过ISO标签和通用词汇的使用,与其他元数据库互操作性得到了确保。作为seadatanet项目的一部分,输入工具也已经升级。已经开发了一个新的输入工具:MIKADO,它适用于单机使用,与修订后的CSRV1的XML格式兼容,并使用seadatanet常见通用词汇。#p#分页标题#e#

(3)欧洲海洋环境数据库目录

欧洲海洋环境数据库目录(Europeandirecto?ryofmarineenvironmentaldatasets,EDMED)。由意大利国家海洋学和实验地球物理学研究所(OGS)维护的海洋资料库目录介绍了由意大利几个科学实验室收集的500多套意大利海洋数据和普遍关心的国际数据库。该目录清单包括物理海洋学、海洋化学、生物海洋学、海洋气象、水文、海洋生态和水下声学等学科[10]。自21世纪初开始,已在全球范围收集多目录记载的数据集。他们的描述信息包括:观测的参数、仪器、数据处理、地理区域和时间周期、可用性和协调中心及联络人。它们以各自的格式(如数据库或文件、模拟记录、纸图、硬拷贝表格、生物样品等)被引用。完整数据集目录位于服务器上。

(4)欧洲海洋机构指南

作为seadatanet检索服务的一部分,欧洲各国的国家海洋数据中心维护着许多的元数据库。对于每个目录,重要的是具有海洋数据采集、处理和管理活动和研究项目所涉及组织的最新名称和地址。因此,建立了欧洲海洋机构指南(Europeandirectoryofmarineorganisati?ons,EDMO),以简化和有效一致的方式来管理这些地址和组织概况。目前,EDMO列出并描述了超过1000个研究院、数据保存中心、监测机构、政府和民间组织,它们从事海洋和海洋科研活动和/或数据和信息管理或支持服务。EDMO条目的汇编和维护,由seadatanet网络的国家海洋学数据中心(NODCs)协调,他们与其所在国家的机构接触和沟通,以收集信息确保这些机构的最新地址和信息。每个现有的元目录的维护工作被并入这些NODCs的国家收集活动中,并已经实施新的手段和工作方法,以支持协调的维护。NODCs可以通过网上内容管理系统(CMS)检查和更新国家组织的条目。

(5)欧洲海洋观测系统目录计划

欧洲海洋观测系统目录(Europeandirecto?ryoftheinitialocean-observingsystems,ED?IOS)是一个基于互联网的欧洲海洋观测、测量和监测系统的检索目录,是欧洲全球海洋观测系统(EuroGOOS)的倡议之一,由欧洲委员会研究总局共同出资开发。该目录包含元数据,即位置、测量参数、频率、数据的可用性、仪器的技术信息、负责机构以及数据持有机构的链接等信息。EDIOS目录的定期更新,确保大多数欧洲进行连续观测的海洋观测系统的最新信息。该目录是EuroGOOS全面实施的先决条件,它实现了对欧洲业务模式的可用数据进行连续分析,从而能够优化仪器的布放、采样策略及分类设计;基于EDIOS可访问数据及其包括的海洋观测系统,将海洋观测设置为欧洲标准,并帮助定义欧洲海洋观测系统。EDIOS有如下几个目标:①收集目前在波罗的海、东北大西洋(包括西北部的欧洲陆架)、地中海的所有欧洲海洋观测站点/设备(站、断面、重复样品、浮标、平台等)获取的信息,包括其地理位置、技术特点、观测的频率,并将这些信息传输到一个可查询的数据库(目录)。②通过对使用中的海洋观测站点/设备进行分类来定义欧洲海洋观测系统。③创建一个可视化用户界面(用户参与),以方便各种潜在用户访问本目录。EDIOS分类系统对EDIOS元数据库中的条目进行了分类,使全球海洋观测系统(GOOS)的工作人员和使用者能开放式的以最小限制访问GOOS并立即识别描述观测站/数据的记录;访问某些组织和GOOS区域联盟的观测站/数据;以及那些仅设计为单一机构或本地接入和使用的观测站/数据。目前EDIOS包括12000多个信息条目,并不断地在更新中。EDIOS收录的信息包括:①数据收集手段(仪表、传感器、船舶、网络等)的技术规格。②地理坐标。③观测的详述以及他们的时空特征(但不包括观测值)。可以包括站点采样的生物和生物化学数据的信息,没有必要为这种实际记录存储做特殊的考虑。将提供包含实际记录的数据库/档案的链接。④测量的近似精度。⑤采样数据目前的应用,包括衍生产品的应用。⑥每个仪表或传感器的责任机构/研究所。⑦数据持有机构和研究所的链接。EDIOS使得各国的国家海洋观测系统能够快速组合和协调,提高欧洲周围海域的监测和建模,并发展和完善观测活动。它还允许对海洋观测和预报系统的性能进行评估,并通过建立业务海洋观测系统的分类计划,来为海洋观测技术设置欧洲标准。EDIOS将鼓励对目录中包含海洋观测系统产生的数据在国家间进行广泛科学使用,以助于预测、评估,并制订应对全球变化的方案。

EDIOS对欧洲业务海洋学的促进作用将凸显在业务系统中的各个组成部分中,从仪器制造商、海洋观测系统的设计和实施、建模到附加价值处理和客户的需求。除了IOC/全球海洋观测系统、EuroGOOS、世界气象组织等国际计划的用户外,该目录还将寻找自己的用户群体。他们将是科学家和海洋科研院所和机构,环境和资源管理机构,气象部门等其他人员;此外还包括SMEs海洋行业的中小企业。EDIOS将有助于一般的海洋资源用户找到他们感兴趣的数据来源。此外,欧洲海洋观测地点/设备的汇编将有利于业务海洋学产生数据的协作及科学使用,从而减少冗余或重复的数据采样。由此带来的成本节约可能吸引更多的调查研究海洋,进而增加我们对海洋过程的整体了解。对ED?IOS测量系统的分类,将建立欧洲的海洋观测系统所需的欧洲标准。这些标准将处理由国家和区域机构存储的海洋观测站点/设备的格式、尺度、单位、地域分布、类型和详细信息。他们将有可能激励海洋观测设备的制造商和业主改善他们的系统。EDIOS将有可能首次实现对欧洲业务模式的连续性数据进行分析。主题网络将收集分散的海洋观测系统信息,将其整合归入目前正在使用的欧洲业务化海洋观测站点/设备的目录(包括黑海)。EDIOS的建立将尽可能与现有的如SEANET和EDMED等国际元数据库密切结合。如上所述,这样的一个目录能够协调各个国家海洋观测站,以改善欧洲海域周围的监测和建模,它是EuroGOOS全面实施的先决条件。EDIOS将会包括欧洲目前所有的目录以及数据存储机构和研究所的链接,从而有利于欧洲的海洋组织、机构和研究机构之间的联网和数据共享。EDIOS将采用未来定期更新的规定。EDIOS将向海洋科学、机构和企业提供前所未有的服务。这将补充和支持元数据库,包含项目的档案记录,或该清单的科学航次,档案数据中心,数据中心目录和其持有者。到目前为止,海洋观测站/设备的信息包括:海洋站、重复站、锚系浮标、远程成像等,目前在欧洲这些信息分散且不容易获得。许多区域数据库包含某些类型海洋观测地点/设备的材料,或专注于测量变量和机构持有的数据。国家机构和研究机构通常持有他们经常使用的海洋观测地点/设备名单,但这个信息在不同的机构之间是不兼容的,即格式、尺度、单位等类型和详细信息往往不一致。因此,欧洲海洋观测地点/设备全面的目录将是业务海洋学和海洋科学领域一个新的非常有用的工具。在海洋数据管理领域,EU/MODB(地中海海洋资料数据库)率先提供了一个地中海温度和盐度的全面数据集。这项工作由EU/ME?DATLAS项目进一步发展,该项目制作了目前地中海地区最完整的数据集,包括温度和盐度的气候图集。正在进行的EU?MEDAR/ME?DATLAS-II项目,旨在通过收录化学和生物参数和黑海地区的数据推进上述工作。欧洲海域其他地区的数据库和元数据库包括:波罗的海海洋观测系统(BOOS)收集由波罗的海沿岸国家运行的观测站观测信息;对于北海,欧洲北海地区的固定监测网络研讨会(SeaNet)提供浮标和平台的全面信息;其他欧洲国家建设海洋数据和元数据的数据库的行动,与欧盟支持的区域海洋大型研究项目框架内进行的海洋数据和信息管理活动相互联系(OMEX、MTP、CANIGO等)。#p#分页标题#e#

除了BOOS和SeaNet元数据库外,所有上述数据库和元数据库,主要或完全以传统海洋航次调查期间收集海洋学数据为基础。然而,欧洲的海洋预报需要具有实时数据采集能力的观测网络和分析系统、数值模式和资料同化程序。为此,大多数欧洲沿海国家维护着业务海洋监测计划,这些计划通常由国家机构和研究机构或科研组开展。然而,这些计划和项目通常只在每个国家内部运作,很少互相协调,即使在一个国家的各机构之间他们往往也是不相容的。一般来讲,一个国家有10到15个不同的机构在进行业务观测,如果计算所有那些地方一级的机构,数字可以达到更高。除了国家方案,业务海洋数据也来源于国际项目(如MF?SPP—地中海预报系统的示范项目)。总之,EDIOS是业务海洋学一个急需的工具,将填补现有欧洲海洋元数据库存在的差距。EDIOS将通过提供关于欧洲在连续使用的仪器和传感器信息的一个全面的目录,帮助Euro?GOOS建立欧洲海洋观测系统。此外,它的可视化用户界面会使用户很容易获得感兴趣的EDIOS资料,从而确保了EDIOS对所有海洋部门、商业和非商业组织的实用性。

欧洲海洋观测与数据网络欧洲海洋观测与数据网络

(Europeanma?rineobservationanddatanetwork,EMOD?NET)是欧洲海洋委员会2008年发起建立的,其目的是把现有的、分散的欧洲海岸带、大陆架以及周围海盆海洋观测系统获取的原始数据整合起来,对其进行综合管理,并制定相应的政策保存数据,为政府决策者、海洋管理部门以及相关部门和研究人员等用户提供方便快捷的数据访问和获取渠道,提高海洋观测、预报、海洋资源管理、海运安全以及欧洲海洋研究效率等各项工作。EMODNET是端对端的系统,由传感器与平台、调查研究、通信系统、数据管理和信息工具几个模块组成。EMODNET将形成一个公共的数据管理办法,倡议和组织协调海洋数据的管理,包括欧盟第六框架计划全欧洲海洋数据网络(seadatanet)的延时数据、欧洲海底观测网(ESO-NET)的海底长期、多学科观测站,欧洲全球海洋观测系统(EuroGOOS)区域的实时和准实时数据,欧洲气象卫星组织(EUMETSAT)的数据、图像和产品,国际海洋勘测理事会(ICES)的大量海洋学数据等。欧盟委员会已经签署了创建欧洲海洋观测数据网络(EMODnet)试点组件的服务合约。总体目标是创建试点门户,将分散和访问不便的海洋数据整合成完整海盆的可互操作的、持续和公开的数据流。整合的结果将有助于欧洲海洋观测数据网络的最终业务运行,为其确定流程、最优技术和近似成本。EMODnet-水文地理门户(EMODnet?hy?drographyportal)是EMODnet正在建设的数据门户之一。水文地理门户发起于2009年6月,目前正在为广大用户提供越来越多的产品和服务。在编制水深调查(铅垂线、单波束和多波束调查)目录方面正在取得突出的进展,并采用SeaDataNet的通用数据索引(commondataindex,CDI)结构,提供其数据检索和获取服务。此外,这些调查数据被整合处理,生成了欧洲下列海区的高精度的电子水深产品:①泛北海区域:包括卡特加特海峡(在瑞典和丹麦之间)及延伸海域。②英吉利海峡和凯尔特海。③地中海西部、爱奥尼亚海、地中海中部。④伊比利亚海岸和比斯开湾(大西洋)。⑤亚得里亚海(地中海)。⑥爱琴海-利万特海(地中海)。通过专门的数据产品查询服务,用户可以公开访问下列地理信息系统图层:①在0.25′经纬度DTM网格上的格点水深。②标注有等深线的标量水深。③选择查看单个DTM单元的质控参数和源数据。④选择显示沿航线的深度剖面。⑤海岸线。⑥通过OGCWMS协议选择添加CDI检索服务所包含的图层,如测深调查的轨迹等。用户可以下载多种格式的数字地形。此外,用户可以检索原始调查的元数据,并可以向分布式数据管理者提交对这些数据集的访问请求。OGCWMS还支持用户使用数字地形与其他门户网站数据产品相结合进行使用,这些门户包括EMODnet开发的海洋生物、海洋化学、海洋地质学、物理学和海洋生物栖息地门户和其他门户。许多组织参与了水文地理数据和产品的获取和提供,它们包括:①水文局,负责测量航线、港口航道,生产用于导航的纸质海图和电子海图(ENC)。②负责管理和维护港口、海防、航道和水路的主管部门。这些机构开展定期水深监测调查,以确保维持经协商的航海深度或确保国家的海防安全。③研究所,在其科学航次调查中收集多波束调查资料。④工业机构,特别是能源工业,进行多波束调查线路管道和电缆线(风电场),以及电信行业调查电话和互联网电缆的架设。EMODnet水文和海底制图组正在积极寻求与这些组织的合作,以生成更多的数据集(单/多波束调查、探测轨道、复合产品),以支持良好的地理覆盖率和高品质的水文数据产品。接收到的数据集正用于生产区域的数字地形模型(DTM),分辨率为0.25′×0.25′。该数据集本身不,但在CDI的元数据中有所描述,提供有关制作DTM的背景调查的数据,数据的访问限制、组织者和者等明确信息。这样一来,门户网站不但为水文资料的提供者设置了一个向潜在用户展示数据集的有力窗口,还可以对数据集进行有效的管理。

结束语

海洋环境现场实测资料的采集和管理是监测海洋环境变化、海洋环境保护、海洋资源开发、海洋防灾减灾、海洋工程建设、海洋国防安全等一系列涉海事业的重要基础。海洋观测资料管理涉及海洋环境数据的存储、管理、分析、处理和共享等多个方面。为此迫切需要建立一套以海洋数据为对象,集海洋环境参数实时监测、海洋数据管理、数据分析处理和数据共享为一体的数据管理系统。在过去的十几二十年间,全球已经建立了海洋科研数据和元数据的几个国际数据库。例如,联合国教科文组织/政府间海洋学委员会(IOC)已建立了海洋环境数据和信息(MEDI)数据集的查询目录。从最初打印的目录开始,MEDI已于最近被重建为基于PC的应用程序。MEDI的数据库结构以全球变化的主目录(GC?MD)为基础。GCMD是由美国航空航天局开发的一个有关全球变化的数据集目录(包括海洋数据集)。近年来,国际海洋资料和信息交换委员会(IODE)又发起了海洋数据门户(ODP)计划,旨在通过IODE网络下的国家海洋资料中心完整地获取海洋数据集和目录,同时考虑通过网络服务开发,使用户能迅速便捷地查询、评估并获取数据,发展一个全球性的分布式数据系统。此外,澳大利亚也已经开发了自己的“BluePages”目录。尤其是海洋国家占大多数的欧洲,海洋数据和元数据的发展更是走在世界前列,欧洲海洋学数据和信息管理网络(EU/EURONODIM)、欧洲海洋观测与数据网络、欧洲海洋数据信息网络等项目和计划正在不断的扩充和更新。欧洲的先进海洋数据管理理念和运行模式值得我们借鉴。我们应采取具体行动,建立我国的综合海洋数据管理网络,并确保其能够持续地发展。这里仅对我国的海洋数据管理和共享网络持续发展提出几条建议。#p#分页标题#e#

(1)对国内现有的各种观测系统进行行动成本和效益评估,加强基础设施建设,建立完善的海洋观测、预报和预警系统。(2)通过加大适当的资金投入、鼓励机构间的合作、开展统一的海洋战略研究等手段,缩短各沿海省市、各涉海部门之间的数据观测和管理方面的差距。(3)尽快制定海洋观测数据和信息管理规定,指导并提高海洋数据收集方式和数据的科学使用,建立国家海洋观测资料共享机制,加快海洋数据共享平台的建设,开发方便快捷的数据检索和下载界面,以方便用户能够非常轻松地访问并获取现有海洋数据和产品,并且是高质量的数据和兼容的格式。(4)尽可能收集军事与工业数据(如石油、天然气、渔业和海上运输),收集各沿海地方政府决策需要参考的数据,并列入我国综合海洋管理网络。(5)开发新技术(如深海观测站)、购置和布放新的传感器(如Argo浮标的有氧传感器);提高海洋科学仪器设备自主研发和产业化能力,逐步改变我国海洋仪器设备依赖进口的局面。(6)积极参与国际交流与合作,参加全球和区域的观测计划,促进海洋数据和信息技术的交流与共享,扩充我国海洋资料储备,提升我国海洋观测和预报的能力。

本文作者: 于婷 王海波 董明媚 单位:天津国家海洋信息中心 青岛中国海洋大学海洋环境学院

数据管理论文:农业物联网数据管理

物联网(Internetofthings)的概念是在1999年提出的,2005年国际电信联盟(ITU)发榷了《ITU互联网摄告2005:物联霹》将之定义鸯萼冬各释信息传感设备葛踅联网结合藏宋而形成的一个臣大网络.奥巴马就任美国总统后在一次会议上表示:“经济刺激资金将会投入到宽带网络等新兴技术中去,毫无疑问,这就是美国在21世纪保持和夺回竞争优势的方式n吨].”激家宝总理2009年指出,要大力培育战略性毅兴产照,攘抉物联网的研发应用并将“发麟物联网,促进倍感化”作当年“两会”期间为讨论的主题之一.

当前世界各豳都投入了大鬣的人力和物力开展物联网相关技术的研究,也取得了很多成绩.丹麦运输公司采用IBM的传感器技术允许园艺供应链中的参与者跟踪鲜花和盆栽植物的运输进度(从种植者到批发商,到零售商,遍及欧洲40个国家).整条运输链的各方公司都可以利用传感器对运输的条件和气候进行跟踪.使运输过程更加透明.英国的Pachube允许给现实世界和虚拟世界中的物品、设备、建筑和环境添加标签,并分享即时传感器信息[3].

我国在物联网方面也展开研究,并取得了很好的成果.无锡传感网中心的传感器产品在上海浦东国际机场和上海世博会被成功应用,这套设备由lO万个微小的传感器组成,散布在墙头墙角墙面和周围道路上.传感器能根据声音、图像、震动频率等信息分析判断,爬上墙的究竟是人还是猫鼠等动物.远望谷开发的完全拥有自主知识产权的XC型铁路车号自动识别系统已成功应用于中国铁路车号自动识别系统,在铁路货车使用费用清算中实现了精确统计货车数量;消除了铁路运输调度管理的盲区,提高列车正点率.

然而我国当前在农业物联网应用上做的工作还比较少.本研究结合传感器网络、移动网络与智能手机实现了对农田的实时监控和数据采集,对于农业安全管理、产品溯源都有相当的指导意义.

1材料与方法

1.1概述

物联网有3个特性:全面感知、可靠的传送和智能作用[4],其控制特性与传感器网络‘51有很大不同,主要强调系统的可控性,而传感器网络则强调系统的可观测性.因此将传感器网络作为物联网的一个组成部分接入时就必须对其进行调整,使之适应物联网的要求.物联网包括3个层次:1)传感网络,即以二维码、RFID、传感器为主,实现‘物’的识别;2)传输网络,即使通过现有的互联网、广电网络、通信网络等实现数据的传输与计算;3)应用网络,即输入输出控制终端,可基于现有的手机、个人电脑等终端进行‘….

本研究中,物联网中的“物”包括4种:农田(棉田、麦田与玉米地)、传感器网络、数据管理终端和智能手机.构建物联网的目的是将这4种“物”连接起来,使农田能够成为网络中的一个可观测终端,在此一共包括3个层面的连接:

1)直接测量.通过传感器网络采集温湿度和光照;通过数据管理终端归纳并管理采集到的数据;并通过智能手机实现数据的实时查看、分析与管理.

2)多源数据集成.将当前已建成的气象监测网络获取的数据与无线传感器网络采集到的数据相结合,建立传感器网络采集到的特征点数据与大环境数据的对应关系,使研究人员能够通过此网络更好地了解农田各参数之间的关系.

3)数据的开放与共享.利用WebService将网络内的数据开放出去,使之可以为更广泛的应用提供数据支持.例如为卫星遥感数据提供地面数据支持等.

1.2网络结构与部署

网络由3部分构成:精准灌溉传感器节点——用于采集空气温度、土壤湿度和光照强度,并为邻居节点提供路由;数据服务提供者——在服务器上部署相关服务,用于连通网内成员,并对外提供数据服务;数据管理终端——包括智能手机、B/S数据管理网页和C/S客户端,用户可通过不同方式查看服务器上的数据.系统在新疆与北京分别部署,服务器设在北京.在北京主要监测种植春小麦和夏玉米的农田,采集土壤湿度、空气温度和光照,并由网关节点记录喷灌机行进数据;由于新疆采用滴灌,故仅采集棉田土壤湿度、空气温度和光照,人工记录灌溉时间与灌溉量.通过B/S网页或分布部署在智能手机和电脑上的C/S客户端,用户可以远程查看农田参数与农机使用情况,分析数据以提高灌溉效率.

1.3软硬件配置

传感器网络系统采用国家农业信息化工程技术研究中心的FieldwSNs(农田环境无线传感器网络系统),载波频段433MHz,实际部署时节点间距50~100m,每子网包含20个传感器节点构成对等网.土壤含水率传感器采用ECH20水分传感器,工作电压为2.5V.

由于部署网络区域经常出现连续阴雨天气,为方便部署传感器节点采用4节1.5VAA电池供电,通过稳压芯片t作电压3.0V;节点MAC层采用CSMA/CA协议,网络层采用洪泛协议;在能量管理上采用休眠/同步机制,使全部节点同时工作而后同时进入休眠状态以节省能量,通讯时利用网络层的洪泛机制进行全网同步[7].

网关节点采用太阳能供电,工作电压12V;为保证网关节点在雨季也能正常工作,蓄电池容量为12Ah.

基于智能手机的移动终端采用WindowsMobile操作系统,通过WebService与服务器相连.主要目的是:1)在部署时以机载GPS定位节点,将节点位置信息上传至服务器;2)在现场查看网络工作状态,方便部署与维护;3)方便管理人员远程监控农田参数、人员工作状态与农机工作状态.

1.4数据服务的设计

传感器网络在外部看来是网络化的传感器,更强调数据的采集,强调系统的可观测性【8].在传感器网络中观测的对象是传感器采集到的数据、传感器的工作状态以及网络的连接情况.而物联网则强调各个相连的事物之间的连通性,以及系统的可控性,物联网中传感器网络是连接观测者与被观测对象的渠道.因此,需要对传感器网络采集到的数据进行处理,以观测者需要的形式出去.主要包括2部分服务:滤波和插值和.观察者可以访问通过这些服务了解被观测对象,这一过程对传感器网络而言是透明的.

1.5数据滤波

由于传感器网络在传感器端没有作滤波,可能会有一些奇异数据被采集回来,在一般使用中需要进行滤波,只观测台理可靠的数据.在一些特殊的应用中,特别关心奇异数据,也可以通过滤波服务获取这些奇异数据.为方便计算,采用简单的平滑滤波∽j.#p#分页标题#e#

平滑滤波的目的是在不影响低频率分量的情况下减弱或消除图像中的高频率分量并将观测值中的细小中断连接起来.处理后的任一输出值弧均为观测值≈与相邻元素运算后的结果,如式(1)所示:Yk=≥:口:zf,

(1)t=FN滤波窗宽度为2N,ai为加权系数,k为滤波窗中值.

为方便计算采用矩阵表达,可得y=IA】X/n,

(2)其中l,为输出向量,x为输入向量,Ea-1为滤波矩阵,n为平均值参数.

针对不同情况可以使用线性平滑滤波和加权平滑滤波,线性滤波的滤波矩阵为行列元素皆为1的7阶矩阵,n为7;加权滤波的滤波矩阵为行向量为[1,6,15,20,15,6,1-1构成的矩阵,以为64.

对应服务为record[]DataProcess.Smooth(Datetimestart,Datetimeend,boollinear),其中start为起始时间,end为终止时间,linear为线性滤波标志,返回值即为滤波后的输出值.

1.6插值分析

如果观测者仅能获得传感器所在位置的数据,就无法体现被观测的农田与观测者的关系,因此有必要对传感器采集到的数据进行插值,将空间插值后的数据提供给用户,使观测者只需输入位置信息即可获得所需的数据.因为同一农田中的温度、湿度和光照都是连续变化的,所以采用插值分析获得的数据是可信的.插值方法采用简单的两点插值和全图距离倒数插值2种.

1.6.1两点插值

两点插值又叫线性插值,取最近的2个点A,B的观测值为参考值,计算任意点的值.y一丝坚≯盟,(3)L其中L为最近两点距离,z。为插值点距A点距离,z:为插值点距A点距离,Y。为A点观测值,Y:为B点观测值.两点插值非常简单,而且不受其他点干扰,通常在部署网络时用于校验观测点传感器工作情况.

1.6.2全图距离倒数插值

两点插值计算简单,但是缺乏连贯性,每次参考点发生变化时插值结果会跳变,因此提供全图距离倒数插值服务,用户可以任意选用插值方法.全图距离倒数插值公式如下‘10]:3,一∑暑/∑z1,

其中zi为观测点i的观测值'rl为观测点到插值点的距离,n为观测点集的规模.对应服务double[]DataProcess.getValue(doublelongitude,doublelatitude,boolsimple),其中longitude为插值点经度,latitude为插值点纬度,simple为两点插值标志,返回值即为插值点湿度、温度和光照观测值.

2结果与分析

网络被部署在新疆哈密、石河子和北京,图2为新疆石河子的网络实际部署图.为保证通信质量,传感器节点和网关节点被部署在2m左右的支架上.

由于距离较远,传感器节点须通过多跳方式将数据发送到网关,实验中跳数最大为6,通信距离400m左右.

传感器网络在4个月中采集到大量的数据,通过相应的服务,可以采集区域内任意点的数据曲线.

用户观测的对象由传感器网络节点转变为被观测对象,可以通过选择位置直接获得观测值.展示了哈密实验田中经纬度与石河子实验田的土壤湿度和光照曲线,在7月4日至7月5日哈密经历了一场降雨,在降雨期间光照强度急剧下降,而土壤湿度则迅速攀升直到夜间降雨停止湿度才开始回落.而石河子则是多云问阴的天气光照强度发生变化,而土壤湿度则基本持平.

通过相关数据服务,用户可以使用装在手机上的移动客户端访问网络.定位系统包括2部分内容:1)利用手机GPS进行定位,通过服务现场记录节点经纬度,并提交服务器.2)通过服务获取网络中各节点位置及其数据,通过插值算法将数据与位置关联起来,为用户提供直接的数据支持.此时传感器网络对用户完全透明,用户可以直接获取自己所关心的位置的农田参数.

数据管理论文:环境监测数据管理信息化发展

近几年,我国各级环境监测部门都积累了大量与环境有关的数据。但是,由于数据管理的手段还停留在单机和手工处理阶段,数据质量主要依靠人工检验,这就出现了无法有效处理大量数据的情况,甚至还会引发错误。如果数据出现错误,就无法反映实际情况,相关高层也就无法及时应对紧急的环境事故,继而造成意想不到的后果。

1开发系统的要求

建设信息化环境监测数据管理平台主要是为了加强各级环境监测部门对监测数据的管理和综合分析,进而实现信息共享。利用网络、B/S、GIS、数据库、Internet/Intranet、智能化数据分析等先进技术收集、汇总、审核、统计分析各级环境监测部门的数据之后形成报表,从而实现信息的完整收集、迅速传递、高效管理、综合分析和共享。

2系统设计

2.1平台的开发

不同城市的环境监测系统开发平台是不同的。其中,大部分系统使用的都是由微软公司开发的NET作为技术开发平台,使用的开发语言为NET语言、VB语言和ASP语言,这些都是系统最常用的语言。而个别WebGIS部分是不用语言来编程的,它使用的是MAPINFO家族技术和MAPX技术。这2项技术和语言编程同样重要,并且该系统主体是用可以使系统保持正常运行的B/S构建的,而录入使用的结构是由C/S构建的,可以有效提高平台的运行效率。

2.2数据库建设

该系统所用的数据库为SQL-SERVER2000,它是用关系型数据库来管理数据的。由于该系统的空间关系不复杂,而且空间属性相对简单,所以,可以统一管理空间数据和属性数据。环境监测中涉及到的数据有环境质量基础数据、环境质量标准数据、自动监测数据和例行监测数据等。其中,环境质量基础数据包括环境质量各要素的基本信息,即各级环境监测站,湖库、湖库垂线,河流、河流断面,饮用水水厂、饮用水源地、饮用水采样点,地下水、入海河口以及近岸海域监测点,噪声监测点,空气、大气监测点,网格等主要要素的基本信息;环境质量标准数据是指评价环境时用到的各种国家标准;自动监测数据包括水质自动监测数据和空气日报预报数据;例行监测数据则由水、气、声三大监测数据组成。为了适应环境监测中一点多用的需求,数据库中还设计了水环境点位属性表和空气点位属性表。通过点位属性表,分析人员可以灵活管理点位的变化,并且按照某一属性分析数据,从而实现合理利用、监测数据的目的。

2.3服务器端与客户端互换

系统使用了B/S架构后,要想简化操作,就可以利用WebService。这种简化主要就是实现服务器端与客户端之间的互换。WebService在网络运行中能发挥调用的作用,以此来满足客户端的调用需求。只要调试了客户端,那么,WebService就可以在服务器中运行,并处理运行过程中遇到的各种问题,将各个服务端的数据收集起来,最后再把最终的结果返回到调试区域。通过客户端与服务器端之间的互换可以实现两者间的高效互动。

3主要功能模块

信息化环境监测管理平台的功能模块主要有例行监测数据的录入模块,导入导出模块,数据管理、分析模块,自动监测数据的管理模块,监测点位管理模块,WebGIS数据查询分析模块和系统设置模块。例行监测数据的录入模块主要为C/S结构,它具有清空数据库、导入数据、检测值校验设置、数据录入、数据查询修改和设置地区年份等功能,同时,还能得到规范的监测数据。例行监测数据的导入导出模块主要是提供DBF格式和ACCESS格式的数据,它不仅可以排除掉错误的数据,提示错误,还可以自行规定校验的规则,比如监测点位完整性校验、监测值范围校验等。分析结果会在EXCEL中被编辑,使数据和检测结果更加直观。例行监测数据管理包括基础数据管理和监测数据管理两部分。基础数据管理主要是指数据的查询和修改、基础代码数据年份间的转换、数据增加等;监测数据管理主要是数据的简单、高级查询,还有要按照点位属性查询监测数据。自动监测数据的管理模块包括水质自动周报管理和空气质量日报预报管理。监测点位管理模块是为了适应一点多用监测工作的实际情况而设计的。这个模块可以实现用户管理水和空气点位的需求,同时,用户还可以添加或修改属性类别满足自己的需要。WebGIS数据查询分析模块具有视图功能,可以修改图像数据,使其达到最佳的效果。而该模块还可以实现属性数据与地图数据的图文互查,为各类数据的分析绘制专题图,比如柱状图、面状图还有饼状图等。这样做,不仅能够更加方便、快捷地查询数据,还能够更加清楚地呈现相关问题。系统设置模块囊括了地区设置、数据校验规则管理和环境标准管理。

4结束语

在信息发达的今天,如何利用信息为人们的工作服务,解决问题,已经成为了需要人们不断思考的内容。环境监测数据的传统处理方法已经无法满足现代化发展的需求,所以,实现环境监测数据管理的信息化刻不容缓。

作者:程诗雨 单位:南京市江宁区环境保护局

数据管理论文:主数据管理应用下的轨道交通论文

1主数据管理系统建设需求分析

随着企业日益向全球化迈进,为应对不同业务部门的个性化需求,信息系统越来越多,众多系统造成数据量不断增加。主数据在不同系统中的重叠现象日益显著,由于同一主数据在不同系统内部的标志和描述不统一,从而导致企业数据大规模形成冗余,用户无法确定其有效性,造成维护成本居高不下,业务差错率升高。即便在同一个应用系统内,所涉及的物料、人员、客户等主数据信息随着使用范围不断扩大,数据规模和分散的程度也不断增长,同一主数据在同一应用系统中会被不同的用户维护成为不同的对象,企业无法出具精确的分析报表,导致企业领导无法做出正确的决策。因此,随着企业不断发展,在信息化道路上高质量的数据已经成为区别企业管理水平和竞争力的重要指标之一。主数据是企业运作过程中必须使用的基本信息,它们长期存储在数据库中,集中存储并且可以由各组织维护和使用,是系统稳定运行的基础。主数据的有效管控,可以支持经营管理层便捷地获取多种业务角度的全面分析报告,加深数据挖掘和透视;可以保证业务管理层使用主数据的一致性和实时性;并可以帮助业务操作层人员统一沟通语言,降低沟通成本。一个企业在信息化建设的道路上是否实施了主数据管理最终的结果有着鲜明的对比。

2主数据管理系统建设目标

根据该公司信息化建设的总体规划和分布实施的策略,主数据管理系统建设的核心目标为:1)整个集团内制定并执行统一的,并且是符合业务要求的、科学合理的主数据标准;2)通过主数据标准的执行使得企业内部各个业务环节使用的主数据完整统一,只有一个真实的版本并且质量较高;3)提高数据的使用率和用户对企业数据质量的信任度;4)满足企业的诸多管理战略目标的需求。

3主数据管理系统实施

3.1主要实施内容1)制定四类主数据标准会计科目:立足于集团财务报表需求制定统一的会计科目体系。物料:包括原材料、标准件、成品和半成品,重点解决物料整体分类和对应属性标准。客户:制定集团统一管理的客户主数据的数据标准。供应商:制定集团统一管理的供应商主数据的数据标准。2)系统建设固化主数据标准和管理流程等,为用户管理主数据编码提供系统平台。实现对新增主数据编码的申请、审批、、更改、映射和查询功能。3)数据清理按制定的各类主数据标准对现有的会计科目、物料、客户和供应商数据进行清理,对清理后的规范数据进行集团统一编码,并导入主数据管理系统供集团及各企业共享使用。4)建立有效的管理流程和组织机构建立主数据管理流程和管理规范,建立主数据管理组织及职责设置。

3.2系统应用架构该公司选择了国际领先的SAP公司最新的主数据管理产品MDM7.1,提供了丰富的数据类型和强大的管理功能,但它本身没有流程审批控制功能。为了实现对集团主数据的申请、审核、等关键环节进行控制,将主数据标准、流程固话到系统中,该公司自主开发了工作流平台,并与SAPMDM系统集成应用,实现了整个集团主数据(物料编码、会计科目、供应商、客户)申请、审核、、修改等管理流程,为整个集团实现研发平台、企业资源计划系统(ERP)、决策支持系统(BW)等系统的全面集成共享奠定基础,实现了跨企业、跨系统的业务数据集成应用,主数据管理系统应用架构。

3.3实施方法MDM系统的实施是组织、流程、标准、平台高度集成的系统工程,实施推动工作巨大,主要的实施方法如下:

1)组织准备和MDM系统培训宣贯项目调研准备及集团数据标准宣贯,了解企业信息标准化现状并组织协调集团标准化专家进行标准培训。(1)了解企业各类主数据活跃数据量(存在于哪些系统,由哪些部门负责收集),确定数据收集范围。(2)了解企业各类主数据维护流程及编码规则。(3)建立企业主数据清理团队(包括内部顾问、关键用户)。(4)通过培训使最终用户了解主数据质量的重要性。(5)通过培训使最终用户了解物料、客户、供应商、会计科目等主数据标准规范。(6)通过培训使数据清理团队了解数据收集及清理方法。

2)数据收集及清理与数据的初始化(1)按照已确定的数据范围采集原始数据并存档。(2)制定数据清理流程及数据清理计划,划分数据清理过程相关人员职责。(3)汇总收集数据,按照主数据标准进行数据规范性检查,组织自身排重,检查和排重完毕后提报给MDM系统负责人,并存档;对于物料分类等标准问题,汇总记录后提交给集团标准化专家,并跟踪协调,直至问题全部解决。(4)MDM系统负责人对数据进行排重检查,将疑似重复数据反馈给原企业确认。(5)数据清理并检查完毕后,将清理出的所有主数据统一进行编码分配,导入MDM系统并下发至各企业相关信息系统。

3)MDM系统与企业信息系统集成(1)系统集成方案讨论,结合集团现有集成模式,根据企业的实际业务进行具体的集成方案讨论。(2)了解企业正在实施的系统内容,为系统集成及数据清理做好基础。(3)集成接口实现,制定数据映射规则,通过SAPPI进行配置,实现系统之间的数据集成。

4)上线前准备及系统配置(1)收集企业组织机构,完成主数据管理系统内组织机构的创建。(2)收集系统用户申请表,完成平台内用户创建,分配用户的角色、业务权限及功能权限。

(3)配置各类主数据的申请流程,包括物料、客户、供应商、会计科目等主数据的申请、修改、分发等业务流程。(4)组织相关业务部门关键用户进行MDM系统操作培训并编写用户操作手册。

5)系统上线及运维支持(1)建立系统运维组织及和职责划分。(2)做好系统支持及运维工作,及时解决出现的系统与数据问题,对问题进行汇总记录,并持续优化完善系统功能。

4应用效果及效益分析

4.1应用效果通过成功构建集团统一的主数据管理系统,建立集团统一的主数据标准、管理流程、支撑平台,保证整个集团基础公共数据的一致,促进了各企业规范基础管理,推进了全集团信息资源共享。为集团实现重要物料采购动态对标、财务综合分析、供应链优化提供有力支撑,有效提升集团科学决策分析能力。通过主数据管理系统的实施获得了以下收益:1)通过主数据管理系统逐步建立起集团公共基础数据标准库,实现了ERP、供应链管理系统和其它信息系统的灵活数据交换,为集团整体信息化建设综合集成和信息共享奠定基础。2)有效解决集团在进行信息化建设的过程中遇到的突出问题,即缺乏公共数据的标准和统一编码,尤其是物料编码的统一。这是集团推进ERP系统成功实施的前提条件之一。3)使用统一的公共数据编码标准可以提高数据的准确性和一致性,降低数据合并、整理、对比等工作量,提高效率,降低工作复杂性,具有长远的经济效益。

4.2经济效益主数据管理系统自2009年12月上线运行以来,日均集团统一主数据编码300多个。用户每天登录主数据管理系统申请、审核、审批物料等主数据。与此同时,主数据管理系统与公司SAP-ERP系统和决策支持系统(BW)的接口每天进行稳定的数据交换。由于有了统一的主数据管理系统,各类主数据的数据质量得到了很大的提升,按照业界调查统计报告,仅数据质量提升一项即可带来平均28.5%的收益。同时,由于主数据管理系统统一了各企业的物料编码,使得集中采购业务的操作性大大提高。通过主数据管理系统与集团供应链电子采购平台的集成应用,为推动采购对标、集中采购,阳光采购等管理手段提供了良好的数据基础,截止2013年底各企业线上采购金额已达到201亿元,线上降采金额约为7.6亿,综合线上采购率为50%,如果全部实现线上采购,降采金额预计超过10亿元。

作者:魏涛单位:中国北车股份有限公司

数据管理论文:开放存取资源元数据管理案例分析

1OAPS概述

OAPS是由清华大学、香港城市大学、台湾逢甲大学三校图书馆于2Oo4年7月共同发起的一个联合式机构仓储计划,即学生优秀作品仓储计划。目前已经加盟的成员有清华大学、香港城市大学、台湾逢甲大学、南洋理工大学、厦门大学、上海交通大学,并建立OAPS联合机构仓储网站_1]。该联合机构仓储的目的在于更广泛地传播和利用各个成员机构的优秀作品资源,实现优秀作品快速、有效地交流和共享,激发学生的兴趣和思考,提高学生的学习能力和研究能力。OAPS联合机构仓储网站是以开源软件DSpace系统为基础。通过应用OAIHarvester2.0元数据收割软件和本地开发XMLParser软件,收割各成员机构利用DSpace系统建立的本地机构仓储元数据(及数字对象)的方式建立并提供服务的仓储网站。OAPS面向全球提供免费元数据检索。并通过OpenURL技术链接至各成员机构的全文资源。

2OAPS元数据标准的选择

建立OAPS联合机构仓储网站的首要任务是确定其元数据标准.由于OAPS采用了DSpace系统,而DSpaee默认的元数据标准就是DC元数据,因此DC元数据自然而然地成为OAPS的首选标准。虽然OAPS的成员机构仓储都采用了DC元数据标准,但各成员机构在应用时的元数据结构又有所不同,因此OAPS联合机构仓储网站采用取合集的原则,尽量保留各成员机构仓储的所有元数据字段。另外,OAPS联合机构仓储网站充分利用了DC元数据的特性,根据自身情况采用了DC元数据的14个基本元素,并增加了Degree和Course元素。OAPS联合机构仓储网站的元数据方案如表1的DSpace-DC列所示。表1也给出DC元数据与OAPS联合机构仓储网站DSpace—DC的对应关系。

3OAPS元数据的生成

OAPS联合机构仓储网站的各成员机构的元数据主要通过表单提交元数据的方式生成。当然.OAPS各成员机构都规定了只有获得授权的用户才能提交元数据表单。用户只需参照各成员机构DSpace帮助项中的“submit”指示提交元数据,“sub—mit”中对每个元数据元素的填写进行了明确的说明。虽然DSpace系统利用元数据提交表单生成元数据很方便快捷,但是在提交的过程中,缺乏自动纠错功能。如填写Tide元素时,出现词汇错误,DSpace系统的提交程序无法自动检测,只有通过管理员的审核工作才能发现。OAPS联合机构仓储网站的元数据生成主要有2种途径:一种是收割成员机构仓储中的元数据;一种是远程直接提交元数据。收割生成方式将在下节阐述。远程直接提交元数据方式与各成员机构的元数据提交方式相同,在此不再赘述。

4OAPS元数据的

OAPS联合机构仓储网站以及各成员机构仓储都采用了DSpace系统,DSpace系统通过OAICat作为一个数据提供者向外元数据资源。OAICat是OCLC开发的一个开放源代码软件,遵循OAI—PMH协议。因此,OAPS联合机构仓储网站以及各成员机构仓储的元数据能够被诸如GoogleScholar、Scirus、OAIster之类的网络搜索引擎检索。

5OAPS元数据的收割与解析

OAPS联合机构仓储网站的元数据收割主要通过遵循OAI—PMH协议的OAI.Harvester2.0软件实现。0AIHarvester2.0的主要功能是作为一个服务提供者(ServiceProvider)从遵循OAI—PMH协议的仓储中收割元数据。OAIHarvester2.0遵循OAI—PMH协议的技术框架,它通过HrrP协议向数据提供者发送请求,数据提供者根据相应的请求返回一个XML文档,发送的H11、P请求不同,返回的XML文档内容就不同。OAIHarvester2.0主要通过请求动词和时间戳控制其收割的元数据范围。截止到2011年5月13日。OAPS联合仓储网站已经收割到1614条元数据记录。OAIHarvester2.0将收割到的元数据存储至本地服务器。为了将收割到的XML文件解析为DSpace系统能够导人的格式。需要利用元数据解析技术对XML进行解析。OAPS联合机构仓储网站自行设计开发了一个XMLParser软件。设计者在开发时。考虑到不同数据提供者在提供的xML文档数据格式存在一定的差异,因而在XML—Parser开发过程中,采用了通用性和适应性原则。由于OAIHarvester2.0收割到的是DC元数据元素名称,但DSpace系统可接受的DSpace—DC元数据既有元素名称又有修饰词,XMLParser在解析数据时,对二者的关系进行了映射处理。另外,考虑到各成员机构仓储提供的元数据有所差别.XMLParser为针对每个仓储建立了专门的映射文档,以便准确地解析出元数据。

6OAPS元数据的增值

OAPS联合机构仓储网站将收割到的DC元数据转换为本地统一的DSpace—DC元数据,通过统一的界面对元数据进行了索引。从而解决了由于不同成员机构仓储元数据结构和索引方法的不同.给用户带来的资源难发现、难检索的问题。OAPS以用户服务为中心。对收割来的元数据进行了不同角度的聚类,如从主题、题名、作者、日期等角度对元数据进行聚类。这样用户可以根据自己不同的需要,选择不同的检索浏览方式。

7对OAPS元数据管理的评价

0APS联合机构仓储在发展的过程中得到了各成员机构的大力支持和重视,自成立以来,成员机构每年都会组织召开相关会议。讨论OAPS的发展事项.积极探讨有关OAPS的相关技术问题,如元数据标准及共享方案等技术问题。OAPS联合机构仓储网站采用DSpace系统作为资源组织的基础,遵循了OAI—PMH协议,统一了元数据标准,实现了仓储之间的互操作,并对元数据进行了一定的增值处理。虽然OAPS联合机构仓储网站在元数据发展方面取得了一定的成果,但也存在一定的问题。与同样利用DSpace软件开发的香港科技大学机构仓储相比,首先。OAPS联合机构仓储缺乏明确的相关元数据政策说明,不便于用户对其元数据细节的相关了解和使用。而香港科技大学机构仓储中有明确的元数据使用政策说明、元数据提交政策说明,比如其在元数据使用政策中规定任何人可以免费获得元数据,同时规定在非商业应用的情况下,只要提供其OAI标识符或原始元数据记录链接,就可以在没有获得事先许可的条件下以任何方式使用其元数据『3_。其次,OAPS联合机构仓储缺乏相关元数据技术说明,而香港科技大学机构仓储在其系统特征中明确说明其采用的是OAI—PMH协议和SRW协议。便于用户对其元数据互操作技术的了解。最后,OAPS联合机构仓储缺乏对DSpace已有元数据提交界面的修改.而香港科技大学机构仓储针对DSpace本身提交界面太复杂的特性,在其基础上进行了重新设计,使得元数据提交更便捷,也更符合用户习惯。由于DSpace系统本身存在一些元数据处理方面的缺陷,比如DSpace在元数据扩展问题上,只能完成对新元素的注册,并不能在资源提交过程中自动添加新注册元素的属性描述项_4]。这就造成采用DSpaee系统的仓储在元数据管理上难免有些不足,因此.需要对DSpace系统进行不断的完善和修正,以增强其元数据管理功能。

数据管理论文:经计局发展数据管理计划

2009年我县统计工作的总体思路是:以邓小平理论、“三个代表”重要思想为指导,全面落实科学发展观,认真贯彻党的十七大精神,按照省、市统计工作总体要求和工作任务,紧紧围绕经济发展大局和县委、县政府的中心工作,深化统计改革,夯实统计基础,规范统计行为,加大统计执法力度,提高统计数据质量,加强机关作风建设,以良好的精神状态和优质的统计服务,抓好各项工作的落实,推进统计工作再上新台阶。

(一)精心组织,抓好国情国力调查

2009年是第二次全国经济普查的关键之年,按照经济普查工作方案,重点抓好以下工作:

一是抓好普查登记工作。普查登记工作是经济普查能否取得一次性成功的关键性工作,必须全力以赴高质量完成。要切实强化责任意识,加强普查业务培训和指导,严把普查源头数据质量关。要坚持依法普查,严肃查处经济普查中的违法行为。要严格按照普查计划,力争在确保质量的前提下抓进度、保质量,确保普查登记工作紧张有序稳步推进。

二是抓好数据审核处理工作。要严格按照数据处理方案,做好普查数据的审核、录入和处理工作。要落实好审核及录入人员,要加强业务培训。及早做好数据处理硬件、软件设备的准备工作,确保此项工作的顺利展开。

三是加强数据质量控制。认真落实各种数据质量控制措施,做好各个环节的质量控制,做好质量抽查、审核与评估,接受上级经普办的检查。要成立普查数据质量控制小组,负责质量控制与监督检查,确保普查数据质量。

四是做好普查数据工作。在数据审核、评估的基础上,及时向社会公布我县第二次经济普查的有关数据,为各级领导和部门的宏观决策提供依据。

五是继续抓好普查宣传工作。动用各种新闻媒体,采用多种宣传方式,集中宣传经济普查的有关知识及方针政策,使各类企事业单位充分理解经济普查,主动配合经济普查,确保经济普查顺利推进。

(二)拓展职能,打响统计服务品牌

围绕县委、县政府中心工作,不断充实服务内容,改进服务手段,增加服务品种。紧紧抓住我县经济社会发展热点、难点问题,增强统计服务的针对性。要进一步拓展服务领域,提升服务质量和水平,充分发挥统计信息的主渠道作用。

一是把握重点。加强对全县经济社会运行情况的监测分析,努力把握和反映苗头性、趋势性问题,重点加强对经济运行形势、经济发展方式、节能减排、固定资产投资、服务业发展、新农村建设等问题的分析研究,有针对性地开展统计跟踪、统计服务,充分发挥统计晴雨表功能。

二是注重调研。围绕党委、政府关心的重点、热点和难点问题,依托全面、系统的统计资料,深入开展调研,加强专题研究,形成有较高价值的统计研究成果,为党委、政府提供决策咨询,当好参谋,做好助手。

三是深化服务。积极主动为党委、政府、人大有关会议提供参阅资料。加强部门协作,做好统计数据对外加工整理服务,并依法为企业及乡镇和有关部门做好评比、论证材料的认证工作。做好政府信息公开工作,及时在*门户网站公开有关统计信息和统计数据。通过撰写《统计信息》、《统计分析》,编印《*经济动态》、《镇区主要经济指标完成情况》卡片、《*统计年鉴》等统计资料,满足社会需求。

(三)深化改革,提高统计数据质量

一是注重服务业调查、贸易业调查、能源调查等专业报表制度和“一套表”制度的进一步完善,建立健全社情民意调查等新制度,从方法制度的合理性、科学性上确保数据质量。

二是加强第三产业增加值核算基础工作。根据市局统计业务和我县相关考核工作要求,强化第三产业名录库管理工作,做好第三产业核算考核。

三是严格统计数据的审核评估,加强对基层数据的审核力度,保证数据的可靠性和严肃性。

四是严格执行地区生产总值核算下管一级的规定,积极推进专业统计与地区生产总值核算制度方法的协调,做好国民经济核算数据与专业统计数据衔接,着力提高地区生产总值核算数据与专业统计数据的匹配性。

(四)夯实基础,提升统计工作水平

一是要进一步加强基层统计队伍建设。继续贯彻落实县政府《关于进一步加强统计基层基础工作的意见》(盐政办发〔20*〕1*号),进一步明确统计机构的综合职能和职责范围,完善基层统计网络,加强部门、镇(区)和村(社区)统计力量。加强统计业务培训,组织好企事业单位等社会统计人员的统计继续教育培训,抓好统计职称教育和高级统计师的评审推荐工作,提高统计队伍的整体素质。

二是要进一步做好名录库维护管理工作。积极协调工商、税务、质监等部门,建立协调配合工作机制,利用窗口行政记录及招商信息,依托各镇(区)及部门的力量,做好统计单位登记工作,确保名录库资料按时提供、动态维护、信息共享,提高名录库信息的全面性和准确性。

三是要进一步加强统计信息化建设和网上直报工作。加强基层计算机技能培训,拓展网上直报专业统计领域。加强统计信息网的安全管理与维护,提高统计软件的应用与开发水平。强化统计基础工作规范化的管理,指导和督促基层单位建立和完善各种原始记录和统计台帐。

四是要加强指导和检查督促。按照基层统计规范化、报表台账标准化、统计管理制度化、统计调查科学化、统计手段现代化的要求,加强对基层的业务指导和考核,全面推进统计基层基础建设。

五是加强部门协调。理顺与部门统计的关系,搭建优势互补、资源共享的统计平台。

(五)及时准确,全面完成统计调查

一是强化质量意识,做好统计定、年报工作。进一步强化质量意识,加强组织实施,明确目标责任,落实规范标准,及时、准确、全面完成农业、规模工业、固定资产、房地产、建筑业、科技、劳动工资、批发零售、住宿餐饮等专业统计20*年年报和2009年定报工作。

二是强化能源统计工作。落实能源统计制度,加强节能降耗统计,认真做好我县节能进展情况、地区单位生产总值能耗数据质量和重点耗能企业节能降耗情况的监测,确保能源监测工作客观性、公正性和严肃性。同时,根据部门间分工协作的能源统计工作机制要求,协同配合做好我县节能降耗目标年度考核工作。

三是强化服务业统计工作。进一步完善全县服务业统计报表制度,以提高三产比重为突破口,完善服务业统计,健全规范服务业统计信息搜集渠道,全面准确反映我县服务业发展进程。

四是抓好各项专项调查和监测工作。进一步完善抽样调查方法和质量评估机制,积极开展规模以下工业、规模以下能源、限额以下服务业、限额以下贸易业、企业景气调查、5‰人口变动与劳动力抽样调查等各项专项调查;做好“平安浙江”群众满意率、食品安全感、软环境调查等社情民意调查工作。做好科技、妇女儿童等统计监测工作。

(六)依法行政,推进统计法制建设

一是要继续深入开展统计“五五”普法教育。按照省、市县“五五”普法规划,落实好2009年的“五五”普法工作。充分利用业务培训、经济普查和专项调查等有利契机,有针对性地开展统计法制宣传月、宣传周、宣传日等各项宣传活动,加强《统计法》和《普查条例》的宣传力度,积极营造依法统计的良好氛围,增强全社会的统计法制意识,推进各项统计工作任务的完成。

二是要加强统计执法队伍建设。研究统计执法工作的新情况新问题,探索解决统计执法的突出问题。加强执法业务培训,不断提高统计执法水平。坚持行政执法责任制,规范统计执法行为,推进统计法制建设。

三是要继续加大统计稽查力度,严肃查处统计违法案件。以重点行业为突破口,加强日常稽查工作,扎实开展统计专项检查,加大迟报、拒报、瞒报、虚报的处罚力度。强化监察、法制、司法、统计联合执法。加大对部门、镇(区)、企事业单位典型统计违法案件的查处和曝光力度,着力推进依法行政、依法统计进程。

(七)强化效能,增强统计工作执行力

一是要加强政治理论和政策法规的学习。要切实抓好十七大精神的学习、贯彻和落实,要把机关全体工作人员的思想统一到十七大精神上来,统一到统计工作的具体实践上来。在严峻的国际国内经济形势下,要进一步理清工作思路、凝心聚力,确保机关人员思想不乱,人心不散,工作不断。

二是要加强能力建设。要从宏观着眼、微观着手,更新、学习统计专业知识,全面掌握国家及区域整体经济社会发展状况,努力培养既精通统计专业知识,又具有较好思考分析问题和判断预测能力的专家型专业工作人员,进一步提高统计部门的工作水平。

三是要强化内部管理。进一步完善落实争先创优等各项机制,充分调动全体干部职工的积极性和能动性。要深化机关作风建设和效能建设,深入开展“五型”机关的创建活动,使局内部形成一个团结、协调、齐心、高效的事业型、创业型团队。

数据管理论文:计算机网络数据管理

[论文关键词]数据交换电路交换报文交换、分组交换综合业务数字交换

[论文摘要]本论文讨论计算机网络数据交换技术的发展历程,阐述数据交换每个发展阶段的技术特点。着重对分组交换技术进行分析论述。

交换设备是人类信息交互中的重要实施,在相互通信中起着立交桥的作用。交换技术的发展总是依赖于人类的信息需求、传送信息的格式和技术,以及控制技术的发展而螺旋型发展。从电话交换一直到当今数据交换、综合业务数字交换,交换技术经历了人工交换到自动交换的过程。人们对可视电话、可视图文、图象通信和多媒体等宽带业务的需求,也将大大地推动异步传输技术(ATM)和同步数字系列技术(SDH)及宽带用户接入网技术的不断进步和广泛应用。

从交换技术的发展历史看,数据交换经历了电路交换、报文交换、分组交换和综合业务数字交换的发展过程。

一、电路交换

自1876年美国贝尔发明电话以来,随着社会需求的增长和通信技术水平的不断发展,电路交换技术从最初的人工接续方式,经历了机电与电子式自动交换、存储程序控制的模拟和数字交换、第三方可编程交换等技术的变革,当前正在发展中的融合多媒体格式相互通信的软交换技术。

随着电子技术,尤其是半导体技术的迅速发展,人们在交换机内引入电子技术,这类交换机称作电子交换机。最初是在交换机的控制部分引入电子技术,话路部分仍采用机械接点,出现了“半电子交换机”、“准电子交换机”。只有在微电子技术和数字技术的进一步发展以后,才开始了全电子交换机的迅速发展。

1946年第一台电子计算机的诞生,对交换技术的发展起了巨大的影响。在20世纪60年代后期,脉冲编码调制(PCM)技术成功地应用在通信传输系统中,对通话质量和节约线路设备成本都产生了很大好处。随着数字通信与PCM技术的迅速发展和广泛应用,于是产生了将PCM信息直接交换的思想,各国开始研制程控数字交换机。1970年法国首先在拉尼翁(Lanion)成功地开通了世界上第一台程控数字交换系统,标志着交换技术从传统的模拟交换进入到了数字交换时代。程控数字交换技术采用PCM数字传输和数字交换,非常适合信息数字化应用,除应用于普通电话通信以外,并且为开通用户电报、数据传送等非话业务提供了有利条件。目前在电信网中使用的电路交换机全部为程控数字交换机,可向用户提供电路方式的固定电话业务、移动电话业务和窄带ISDN业务。

二、报文交换

报文交换方式的数据传输单位是报文,报文就是站点一次性要发送的数据块,其长度不限且可变。当一个站要发送报文时,它将一个目的地址附加到报文上,网络节点根据报文上的目的地址信息,把报文发送到下一个节点,一直逐个节点地转送到目的节点。

每个节点在收到整个报文并检查无误后,就暂存这个报文,然后利用路由信息找出下一个节点的地址,再把整个报文传送给下一个节点。因此,端与端之间无需先通过呼叫建立连接。报文在每个节点的延迟时间,等于接收报文所需的时间加上向下一个节点转发所需的排队延迟时间之和。

三、分组交换

分组交换是交换技术发展的重要成果,代表着网络未来演进的方向。分组交换方式兼有报文交换和线路交换的优点。分组交换技术使用统计复用,与电路交换相比大大提高了带宽利用率。这要求在交换节点使用存储转发,从而导致掉队现象的发生。因此,分组交换全引入不固定的延迟的概念。分组交换网络主要有面向连接和无连接两种方式.分组网络包含3个功能面,分别是数据面、控制面和管理面。数据面负责分组转发,因此需要高性能的实现。目前主要的分组交换网包括面向连接的X.25、帧中继、ATM、MPLS以及无连接的以太网、CP/IP网络。

分组交换网有两种主要的形式:面向连接和无连接。对于分组交换技术来说,面向连接的网络与电路交换类似,也需要通过连接建立过程在交换机中分配资源;但由于它采用统计复用,所分配的资源是用逻辑标号来表示的。自分组交换技术出现以来,已经有多种分组交换网投人运行。电信领域最早提出的是X.25网络,但由于它协议复杂,速度有限,逐渐被性能更好的网络如帧中继代替。帧中继网络可以认为是X.25的改进版本,它简化了协议以提高处理效率。

计算机领域的一个侧重点是局域网,即小范围、小规模的网络,用于互连办公室内的计算机。目前以太网已成为占统治地位的局域网技术。

在20世纪90年代中后期,因特网获得较大发展,规模持续扩大,对核心路由器吞吐量的要求也越来越高。由于路由器对IP分组进行转发时路由表的查找比较复杂,转发速度受到很大限制。前面指出,面向连接网络使用逻辑子信道标号进行转发表查找,速度是很快的。人们结合ATM技术在这方面的优点,提出将核心网络改为使用类似于ATM的交换机,而只在边缘网络使用路由器的IP交换技术,最终发展为多协议标记交换(MPlS)。然而,在随后的几年中,提出了多种实用的高速路由查找方法,使其不再成为瓶颈。此时,MPLS最大的优点就是流量工程(TramcEn小needng)能力,即人为控制分组流向。但是由于目前高速路由器还能够很好地工作,MPLS技术并没有被广泛使用。

四、综合业务数字交换

综合业务数字网是集语音、数据、图文传真、可视电话等各种业务为一体的网络,适用于不同的带宽要求和多样的业务要求。异步传输模式ATM(AsynchronousTransferMode)就是用于宽带综合业务数字网的一种交换技术。ATM是在分组交换基础上发展起来的。它使用固定长度分组,并使用空闲信元来填充信道,从而使信道被等长的时间小段。由于光纤通信提供了低误码率的传输通道,因而流量控制和差错控制便可移到用户终端,网络只负责信息的交换和传送,从而使传输时延减小。所以ATM适用于高速数据交换业务。

随着通信技术和通信业务需求的发展,迫使电信网络必须向宽带综合业务数字网(B—ISDN)方向发展。这要求通信网络和交换设备既要容纳非实时的数据业务,又要容纳实时性的电话和电视信号业务,还要考虑到满足突发性强、瞬时业务量大的要求,提高通信效率和经济性。在这样的通信业务条件下,传统的电路交换和分组交换都不能够胜任。电路交换的主要缺点是信道带宽(速率)分配缺乏灵活性,以及在处理突发业务情况下效率低。而分组交换则由于处理操作带来的时延而不适宜于实时通信。因此,在研究新的传送模式时需要找出两全的办法,既能达到网络资源的充分利用,又能使各种通信业务获得高质量的传送水平。这种新的传送模式就是后来出现的“异步转移模式”(ATM)。

ATM是在光纤大容量传输媒体的环境中分组交换技术的新发展。在大量使用光缆之前,数字通信网中的中继线路是最紧张也是质量最差的资源,提高线路利用率和减少误码是最着重考虑的事情。光缆的大量使用不仅大大增加了通信能力,而且也大大提高了传输质量。这使得人们逐渐倾向于宁可牺牲部分线路利用率来减少节点的处理负担。

与此同时,人类对于通信带宽的需求日益增加。特别是传送图像信息和海量数据,已经使人们对于数据通信的速率由过去的几千比特/秒增加到几兆比特/秒。这样,节点的处理能力成了数据通信网中的“瓶颈”。ATM对于节点处理能力的要求远低于分组转送方式,更能适应现代的这种环境。

ATM方式中,采用了分组交换中的虚电路形式,同时在呼叫建立过程中向网络提出传输所希望使用的资源,网络根据当前的状态决定是否接受这个呼叫。可以说,ATM方式既兼顾了网络运营效率,又能够满足接入网络的连接进行快速数据传送的需要。

五、计算机网络数据交换技术发展的展望

近年来。以Internet为代表的新技术革命正在深刻地改变着传统的电信观念和体系架构,并且随着信息社会的到来,人们的日常生活、学习工作已经离不开网络,这导致了人类社会对网络业务需求急剧增长,并且对网络也提出了更高的要求,不仅要提供话音、数据、视频业务,也要同时支持实时多媒体流的传送,并且要求网络具有更高的安全性、可靠性和高性能。下一代网络应是—个能够屏蔽底层通信基础设施多样性,并能提供一个统一开放的、可伸缩的、安全稳定和高性能的融合服务平台,能够支持快速灵活地开发、集成、定制和部署新的网络业务。

下一代网络将是—一个以软交换为核心、光网络为基础、分组型传送技术的开放式的融合网。软交换的出现,可通过一个融合的网络为用户同时提供话音、数据和多媒体业务,实现国际电联提出的“通过互联互通的电信网、计算机网和电视网等网路资源的无缝融合,构成一个具有统一接入和应用界面的高效率网路,使人类能在任何时间和地点,以一种可以接受的费用和质量,安全的享受多种方式的信息应用”的目标。

数据管理论文:电子商务数据管理

[摘要]企业的竞争优势并不取决于信息的拥有量,而是取决于信息的处理利用能力。如何化信息优势为竞争优势,是企业制胜于市场的一个法宝。本文论述了一种信息处理利用的有效工具——数据挖掘方法及其在电子商务中的应用。

[关键词]数据挖掘方法电子商务应用

随着网络技术和数据库技术的成熟,传统商务正经历一次重大变革,向电子商务全速挺进。这种商业电子化的趋势不仅为客户提供了便利的交易方式和广泛的选择,同时也为商家提供了更加深入了解客户需求信息和购物行为特征的可能性。数据挖掘技术作为电子商务的重要应用技术之一,将为正确的商业决策提供强有力的支持和可靠的保证,是电子商务不可缺少的重要工具。

一、何谓数据挖掘及方法

确切地说,数据挖掘(DataMining),又称数据库中的知识发现(KnowledgeDiscoveryinDatabase,KDD),是指从大型数据库或数据仓库中提取隐含的、未知的、非平凡的及有潜在应用价值的信息或模式。它融合了数据库、人工智能、机器学习、统计学等多个领域的理论和技术。比较典型的数据挖掘方法有关联分析、序列模式分析、分类分析、聚类分析等。它们可以应用到以客户为中心的企业决策分析和管理的各个不同领域和阶段。

1.关联分析。关联分析,即利用关联规则进行数据挖掘。关联分析的目的是挖掘隐藏在数据间的相互关系,它能发现数据库中形如”90%的顾客在一次购买活动中购买商品A的同时购买商品B”之类的知识。

2.序列模式分析。序列模式分析和关联分析相似,但侧重点在于分析数据间的前后序列关系。它能发现数据库中形如”在某一段时间内,顾客购买商品A,接着购买商品B,而后购买商品C,即序列ABC出现的频度较高”之类的知识,序列模式分析描述的问题是:在给定交易序列数据库中,每个序列是按照交易时间排列的一组交易集,挖掘序列函数作用在这个交易序列数据库上,返回该数据库中出现的高频序列。在进行序列模式分析时,同样也需要由用户输入最小置信度C和最小支持度S。

3.分类分析。设有一个数据库和一组具有不同特征的类别(标记),该数据库中的每一个记录都赋予一个类别的标记,这样的数据库称为示例数据库或训练集。分类分析就是通过分析示例数据库中的数据,为每个类别做出准确的描述或建立分析模型或挖掘出分类规则,然后用这个分类规则对其他数据库中的记录进行分类。

4.聚类分析。聚类分析输入的是一组未分类记录,并且这些记录应分成几类事先也不知道,通过分析数据库中的记录数据,根据一定的分类规则,合理地划分记录集合,确定每个记录所在类别。它所采用的分类规则是由聚类分析工具决定的。采用不同的聚类方法,对于相同的记录集合可能有不同的划分结果。

应用数据挖掘技术,较为理想的起点就是从一个数据仓库开始,数据挖掘可以直接跟踪数据并辅助用户快速做出商业决策,用户还可以在更新数据的时候不断发现更好的行为模式,并将其运用于未来的决策当中。

二、据据挖掘在电子商务中的应用

数据挖掘能发现电子商务客户的的共性和个性的知识、必然和偶然的知识、独立和关联的知识、现实和预测的知识等,所有这些知识经过分析,能对客户的消费行为如心理、能力、动机、需求、潜能等做出统计和正确地分析,为管理者提供决策依据。具体应用如下:

1.分类与预测方法在电子商务中的应用。在电子商务活动中,分类是一项非常重要的任务,也是应用最多的技术。分类的目的是构造一个分类函数或分类模型,通常称作分类器。分类器的构造方法通常由统计方法、机器学习方法、神经网络方法等。这些方法能把数据库中的数据映射到给定类别中某一个,以便用于预测,也就是利用历史数据记录,自动推导出给定数据的推广描述,从而对未来数据进行预测。

2.聚类方法在电子商务中的应用。聚类是把一组个体按照相似性原则归成若干类别。对电子商务来说,客户聚类可以对市场细分理论提供有力的支持。市场细分的目的是使得属于同一类别的个体之间的距离尽可能小,而不同类别的个体之间的距离尽可能大,通过对聚类的客户特征的提取,电子商务网站可以为客户提供个性化的服务。

3.数据抽取方法在电子商务中的应用。数据抽取的目的是对数据进行浓缩,给出它的紧凑描述,如求和值、平均值、方差值、等统计值、或者用直方图、饼状图等图形方式表示,更主要的是他从数据泛化的角度来讨论数据总结。数据泛化是一种把最原始、最基本的信息数据从低层次抽象到高层次上的过程。可采用多维数据分析方法和面向属性的归纳方法。在电子商务活动中,采用维数据分析方法进行数据抽取,他针对的是电子商务活动中的客户数据仓库。在数据分析中经常要用到诸如求和、总计、平均、最大、最小等汇集操作,这类操作的计算量特别大,可把汇集操作结果预先计算并存储起来,以便用于决策支持系统使用。

4.关联规则在电子商务中的应用。管理部门可以收集存储大量的售货数据和客户资料,对这些历史数据进行分析并发现关联规则。如分析网上顾客的购买行为,帮助管理者规划市场,确定商品的种类、价格、质量等。通常关联规则有两种:有意义的关联规则和泛化关联规则,有意义的关联规则,即满足最小支持度和最小可信度的规则。最小支持度,它表示一组对象在统计意义上的需满足的最低程度,如电子商务活动中的客户数量、客户消费能力、消费方式等。后者即用户规定的关联规则的最低可靠度。第二是泛化规则,这种规则更实用,因为研究对象存在一种层次关系,如面包、蛋糕属西点类,而西点又属于食品类,有了层次关系后,可以帮助发现更多的有意义的规则。

三、结束语

电子商务是现代信息技术发展的必然结果,也是未来商业运作模式的必然选择。利用数据挖掘技术,充分发挥企业的独特优势,促进管理创新和技术创新,使企业在在电子商务的潮流中立于不败之地。随着数据挖掘算法的不断发展和成熟,数据挖掘一定会有更加广阔的应用前景。