首页 优秀范文 云计算数据论文

云计算数据论文赏析八篇

时间:2023-03-27 16:41:49

云计算数据论文

云计算数据论文第1篇

关键字:云计算GFSBigtable数据存储

中图分类号:C37文献标识码: A

0 绪论

云计算是一种新近提出的计算模式,是分布式计算、并行计算和网格计算的发展。在各大企业以及学术界的共同推动下,在大数据时代,云计算融合物联网将进一步推动数据价值的挖掘,促进产业爆发。

1 云计算

1.1对云的定义

云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

1.2云计算的基本原理

通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。

1.3云计算的特点

1.3.1虚拟化

云计算支持用户在任 意位置使用各种终端获取服务。

1.3.2极其廉价

“云”的特殊容错措施使得可以采用极其廉价的节点来构成云。所以云计算造价低廉。

1.3.3高层次的编程模型

用户通过简单学习,就可以编写自己的云计算程序,在“云”系统上执行,满足自己的需求。

1.3.4高可靠性

“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。

1.3.5按需服务

“云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。

2云计算的体系架构

2.1 核心服务层

基础设施即服务层(IaaS)、平台即服务层(PaaS)、软件即服务层(SaaS)。

IaaS提供硬件基础设施部署服务,为用户按需提供实体或虚拟的计算、存储和网络等资源。

PaaS是云计算应用程序运行环境,提供应用程序部署和管理服务。

SaaS是基于云计算基础平台所开发的应用程序。

2.2服务管理层

服务管理层对核心服务层的可用性、可靠性和安全性提供保障。云计算服务提供商需和用户进行协商,并制定服务水平协议(SLA),使得双方对服务质量的需求达成一致。

2.3用户访问接口层

用户访问接口层实现了云计算服务的泛在访问,通常包括命令行、web服务、web门户等形式。

3云计算的关键技术

3.1数据存储技术

为保证高可靠和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性。云计算的数据存储技术主要有GFS和HDFS。

GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有元数据。在GFS文件系统中,采用冗余存储的方式来保证数据的可靠性。为了保证数据的一致性,对于数据的所有修改需要在所有的备份上进行。GFS与传统分布式文件系统的区别在于将写操作控制信号与数据流区分开。

3.2数据管理技术

BigTable是一个很庞大的表,它将所有数据都作为对象来处理,形成一个巨大的表格。有很多Google的应用程序建立在BigTable之上,基于BigTable模型实现的Hadoop Hbase也在逐渐发挥作用。

是一个稀疏的、多维的和排序的Map,每个单元格由行关键字、列关键字和时间戳来进行三维定位。在任意时刻每个Tablet只被分配到Tablet服务器。依靠一个master服务器监视子表server的负载情况,根据所有子表服务器的负载情况进行数据迁移。

4 结语

云计算的出现给人们的生活带来很大的便捷,使用某个软件时无需耗费大量的资金进行购买,而是利用云上虚拟机,以租赁的方式进行使用。在各大企业和各大高校的推动下,云计算具有十分广阔的发展前景。

参考文献

[1]张金玉.狄卫华基于云平台的建设工程项目招标评标模式的探讨[期刊论文]-项目管理技术 2013(5)

[2]张程基于云计算的荆门烟草信息系统优化[期刊论文]-中国科技信息2013(24)

云计算数据论文第2篇

摘要:云计算的出现,对于建立一个统一、开放、灵活的电子政务平台,实现资源共享化,信息的平台化有着重要的意义。本文首先详细介绍了云计算技术以及电子政务平台应用云计算的必要性,接着进行了可行性分析,最后提出一个基于云计算的电子政务平台建设的方案。

关键词 :电子政务;平台建设;云计算;数据存储

引言

云计算是互联网发展的重要阶段,云计算技术的出现极大的提高了互联网资源的使用效率,为数据的计算、存储提供了赖以支撑的技术基础。云计算的发展为大数据的进一步应用提供了充足的条件,广泛应用于企业、社会、个人生活的各个方面。本文主要介绍云计算在电子政务平台建设上的应用。

自从云计算的理念被提出来,它已成为全球互联网产业的重要话题与趋势,云计算的广泛应用也受到越来越多的专家学者的高度重视。如陈全、邓倩妮从不同角度给出了云计算的定义并总结出云计算技术的特点及关键技术,而且对云计算和其他超级计算进行了比较;罗军舟从资源共享的角度定义了云计算,并对资源服务做出了解释,具体介绍了云计算的体系架构以及关键技术,并对云计算未来的发展前景进行了展望;吕元智详细说明了云计算在电子政务信息资源共享领域的意义,并进行了可行性分析,然后给出了构建基于云计算的电子政务信息资源共享系统的思路;林崇责则主要侧重于电子政务云平台的架构和功能规则,对基于云计算的电子政务平台画出总体框架图。中国电子信息产业发展研究院详细阐述了基于云计算的电子政务公共平台的顶层设计,并对如何建设平台服务提出了意见;章泽昂强调了建设一个平台的架构及运作模式;张慧从系统的角度分析了构建一个平台的几个步骤;陆海虹分析了构建基于云计算的电子政务平台的意义,从设计原则、结构框架及具体设计等方面对电子政务云平台建设进行了阐述。可见,目前针对云计算的研究成果还是比较多,各专家学者从不同的角度对云计算的应用做了研究,但是并没有对云计算在电子政务平台建设方面做出系统性的分析或者给出具体的建设方案。因此本文将从建立基于云计算的电子政务平台的必要性入手,详细说明基于云计算的电子政务建设的可行性及具体的应用构架。

1、云计算概述

1.1 云计算简介

云计算的定义至今为止仍没有统一,不同的组织专家往往关注于云计算的不同方面,给出不同的定义。目前已有超过25种关于云计算的定义。例如,美国知名顾问咨询公司Gartner认为,云计算是一种利用Internet,为海量用户提供高扩展性、高可靠性的计算方式。美国国家标准与技术实验室对云计算的定义是:“云计算是一种利用云互联网定制IT资源共享池,并根据使用量付费的模式,其中IT资源包括网络、服务器及应用服务;这些IT资源只需要很少的管理和交互工作就能做出快速的部署和响应。随着云计算应用领域的发展和应用范围的扩展,云计算的相关定义还在不断更新。

在电子政务应用领域,政府将税收、桥梁、道路、审批等职能通过数据交换连接到服务云中,并且通过云计算实现各自的资源共享。云计算将政府整合在一起,公民上网不需要单独与税务局和内政局打交道,为公民提供一站式服务,云计算让这种一站式服务进一步突破了时间和空间的限制。

1.2 云计算核心技术及应用

根据云计算的服务类型可将云计算分为三种服务模型,分别是:软件即服务层(SaaS)、平台即服务层(PaaS)、基础设施即服务层(IaaS)。下面将简略介绍一下各服务模型所涉及到的核心技术。

(1)平台管理技术

平台管理技术能够有效利用数量庞大并且分布广泛的服务器,为整个系统提供不间断的服务,并且它能够协调各个服务器,使业务开通和部署更加协同化、便捷化,同时利用智能化、自动化的手段及时发现并恢复系统故障,实现大规模系统的可靠运营。

(2)虚拟化技术

通过虚拟化技术可实现软件应用的封装,用户根据自己的需求,利用虚拟化技术实现服务器的私有化,实现资源的按需分配。它还可以将若干资源整合到一个虚拟机里,实现资源的有效利用,提高服务器的利用率。

(3)海量数据分布存储与数据管理技术

云计算处理的是分散在互联网中海量数据,因此,管理大量的数据需要用到数据管理技术。海量数据存储即要考虑数据的存储性能,又要保证其可靠性和可用性,因此采用的是分布式的存储方式。

谷歌的非开源的GFS(Google File System)和Hadoop开发团队开发的GFS的开源实现HDFS(Hadoop Distributed FileSystem)是云计算的海量数据分布存储主要技术。HDFS的数据存储技术应用于雅虎、英特尔的“云”计划等IT厂商。谷歌的BigTable是数据管理技术的标志性应用。

(4)编程模型

云计算上的编程模型应该尽量简单,让用户能够轻松地编写适合自己目的的简单程序。

目前有代表性的是Google开发的Map-Reduce。Map-Reduce模式由Map(映射)、Reduce(化简)两个阶段组成,先运行Map函数,对数据块进行运算,生成数据集合,然后将处理后的数据集合保存在Map函数节点上,再通过Reduce程序读取并合并中间结果(如图1)。

1.3 构建基于云计算的电子政务平台的必要性

近几年,随着云计算技术的发展,将云计算应用到电子政务平台建设中,推动了电子政务向更高层次的发展。目前电子政务存在着信息安全、资源共享费用高、办公效率低等问题,而云计算技术的运用能有效地解决电子政务中存在的问题,因此构建基于云计算的电子政务平台十分必要。

(1)云计算有助于保证信息安全。在云计算模式中,电子政务的数据可以集中存储在安全可靠的数据存储中心,电子政务各部门可以规定数据共享级别,并交由数据中心的管理员对其进行统一管理、严格执行。这样可以大大降低资源共享安全风险,从而有效保证信息安全。

(2)云计算有助于减少建设成本。在云计算模式中,用户通过终端设备获取自己需求的知识、信息、服务,硬件的配置和更新则由云服务提供商提供。运用云计算技术建设电子政务平台,有效减少了建设成本。

(3)云计算有助于维持电子政务均衡发展。在云计算模式下,电子政务平台可以整合、完善现有的电子政务业务系统,还可以支撑今后更多的新业务。信息化水平欠发达的地区及部门借助该电子政务平台能够在一定程度上推进信息化建设进程,确保电子政务实现均衡发展。

(4)云计算有助于满足电子政务的个性化需求。在云计算模式下,为电子政务提供了一个全方位高效的交互环境,政府各部门能够及时了解用户要求,为用户提供个性化服务,利用微博、微信、百科等服务,提升个性化服务水平,从而有效满足用户的个性化需求。

2、基于云计算的电子政务平台建设

2.1 可行性分析

云计算为信息化建设提供了难得的机遇,基于云计算的电子政务平台建设率先迈出非常重要的一步。可行性分析如下:

(1)理论基础分析

从理论基础上来看,构建基于云计算的电子政务平台是科学可行的。目前在理论层面已形成了较为完备的支撑体系,美国国家标准与技术研究所(NIST)于2009年7月提出并了被广泛接受的云计算定义。另一方面,近年来电子政务有众多的理论研究成果,如朱宇、邵波、陆海虹、林崇责、罗海驰等都发表了相关论文。

(2)技术条件分析

对于提供云计算服务的计算机来说,不得不实时地处理来自大量用户的处理请求和业务应用程序的运行结果。这样的处理,可以通过虚拟化和分散处理两种技术来实现。目前,国内外众多专家和IT机构已形成了一些具有代表性的技术方案体系。如Amazon提供的云服务Amazon Web Services;用友提供的全方位云服务。从技术条件上来看,构建基于云计算的电子政务平台是切实可行的。

(3)实践环境分析

云计算服务市场发展迅猛,某些原理具有很高的一致性,Google、Amazon、saleforce.com、微软公司都在积极的研究和部署云计算,并且他们的云战略在一定程度上取得了成功。

如亚马逊于2006年推出了AWS服务,帮助其他公司利用亚马逊数据中心的设备去运行网络应用;另外,我国也在积极开展云计算的研究,中国电子学会专门成立了“云计算专家委员会”,为云计算的推广应用提供了有利的实践环境。

(4)经济成本分析

从经济成本上来看,构建基于云计算的电子政务平台是可行的。云计算将政府部门服务器所担负的任务交给有数万台服务器集群所构成的巨大数据中心来负担,这样一来设备的运用和管理所花费的总开销会大幅度消减。这样,就形成了支持云计算低价格服务的结构。另外,云服务提供商负责服务器的日常维护,节省了维护费用以及时间成本。云计算的压倒性低价格打破了传统的费用体系。

2.2 建设原则

目前,云计算技术应用到各个领域的势头迅猛发展,但是由于起步比较晚,国内的技术水平不够发达,在电子政务领域还没有形成统一的标准及完全可遵循的建设模型。结合我国电子政务平台建设实际情况及其他学者的论著,总结出一些建设基于云计算的电子政务平台的基本原则。

(1)掌握全局,详尽计划。

了解并掌握当前电子政务业务发展情况,做好总体规划,分阶段多目标的完成平台建设。

(2)高效整合现有资源,效益最大化。

有效整合现有的硬件、软件资源,对现有资源充分利用,确保达到效益的最大化。

(3)做好前期论证及试点。

在具体构建工作过程中,进行前期的论证及试点,及时总结经验教训,确保基于云计算技术的电子政务平台构建工作稳步推进。2.3 应用构架

建设基于云计算的电子政务平台结构基本包含资源管理层、虚拟层、应用管理层、业务表现层。图3给出了建设云计算化的电子政务平台的基本结构,但是这个结构并不是一成不变的,而是根据实际应用需要、硬件设施情况以及软件技术不断更新的。具体包括:

(1)资源管理层,包括资源池层以及物力资源层两部分,负责数据资源和数据整合(访问、提取、过滤、综合);

(2)虚拟层,主要有虚拟服务器及虚拟网络两部分构成;

(3)应用管理层,是基于云计算的电子政务平台的关键所在,主要包括协同政务与决策支持、政务应用系统,具体负责各种软件服务、系统功能以及网站网页;

(4)业务表现层,主要负责因特网、政务内网以及政务外网之间的业务往来。

结构详见图2所示。

3、结束语

基于云计算的电子政务平台是未来电子政务平台构建的基础,它向各级政府提供节约化、智能化、一站式的电子政务服务。本文提出了一种构建基于云计算的电子政务平台的总体框架结构,利用这个平台,政府各部门可以提高其行政效率和工作质量,可以均衡电子政务发展水平,保障信息的安全性。

参考文献:

[1] 陈全,邓倩妮.云计算及其关键技术[J].计算机应用,2009,29(9):2562-2567.

[2] 罗军.云计算:体系构架与关键技术[J].通信学报,2011,32(7):3-21

[3] 吕元智.基于云计算的电子政务信息资源共享系统建设研究[J].信息系统,2010,33(4):106-109.

[4] 林崇责,黄炜.基于云计算的电子政务一体化服务平台建设探索[J].计算机时代,2012,8:63-64.

云计算数据论文第3篇

关键词:推荐系统;云计算;数据挖掘;个性化

中图分类号:TP393 文献标识码:A DOI:10,3969/J.issn.1003-6970.2013.03.001

本文著录格式:[1]郭平,刘波,沈岳,农业云大数据自组织推送关键技术综述[J].软件,2013,34(3):1-6

0 引言

随着物联网、云计算、下一代互联网等新一代信息技术的快速发展和信息内容的日益增长,“信息过载”问题愈来愈严重,推荐系统(recommender systems)被认为可以有效的缓解此难题,帮助用户从海量数据中发现感兴趣信息,满足个性化需求。

近年来,我国在农业个性化知识服务服务领域从本体论、语义网、知识工程角度开展了广泛的研究,成果主要体现在三个方面:以搜索引擎为代表的知识检索系统,需回答大量预设问题进行知识推理的专家系统,特定领域应用系统,它们在各自的场合都发挥了积极作用。然而知识检索系统不能满足用户个性化需求,专家系统的应用很难普及,特定领域应用开发成本高和重用难度大。物联网与数据挖掘云服务提供知识服务云实现物理世界的“感知控”,知识服务云的研究主要集中在制造和图书情报领域,云环境下的农业个性化知识服务的研究尚处于起步阶段,主要集中在服务模式的构建与展望。

本文是对科技部科技支撑课题“农村农业信息化关键技术集成与示范”(2011BAD21803)与“农村物联网综合信息服务科技工程”(2012BAD35800)研究成果的总结,也是对农业云推荐系统研究的升华。

1 农业云大数据自组织区域推送的提出

1.1 农业信息资源特点

我国自“十一五”时期以来,农业农村信息化发展取得了显著成效,主要表现在农业农村信息化基础设施不断完善、业务应用深入发展、物联网技术在农业中逐步推广应用等方面。从中央到省,市、县建立了“三农”综合信息服务平台,涉农企业、组织和科研院所也积极搭建了各具特色的农业信息服务平台,目前正向乡镇村发展。农村信息员队伍及以农业综合信息服务站和农业合作社为代表的农村信息服务机构发展迅速,“三电合一”、“农民信箱”、“农村热线”等信息服务模式应用深入。云计算利用海量的存储能力把农业信息资源形成高度集成和虚拟化的计算资源一“农业知识聚合云”,支持用户在任意位置、使用各种终端方便获取信息,但由于农业领域生态区域性和过程复杂性及农业区域发展不平衡和农民文化的多层次性也带来了“信息过载”、“资源隐晦”“资源迷向”等问题。

1.2 农业云环境下大数据自组织区域推送

物联网和云计算背后是大数据,在云计算模式下,用户不确定的、智能的交互,个性化需求更加多元化,信息交互行为更加频繁;在大量用户通过社会标注达成共识的过程中,逐渐形成不同社区,涌现出群体智能,形成“农业用户兴趣社交云”。利用云的海量存储、群体涌现智能、强大的计算能力和物联网感知控优势,可以提供面向用户复杂分析计算,实现业务重点由面向应用和资源的传统信息服务,转变为基于对海量农业知识进行动态划分,有目的、主动、定制、自组织推送给有需求的农业用户,为农业用户提供实时性、个性化知识服务,指导农业生产过程。

首先以Hadoop+MapReduce+HBaSe分布式框架为处理平台,对“农业用户兴趣社交云”,融合用户兴趣偏好和社交网络进行建模,将这些多元用户信息充分融入推送系统会更好产生推荐结果;将推荐对象“农业知识聚合云”按农业知识高维性、多样性、多层次性特征分类聚类为各种知识块静态和动态元数据;通过智能算法推荐和社会网络推荐为用户发现个性化内容;根据用户的地理位置、用户服务的评价以及云基础服务提供商信息将预测值最高的服务推送给用户实现与物理世界的互动(如图1)。

从以上分析可知,农业云大数据自组织区域推送的关键技术有用户兴趣模型、推荐对象模型,推荐算法、数据挖掘四个部分,以下分别对这几项技术进行论述。

1.2.1 用户兴趣模型

用户兴趣建模是个性化服务技术的基础和核心,包括数据收集、模型表示、模型学习与模型更新。用户兴趣建模的方法有很多,常用的有向量空间模型、神经网络、遗传算法、用户一项目评价矩阵、基于案例的表示、基于本体论的表示、基于加权关键词的表示,基于社会网络的表示等。几乎每种表示形式都是以一种私有形式进行知识表示,此外一些表示技术还依赖于模型学习,如广泛使用的基于向量空间模型的表示与TF-IDF学习技术联系在一起。表示形式的私有性和对学习技术的依赖性阻碍了用户模型在系统间的共享,这种共享对于减少用户建模工作量,提高推荐算法启动效率具有重要意义。因此开发独立于模型学习技术的通用用户模型表示技术是目前研究中热点,基于语义网和社交网络的用户模型在这方面表现了优势。

用户的兴趣或需求会随时间、情景发生变化,结合长期和短期兴趣及兴趣的变化用户兴趣建模的重点,目前的更新机制很难及时跟踪用户兴趣的变化,有更好的学习效率和动态变化适应能力的建模是未来的重要研究方向,国内外大量的文献对此展开了研究,遗忘函数、时间窗、用户兴趣的漂移特性等被提出。

在湖南农业云中,基于呼叫中心、互联网,手机报、手机短信,电视广播等用户在多应用系统中形成的兴趣偏好和社交网络特征,提出“农业用户兴趣社交云”建模思路:以图论模型表示用户“兴趣图”数据和“社交图”数据,根据经典的局域世界演化理论,综合考虑实际情况中用户之间的多重关系和关系的强弱程度,以用户之间相似度为节点连接概率因素,生成动态多维网络,进行用户数据的挖掘和更新;结合农业本体,在多维社交网络的基础上,将基于农业本体的区域用户兴趣融合在云计算平台上进行处理。

1.2.2 推荐对象模型

推荐本质上是将推荐对象的特征与用户的兴趣偏好进行推荐计算,所以推荐对象的描述和用户的描述密切相关。推荐系统应用不同领域,它推荐的对象也就各不相同,目前,湖南农业云主要是文本性数据;不同的对象,特征也不相同,目前没有一个统一的标准来进行统一描述,主要有基于内容、分类、聚类的方法。

基于内容的方法是从对象本身抽取信息表示对象,常见的是向量空间模型,使用最广泛的是加权关键词矢量方法进行特征选取,使用TFIDF计算每个特征的权值。向量空间模型对模型中的特征词进行权重估计(TF-IDF)过程中不考虑特征词之间的相关性,直接用特征词作为维度构建文档向量,降低了文档向量对文档概念表达的准确性以及对不同类型文档的区分能力。

基于分类的方法是把推荐对象放入不同类别,把同类文档推荐给对该类文档感兴趣的用户。主要有两种,一种是基于知识工程的方法,使专家的类别知识直接编码为分类规则,正确率和召回率高,但工作量大;近期研究最多的是另一种一机器学习,根据训练样本集建立分类器,方法有很多,常见的有概率分类、贝叶斯回归分析、决策树分类器、决策规则分类器、Rocchio分类器、神经网络分类器、支持向量机(SVM)、分类器融合、Boosting分类器、k最近邻方法(KNN)等。

研究文本聚类的最初目的是为了提高信息检索的查全率和查准率,近年来,文本聚类用于自动产生文本的多层次的类,并利用这些新生成的类对新文本进行效率较好的归类,已经提出了大量的文本聚类算法。传统的聚类算法在处理高维和海量文本时效率不很理想。针对这样的问题,将聚类分析与计算智能理论,并行计算、云计算等相结合,设计出高效的并行聚类算法,己经成为一个比较流行的研究思路。

在湖南农业知识云数据模型中,将能更好反映特征词相关性的超图模型引入,将文档中提取的特征项表示为图中节点,特征词条之间的关系构成图中边,用边上权值表示相关联特征项之间共现程度。通过对文本图模型K最近邻划分实现降维降噪的粗粒度数据切片;对切片后数据反映用户兴趣如地域、时间、诉求等多维度特征的智能聚类,实现细粒度的聚合与分割。

“农业知识聚合云”模型算法建立在基于MapReduce处理的大规模图上,得到各种知识块静态和动态元数据。

1.2.3 推荐算法

推荐算法是整个推荐系统中核心部分,大量的论文和著作都关注了这个方面。目前,基本包括以下几种:基于内容过滤推荐、协同过滤推荐、基于关联推荐、基于知识推荐、基于效用推荐、基于网络结构推荐、基于聚类推荐、基于社会网络分析推荐、混合型推荐等。通过对众多推荐算法进行比较分析,各种算法都有优缺点(如表1):

各种推荐方法都有各自的优缺点,在实际问题中采用多种策略进行混合推荐,主要有两种混合思路:推荐结果混合和推荐算法混合。目前大部分的推荐算法都是混合推荐算法,主要还是以协同理论为核心,再配合其他算法的优点或交叉学科的理论来改善推荐的质量。另外基于社会网络个性化推荐算法研究是一个趋势,基于社会网络的推荐是协同过滤的延伸,通过考察结点之间(用户和用户之间或产品之间)的相关性和结点之间的信任度可以获得比一般协同推荐更高推荐效果,如文献提出将社会网络关系结合到推荐算法中。纵观国内外在推荐算法上的研究,主要集中在基于用户显性评分数据的协同过滤算法上,对基于非显性评分行为数据场景下的研究却显得有点不足。目前在扩展性问题上学术研究不是很具有针对性,主要集中在通过各种交叉学科中的方法来对用户进行聚类或对行为数据进行降维、压缩等缩短推荐的项目集或减少计算量,从而提升算法的性能;有关基于云平台上的推荐算法研究目前主要集中于协同过滤算法MapReduce化。而实际应用中,己出现利用分布式集群解决算法扩展性方法,如Google News的推荐算法就是部署在分布式环境下,从而满足海量数据下的推荐服务。

根据农业云大数据自组织区域推送实际情况将推荐结果和推荐算法混合,提出“三层推荐”策略:在丰富的知识块云元数据基础上,将知识块属性和用户兴趣行为基于频繁模式的知识关联撮合推荐;通过复杂网络聚类算法识别一个用户多个社区兴趣,融合“兴趣图”和“社交图”协同过滤推荐,突破算法推荐的局限性,让用户信任的朋友圈子为其发现和推荐内容,取得社交推荐的时效性和算法推荐的长尾性之间的互补,从而针对每个社区成员提供精准个性化推荐;根据基础设施服务供应商、用户所在的地理位置以及用户对服务可用性评价值的相似性等,将大量用户云终端聚类为一定数量的社区,提高云端推送服务的有效性,最终形成通过大众参与,支持云间变换,集电信网、广播电视网、互联网合一的自组织区域推送,较有效地处理一般推荐算法中存在的稀疏性、冷启动以及大规模实时计算的问题。

1.2.4 云计算下个性化数据挖掘

数据挖掘采用了多种领域中的思想,包括来自统计学的抽样、估计、假设检验以及人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。随着数据挖掘的不断发展,也采用了包括最优化、进化计算、信息论、信号处理、可视化、信息检索、云计算、并行计算等技术。与传统的数据挖掘相比,云计算下的个性化数据挖掘的目标,就是通过云计算中心,向用户提供针对其即时演化需求的数据挖掘SaaS(Software as aService,软件即服务)服务,其基础问题主要为:对于用户不同的数据挖掘需求以及针对用户特点进行个性推荐的建模和表征;数据挖掘算法适应云计算的并行分布式化;使数据挖掘的结果和算法能够支持云间变换并形成一种面向用户、即时组合的、变粒度的云服务,其中数据挖掘的云服务化是研究的难点。

(1)云计算下个性推荐的建模和表征

云下的个性推荐建模和表征与传统上个性化推荐明显的不同在于海量异构大数据和用户间群体涌现的社交网络,它们本质上形成了多个顶点的大规模图。云计算可以为大规模个性化提供技术支撑,云服务本身也有大规模个性化定制应用需求,目前研究两者结合的文献还很少,张泽华从计算资源的角度基于复杂系统理论对云计算联盟体系结构进行建模,并基于蚁群优化算法和复杂系统理论进行了负载均衡研究;郭昱就有效处理客户需求信息该如何选择与分布云计算平台中的关键节点问题,提出了基于云计算的大规模定制客户需求模型。赵东杰对复杂网络、数据挖掘与群体智能有效结合进行了探索研究。农业云大数据自组织推送通过“农业知识聚合云”分解的静态、动态知识元数据和“农业用户兴趣社交云”形成的兴趣图、社交图基于用户行为和知识元数据的关联撮合,通过人工智能和社交圈子帮助用户发现内容,实现搜索和推荐的无缝结合,为智能个性化推荐实现“内容找人”愿景。

(2)算法并行分布式与高性能计算

对于大规模数据的处理,典型系统结构大致分为三类:基于MapReduce模型的分布式并行处理系统、基于BSP模型的分布式并行处理系统和分布式图数据库系统。数据挖掘算法现在的发展趋势是基于云计算的并行数据挖掘,它的同一个算法可以分布在多个节点上,多个算法之间是并行的,多个资源实行按需分配,而且分布式计算模型采用云计算模式,数据用DFS或者HBASE,编程模式采用MapReduce这种方式。Bhaduri等整理了一个十分详尽的并行数据挖掘算法文献目录,包含了关联规则学习、分类、聚类、流数据挖掘四大类分布式数据挖掘算法,同时还包括分布式系统、隐私保护等相关的研究工作。

2 基于云计算推荐系统研究的重点、难点与热点

2.1 云环境下用户偏好获取安全与可信问题

推荐系统中,用户数据集的数量和质量问题,影响用户模型的精确度、可用性,导致问题的根本原因在于用户对隐私和安全的考虑。而云环境下,数据的安全与隐私是用户非常关心的问题。既能得到准确用户信息而提高推荐系统性能,又能有效保护用户信息同时检测并能预防推荐攻击(一些不法的用户为了提高或降低某些对象的推荐概率,恶意捏造用户评分数据而达到目的)将是未来推荐系统的一个重要研究方向。

2.2 模型过拟合问题

过拟合现象是指系统推荐给用户的对象与用户刚刚看过的不是太相似或者太不相关。过拟合(过学习)的问题本质上来自于数据的不完备性,这在实际应用中是无法完全避免的。在于兴趣偏好获取方式或隐私等原因使用户没有对足够多类别的对象进行评价。目前解决的主要方法是引入随机性,使推荐算法收敛到全局最优或者逼近全局最优,关于既要保证推荐的多样性,又不能与用户看过的对象重复或毫不相关这一问题的研究是推荐系统研究的一个难点和重点。

2.3 稀疏性与冷启动问题

稀疏性和冷启动问题困扰推荐系统很长时间了,前者的解决办法主要过滤和降维。目前针对冷启动问题提出了一些解决方法,主要分为两大方面,一是直接利用传统协同过滤的评分数据结合特定的方法进行解决,二是新用户或新项目的内容属性信息与传统的协同过滤评分数据相结合的方法进行改善冷启动问题。稀疏性与冷启动问题一直是推荐系统研究的一个难点和重点。

2.4 数据挖掘的结果和算法智能服务化

将数据挖掘算法融入针对海量用户的使用记录和计算资源间协作进行优化组合,利用这些特性通过大众参与的交互作用,提高云间服务的智能性、有效性将是大数据时代推荐系统研究的一个制高点。将数据挖掘任务及其实现算法服务化,通过SaaS方式向云计算中心索取所需的相应的数据挖掘,这可能是目前突破数据挖掘专用软件使用门槛过高、普通大众难以触及、企业用户使用成本太大、挖掘算法和结果难以实时得到评价和相应修改等问题的最有希望的解决方案之一,也是数据挖掘走向互联网大众、走向实用化的重要的一步。

2.5 大数据处理与增量计算问题

目前对大数据的研究仍处于一个非常初步的阶段,半结构化和非结构化数据给传统的数据分析带来巨大挑战,尤其算法如何快速高效地处理推荐系统海量和稀疏的数据成为迫在眉睫的问题。当产生新的数据时,算法的结果不需要在整个数据集上重新进行计算,而只需考虑增量部分,对原有的结果进行微调,快速得到准确的新结果,是增量计算的理想状态。但一般而言,随着信息量的增多,算法的误差会累积变大,最终每过一段时间还是需要利用全局数据重新进行计算。一个特别困难的挑战是如何设计一种能够保证其误差不会累积的算法,也就是说其结果与利用全部数据重新计算的结果之间的差异不会单调上升,要达到这种程度,还有很长的路要走。

结束语:

随着新一代信息技术的快速发展和信息内容的日益增长,搭载在云计算平台的自组织区域推送具有它天然的优势:云的海量存储使得推荐系统能有效获取训练数据;云的分布式计算能力提供了较高的响应能力;海量用户的使用记录和计算资源问大众参与的交互涌现,最终形成自组织优化组合的智能个性化云推送。因此,农业云自组织区域推送具有重要的研究意义和广阔的应用前景,对云环境下其他领域的个性化推送应用具有借鉴意义,但目前存在大量问题需要进行深入细致的研究。

参考文献

[1]孟祥武,胡勋,王立才,张玉洁,移动推荐系统及其应用[J],软件学报,2013,24(1):91-108

[2]杨涛,基于本体的农业领域知识服务若干关键技术研究[D],上海:复旦大学计算机科学技术学院博士论文,2011,1-50

[3]杨晓蓉,分布式农业科技信息共享关键技术研究与应用[D],北京:中国农业科学院博士学位论文,2011,3-35

[4]赵春江,农业智能系统[M],北京:科学出版社,2009,1-210,

[5]何清,物联网与数据挖掘云服务[J],智能系统学报,2012,7(3):1-5,

[6]黄卫东,于瑞强,共享学习模式下知识服务云平台的构建研究[J],电信科学,2011,12:6-11

[7]丁静,杨善林,罗贺,丁帅,云计算环境下的数据挖掘服务模式[J],计算机科学,2012,39(6):217-219,237

[8]邓仲华,钱剑红,陆颖隽,国内图书情报领域云计算研究分析[J],信息资源管理学报,2012,2:10-16

[9]胡安瑞,张霖,陶飞,罗永亮,基于知识的云制造资源服务管理[J]同济大学学报(自然科学版),2012,40(7):1093-1101

[10]程功勋,刘丽兰,林智奇,俞涛,面向用户偏好的智能云服务平台研究[J],中国机械工程,2012,23(11):1318-1323,1336

[11]刘波,方逵,沈岳,可重构的农业知识服务模式研究[J]农机化研究,2011,36(11):66-70

[12]赵星,廖桂平,史晓慧,陈诚,李文圃,物联网与云计算环境下的农业信息服务模式构建[J],农机化研究,2012,4:142-147

[13]郭永田,中国农业农村信息化发展成效与展望[J],电子政务,2012,02-03:99-106

[14]李道亮,中国农业农村信息化发展报告(2011)[M],北京:电子工业出版,2012,87-150

[15]钱平,郑业鲁,农业木体论研究与应用[M],北京:中国农业科学技术出版社,2006,1-100

[16]吴丽花,刘鲁,个性化推荐系统用户建模技术综述[J],情报学报,2006,25(2):55-62

[17]李珊,个性化服务中用户兴趣建模与更新研究[J],情报学报,2010,29(1):67-71

[18]王国霞,刘贺平,个性化推荐系统综述[J],计算机工程与应用,2012,48(7):66-76

[19]王巧容,赵海燕,曹健,个性化服务中的用户建模技术[J],小型微型计算机系统,2011,32(1):39-46

软件杂志欢迎推荐投稿:http:///

[20]张华清,动态多维社会网络中个性化推荐方法研究[D],济南:山东师范大学硕士学位论文,2012,16-31

[21]丹,面向跨系统个性化服务的用户建模方法研究[J]_情报杂志,2012,31(6):156-161

[22]邓夏玮,基于社交网络的用户行为研究[D],北京:北京交通大学硕士学位论文,2012,4-43

[23]马尧,基于多维用户特征建模的个性化社交搜索引擎的设计与实现[D],广州:华南理工大学硕士学位论文,2012,12-55

[24]陈恩红,徐童,田继雷,杨禹,移动情景感知的个性化推荐技术[J],中国计算机学会通讯,2013,9(3):19-24

[25]Jong Hwa Kima,b,,Hyun JoonLeeb,Extraction of user profile based on workflow and information flow[J],Expert Systems with Applications,2012,39(5):5478-5487

[26]南智敏,钱松荣,引入漂移特性的用户兴趣模型优化研究[J],微型电脑应用,2012,28(3):30-32

[27]郭新明,弋改珍,混合模型的用户兴趣漂移算法[J],智能系统学报,2010,5(2):181-184

[28]程显毅,朱倩,文本挖掘原理[M],北京:科学出版社,2010,9-45 [29]李涛,推荐系统中若干关键问题研究[D],南京:南京航空航天大学博士学位论文,2009,31-80

[30]姜伦,模糊聚类算法及其在中文文本聚类中的研究与实现[D],哈尔滨:哈尔滨理工大学硕士学位论文,2010,18-48

[31]冯汝伟,谢强,丁秋林,基于文本聚类与分布式Lucene的知识检索[J],计算机应用,2013,33(1):186-188

[32]陶红,周永梅,高尚,一种基于语义相似度的群智能文本聚类的新方法[J]计算机应用研究,2012,29(2):482-532

[33]孟海东,刘小荣,基于聚类分析的图模型文档分类[J]计算机应用与软件,2012,29(1):117-174,229

[34]饶君,张仁波,东呈晓,吴斌,基于MapReduce的大规模图挖掘并行计算模型[J],应用科技,2012,39(3):56-60

[35]于戈,谷峪,鲍玉斌,王志刚,云计算环境下的大规模图数据处理技术[J],计算机学报,2011,34(10):1753-1767

[36]吕善国,吴效葵,曹义亲,基于网络结构的推荐算法[J]_实验室研究与探索,2012,31(7):278-280,368

[37]周佳,罗铁坚,一种基于内容关联的学术资源协同推荐算法[J],中国科学院研究生院学报,2013,30(1):117-123

[38]唐晓波,张昭,基于混合图的在线社交网络个性化推荐系统研究[J]情报理论与实践,2013,36(2):91-95

[39]王立才,孟祥武,张玉洁,上下文感知推荐系统[J],软件学报,2012,23(1):1-20

[40]刘建国,周涛,汪秉宏,个性化推荐系统的研究进展[J],自然科学通报,2009,19(1):1-15

[41]许海玲,吴潇,李晓东,阎保平,互联网推荐系统比较研究[J]软件学报,2009,20(2):350-362

[42]孙冬婷,何涛,张福海,推荐系统中的冷启动问题研究综述[J],计算机与现代化,2012,5:59-63

[43]张亮,基于聚类技术的推荐算法研究[D],成都:电子科技大学硕士学位论文,2012,7-18

[44]Liu, F.,Lee, H.J. Use of social network information to enhance collaborative filterinperformance.Expert[J] Systems with Applications. 2010, 37(7):4772-4778.

[45]Jiang, J., Lu, J., Zhang, G., Long, G. Scaling- Up Item-Based CollaborativeFiltering Recommendation Algorithm Based on Hadoop[C].2011 IEEE World Congress onServices.IEEE[A]. 2011, 490-497.

[46]周源,基于云计算的推荐算法研究[D],成都:电子科技大学硕士学位论文,2012,26-64

[47]吕雪骥,基于云计算平台的智能推荐系统研究[D],合肥:安徽大学硕士学位论文,2012,25-43

[48]刘晨,改进的聚类挖掘算法对网络自助出版“长尾”文本的推荐应用[D],上海:复旦大学硕士学位论文,2011,10-19

[49]陈桂生,张海粟,刘玉超,云计算下的个性化数据挖掘服务[EB/OL],[2011-2-28]中国人工智能学会通讯,http://www,/contents/50/119,html

[50]张泽华,云计算联盟建模及实现的关键技术研究[D],昆明:云南大学博士学位论文,2012,26-114

[51]郭昱,吴清烈,基于云计算的大规模定制客户需求响应模型及其节点的选择与分布[J],系统工程理论与实践,2011,31(增刊2):1-6

[52]赵东杰,张海粟,韩言妮,杨海涛,何宇,基于网络化数据挖掘的群体智能研究方法[C],Proceedings of 2010 The 3rdInternational Conference on Computational Intelligence andIndustrial Application(Volume 9).IEEE[A].2010,239-243.

[53]AnandRajaraman,Jeffrey David Ullman著,王斌译,互联网大规模数据挖掘与分布式处理[M],北京:人民邮电出版社,2012,1-253

[54]Bhaduri K, Das K, Liu Kun, et al. Distributed data mining bibliography[EB/OL]. [2011-01-03]. http:// cs. umbc. edu/~hillol/DDMBIB/

[55]杨健,汪海航,王剑,俞定国,云计算安全问题研究综述[J],小型微型计算机系统,2012,33(3):472-479

云计算数据论文第4篇

随着这两年的发展和实践,云计算的相关技术和应用领域已经逐渐显著起来。但是,云计算应用在图书馆后,将会给图书馆管理和服务带来什么样的变化,还具有很大的不确定性。云计算在实际的发展过程中,受到很多的质疑,国内外很多专家、学者都对其持质疑态度。例如,国外某公司提出了云计算存在的7大风险:长期发展、调查支持、数据恢复、数据隔离、管理权限、优先访问权限以及数据处所风险。因此,如果想要更好地发展云计算,就需要制定相关的国家或行业政策以及管理制度和规则,从而避免云计算带来负面影响。例如,《云计算权利宣言》中就提出了云计算的相关用户需要拥有的10项基本权利,包括数据、法律、审计、安全、备份、服务等。美国相关学者还在《云之上:云计算的伯克利平论》中提出了云计算的10大障碍。图书馆和其他行业一样,在运用云计算时,面临着各种各样的管理和服务问题,笔者将近几年中云计算的管理问题进行汇总、分析,发现主要有以下几个管理问题。

1.1标准问题对于不同的IT服务供应商,如果想要互相实现可替代性,签订协议和合同关系是供应商之间形成可替代性的基本方式。从其他方面来讲,IT服务供应商应该在云计算服务方面遵循共同的标准。如果缺乏共同的标准,供应商之间就不可能实现零成本转移。近期云计算的发展势头呈直线上升趋势,很多企业纷纷研制开发云计算的应用服务,因此,标准问题就显得十分重要。中国在举办首届云计算大会期间,已经明确指出国内部分企业已经开始做云计算了,但云计算缺乏兼容性。在急速发展的IT领域制定一个标准是不太现实的。目前云计算标准的制定有两种情况:一是在市场上所占比例特别大而自然形成;二是众多企业联合制定。国内于2009年时,成立了“开放云联盟”,并且在同年4月,在众多企业支持下于1992年成立的“开放云计算标准孵化器”,由此可以看出云计算在国内的发展。建立云计算标准是非常有必要的,因为可以保证不同的云计算之间具有一定的互操作性。而对于图书馆来说,云计算的标准应该更为广泛,例如,要支持数据标准化、程序交互接口要标准化等。

1.2可替代性问题图书馆应用云管理系统应该是这样的:存在几个大型的云提供商,并且提供可拆分形式的软件,为给图书馆提供相应的基础服务设施、软件、硬件或者平台进行合理的竞争。换句话说就是图书馆在运用云计算时,可以从不同的服务中选择最适合的应用形式,而不是只用同一个服务供应商提供的服务。图书馆应该对IT供应商自由选择,可以在众多商家之间零成本转移,在这种情况下,图书馆才能够接受其提供的服务。如果云计算不存在可替代性,那么就不能实现在服务商之间零成本地相互转换,从而加重了转移的成本,直接导致图书馆对云的依赖性加重。这种情况下就相当于图书馆被一家云供应商绑定,产生的后果很严重。例如,OCLC推出的图书馆管理服务,就具有一定的垄断性质。当图书馆选择供应商时,除了要考虑质量、价格等一些基本问题,最重要的就是考虑可替代性问题。即使是国有大型企业、图书馆的专用云计算企业,如果没有可替代性以及相应的制度,对图书馆的切身利益也很难进行担保。因此,提供商只有提供可替代性的云,才能够保证用户有自由选择的权利。

1.3知识产权的问题用户在购买云计算后,将自己需要保存的内容交给云,由云计算企业对这些内容进行托管。从理论的角度上说,用户拥有对内容的知识产权,希望对这些被托管的知识拥有使用、管理、控制、修改以及删除的权利,并且其他人是无权使用或是修改这些内容的。该项要求应该是在图书馆运用云计算的首要条件之一,但是,在实际的运用中,云计算企业会使用各种手段和方法,将这些数据进行整合、挖掘,充分利用这些数据并将其合法化。例如,OCLC组织利用馆藏数据,进行资源的整合开发,从而提出一些新型服务,包括每季的推荐书目等。如果其云计算图书馆集成系统一旦运营,那么就会对本地大量图书馆的读者信息以及相应的借阅数据进行系统整合,并开发这些资源。本来这些数据与图书馆的馆藏信息分为两个部分,且这些信息应该为成员馆所拥有,如果将其开发就会产生新的知识产权问题。云计算所产生的知识产权问题和传统的知识产权问题存在很大的差别且已经超出了传统知识产权法的范围。在我国制定“网络信息传播的知识产权保护法”时,图书馆的管理人员以及学者针对该问题充分表达了该行业的立场,对平衡知识产权保护起到积极作用。因此,如果知识产权需要重新立法,同样需要图书馆管理人员以及相关学者提供依据。

1.4数据保密和安全问题对于图书馆来说,最重要的问题就是数据信息的安全。图书馆中的读者数据、馆藏书目数据以及图书流通数据,如果丢失或是损坏,将会造成严重的后果,尤其是图书馆中馆藏文献数字化数据。大型的计算机中心,无论是管理能力,还是硬件条件,在很大的程度上都要高出普通图书馆,从技术的角度来说,图书馆数据存放在云计算上要比存放在本地更为安全可靠。云计算上的数据安全以及相应的保密性,在很大的程度上取决于政策层面。影响云计算数据安全的因素有很多,诸如国家政策、云计算企业的信誉、管理政策等。如果在不能保障绝对安全与保密的情况下,将图书馆的数据信息交由一家云计算管理企业进行管理,将会对图书馆核心价值造成巨大的冲击。

2云计算环境下图书馆的应对措施

2.1云计算在图书馆应用的可行性图书馆管理人员在信息技术应用方面一直处于时刻关注的状态,但是图书馆的云计算应用,是将馆藏数据以及应用系统存放在虚拟的存储器中,而不是放在本地,这与传统的存放理念产生一定的冲突。所以,我们需要仔细探讨云计算在图书馆中应用的可行性,结合云计算在其他领域中的应用并加大对可能应用领域的探索和开发,分析云计算在数据存储和共享、数据库以及应用软件、自动化管理系统等方面的优势,为图书馆管理选择提供一定的理论依据。

2.2云计算的基础理论研究现代图书馆学的理论以及方法,我们主要从两个方面进行:信息技术以及技术应用,信息技术目前的发展趋势是主要围绕着云计算,因此,在图书馆中运用云计算会给图书馆管理带来挑战。云计算的特点、类型、基本理念以及概念等是云计算主要的理论问题。对云计算的理论研究并不是为了探究云计算在图书馆管理中的应用,只是为了促进图书馆行业对云计算的认识,从而为之后的图书馆管理挑战提供相应的理论依据。

2.3云计算服务下的图书馆管理体制云计算应用于图书馆,本身就带有一定的挑战,尤其是拥有IT基础设施的领域,图书馆如果选择应用云计算进行管理,那么图书馆需要大幅度调整其原有的信息系统管理以及服务,从而导致IT管理体制以及图书馆业务流程发生变化。所以,在将云计算应用于图书馆管理之前,必须要对IT基础设施变化给图书馆机构以及业务流程带来的变化、人员数量以及部门结构、服务质量检测以及相应的控制手段等方面进行科学、有效的研究,确保在图书馆中应用云计算的可行性以及高效率。

2.4云计算的相关政策和标准为了促进对云计算相关管理政策、章程或是行业标准的制定,我们需要对与云计算相关的政策进行研究,从而保证使用的云计算能够满足图书馆的管理和服务要求。为图书馆使用、信息服务内容、工具以及平台的选择提供最大的便捷性是云计算最大的特点,但是想要实现这样的要求就需要有相关政策、统一的标准以及标准的规章制度等作为最大的支持。尽管现在云计算的发展已经具备一定的规模并且与之相关的行业标准和协议问题正在商议的过程中,但是,图书馆在运用云计算时,还应该制定自己的行业标准。图书馆行业的相关负责人,应该组织专家和其他管理者对图书馆中云计算的运用所需要的标准、协议等进行讨论、探究,制定出符合图书馆行业的应用标准。同时,还要对提供云计算的企业进行研究,研究的内容包括企业的信誉、共享性、保密级别、开放性、标准化以及企业的可持续发展性,并且对其评价方法以及测评体系也要加大研究力度。

3结语

云计算数据论文第5篇

关键词关键词:云计算;网络学习;系统架构;信息教育

DOIDOI:10.11907/rjdk.162256

中图分类号:TP319

文献标识码:A 文章编号文章编号:16727800(2016)011009103

0 引言

当前,我国教育信息化整体推进已步入全面发展阶段。基于教育信息技术、网络多媒体技术、人工智能技术等构建的网络教育系统成为教育信息化服务的重要平台[13]。云计算因能够提供海量数据存储和方便快捷的网络服务而逐渐应用于教育领域,在云计算环境下实现网络学习资源的全面共享,能够有效避免重复建设,对推进教育信息化发展具有现实意义[45]。如何将云计算技术和云服务更好地用于网络学习平台建设,对提高信息化环境下的教育服务质量,促进网络学习资源有效共享具有非常重要的现实意义。探讨基于云计算的多媒体网络学习平台系统架构,可为推进云计算技术在教育信息化中的应用提供参考。

1 网络学习与云计算

网络学习也称在线学习,是通过在网络教育平台,利用网络资源进行学习的一种全新学习方式。与传统学习方式相比,网络学习打破了传统教学时空的局限,能够满足学习者随时随地学习的需求。网络教学平台作为连接学习资源和学习者的载体,有效整合了教学资源,学习者通过学习平台能够不受时间、地点的限制,自主控制学习进度,实现更加个性化的学习。然而,目前我国网络学习平台建设资源分布不均匀、共享程度较低、网络计算方式较落后[610]。

云计算是并行计算、分布式计算、网络存储、虚拟化、负载均衡、热备份冗余等传统计算机技术和网络技术融合发展的一种新型计算模型,面对的是超大规模的分布式环境,核心是提供数据存储和网络服务[11]。云计算的出现为我国网络学习平台建设提供了理论基础和技术解决途径。

不同于传统网络学习系统开发,云计算网络学习平台更重要的是如何基于云计算的基础架构来构建系统,使得系统能够充分利用云计算技术的优势,提供更为全面、实用、高效的服务[1213]。基于云计算的网络学习平台应该满足以下几点需求:①充分利用网络计算资源,降低系统建设成本;②充分利用网络教学资源,使学习者能够了解更多课程相关知识;③充分利用学习者在学习过程中产生的学习轨迹大数据,通过数据挖掘分析平台用户习惯,为其提供更精准有效的学习建议。

2 总体目标与需求分析

已有关于云计算学习平台的研究主要关注云计算技术的基本情况和学习平台的结构设计,忽视了平台建设的需求分析[1415]。而需求分析是应用软件开发的前提,是一切应用研究的基础。

基于云计算的网络学习平台的核心服务是提供网络学习。基于管理工程的研究思想,学习平台设计和管理的核心目标可以用6个 R表示:即将正确的学习资源(Right Resource),在正确的时间(Right Time),按照正确的数量(Right Quantity)、正确的质量(Right Quality)、正确的状态(Right Status),送给准确的目标用户(Right Learner)。同时,出于成本考虑,还应当综合管控整个学习过程在时间、人力、物力、财力等多方面的综合花费。

在此核心目标的基础上,按照“信息通透、交流方便,功能务实、系统健壮、应用灵活、结构开放”的基本原则,设计系统功能目标如下:①提供更加丰富的学习内容,使学习者实现网络自主学习;②有机组合多种功能模块,实现教师导学、学生自主学习、在线练习测试以及多人交互;③整合各门课程所需的课程内容,提供教案、知识点、练习题库、测试题库、辅助软件等多种资源;④系统框架清晰,操作界面友好,符合教育学习理论的认知习惯;⑤注重安全,根据云计算平台数据安全需求,从云计算各层全面考虑安全预防和管控措施,增强平台整体安全性。

3 基于云计算的在线学习平台架构

3.1 基于分层思路的云计算应用平台的架构模型

一个网络应用平台通常包含3个部分:①核心基础。指在计算机上运行的平台软件和支撑功能,如操作系统、存储资源、标准库等;②基础设施服务。指由其它计算机提供的基本服务,如远程存储服务、集成服务等;③应用服务。指封装后的面向服务化的应用,这些应用提供的功能可为新的应用使用。

基于云计算的平台是一种更为高级的网络应用平台,其本质是通过网络提供服务,因此其体系结构以服务为核心。基于分层思路可以将云计算应用平台架构模型分为4层,其中横向三层,分别为应用层、平台层和资源层,据此可以提供非常丰富的云计算能力和友好的用户界面;纵向一层,为管理层,用来实现对横向三层的管理和维护,具体如图1所示。

资源层将分布式系统中分散的资源进行汇聚。平台层首先将资源层的资源封装成通信、存储和计算能力,提供资源描述、分配和调度功能,然后将封装好的资源能力以服务形式展现,提供面向服务和能力的管理和调度功能。应用层由基于平台层提供的系统能力所实现的诸多业务逻辑模块构成,这些模块通过定义好的接口对外提供服务,模块之间的交互通信则通过管理层的各种服务管理功能来完成。

图1系统架构能够充分发挥云计算技术在面向大规模数据的分布式系统资源汇聚、资源管理和资源调度上的优势,提供高性能、可延展的分布式通信、存储和计算能力。并且因为融合了SOA理念,在系统范围内能够提供数据统一支撑,支持服务的安全管理、生命周期管理、交互管理、可靠性管理和可用性管理,实现系统范围内的架构松耦合。

3.2 基于云计算的多媒体网络学习平台的架构模型

根据基于分层思路的云计算应用平台架构模型,结合云计算在线学习平台建设的总体需求分析,提出如图2所示总体结构。

学习是平台最主要的服务,所有应用都是围绕支撑学习来提供的。用户终端包括用户和客户端,是整个云计算系统的消费者。应用层、管理层、平台层和基础设施资源层是整个云计算体系的支撑和服务提供者。各种支持学习的应用都是该平台中的一个应用业务,围绕使业务应用具有良好的适应性来构建应用层、平台层、资源层和管理层。通过实现云计算的分层式架构,更好地反映学习业务应用的基本元素和功能构成,从而满足以功能为目标导向的学习平台应用开发需求。

在此总体结构的基础上,进一步结合基于分层式架构设计思路的云计算应用平台架构模型,按照以学习应用为中心,以功能为目标的建设思路构建体系架构,将分层的思路从单一业务应用的架构中延伸到系统范围,将整个信息系统按照分层的思路统一规划设计,得到如图3所示的系统架构。

以上基于云计算平台的多媒体学习平台贯彻了系统架构设计分层的思路,在逻辑上将系统分为:

(1) 平台层。包括分布式数据总线(通信能力)、分布式统一存储系统(存储能力)、分布式工作流程和调度引擎(计算能力和资源调度),统一数据管理和访问,统一服务管理框架,统一服务交付框架,自动化运维管理系统。

(2)资源层。学习平台资源层由虚拟化和实体化的分布式服务器集群和存储设备构成。

(3)应用层。学习平台应用由运行在平台层之上的服务化软件模块构成。软件模块的服务管理和交付都通过平台层提供的服务交付模块实现。如此设计的分层框架能够封装资源抽取和能力,根据上层业务应用需求,方便灵活地动态调整系统中各个支撑模块的组织模式,从而适应学习活动中复杂的学习科目和学科支撑工具对技术上的需求。

该体系架构设计符合以数据流为中心的数据驱动架构理论,在功能构架上将整个系统划分为数据采集、数据存储、数据处理和数据交付等4个关键功能模块。映射平台中数据流动的基本流程,通过分布式数据总线联接各功能模块,实现高效可靠的数据交换,系统整体数据流向清晰,数据交换模式和接口明确。因此,可以有效地控制分布在网络上的众多组件之间的数据流向和顺序,使得即使在网络稳定性不佳的情况下,仍然能够保证数据通道畅通、数据交换安全可靠。实现高速、可信、易于扩展和管理的数据交换、传输和存储,满足基于云计算的网络学习平台对实时数据同步、海量数据集中存储、海量数据统一访问的要求。此外,它还具备高效的基于策略的资源调度和管理机制,能够实现资源的自动部署和灵活调度,从而大幅提升学习服务的执行效率和可靠性。

4 结语

随着云计算模式的逐渐发展和普及,学校、 教育机构和个人的信息处理逐渐迁移到“云”上,研究基于云计算的网络学习平台关键技术势在必行。本文深入研究基于云计算的多媒体网络学习平台的系统架构,基于分层思路和模块化思想提出了一种符合数据驱动架构理论的系

统架构设想。基于云计算平台的网络学习系统架构能够根据业务应用的需求和服务场景,快速作出调整,适应需求和环境,从而使网络信息系统资源利用最大化。通过平台建设,可以使未来的在线学习系统及时收集和分析各区域及各子系统的相关数据,实现在全系统范围内实时监控、动态调整、智能决策的高效信息网络,为网络教育领域的信息共享、信息协作和交互学习提供新的环境和模式。

参考文献:

[1] 焦建利,贾义敏,任改梅. 教育信息化的宏观政策与战略研究[J]. 远程教育杂志,2014(1):2532.

[2] 王竹立. 我国教育信息化的困局与出路――兼论网络教育模式的创新[J]. 远程教育杂志,2014(2):312.

[3] 陈琳,陈耀华,乔灿,陆薇. 教育领域综合改革开局之年我国教育信息化新发展――2014年中国教育信息化十大新闻解读[J]. 中国电化教育,2015(1):138145

[4] 陈全,邓倩妮. 云计算及其关键技术[J]. 计算机应用,2009(9):25622567.

[5] 何克抗. 我国教育信息化理论研究新进展[J]. 中国电化教育,2011(1):119.

[6] 许又泉. 一种网络学习系统的研究与设计[D].长沙:湖南大学,2006.

[7] 唐日照. 网络学习系统的设计与实现[D].长春:吉林大学,2006.

[8] 蒋福德,钟诚. 智能化网络学习系统关键技术研究与开发[J]. 现代计算机:专业版,2010(12):6368.

[9] 高振国,刘彦文,赵蕴龙,王春生. 基于建构主义学习理论的Java网络学习系统的设计与开发[J]. 实验室科学,2011(5):116119.

[10] 谢明凤,孙新. 基于本体知识管理的远程个性化网络学习系统模型研究[J]. 中国电化教育,2012(11):4753.

[11] MELL P, GRANCE T. The NIST definition of cloud computing[J]. Communications of the Acm, 2011,53(6):5050.

[12] BUYYA R, YEO C S, VENUGOPAL S, et al. Cloud computing and emerging IT platforms: vision, hype, and reality for delivering computing as the 5th utility[J]. Future Generation Computer Systems, 2009,25(6):599616.

[13] CHEN KANG, ZHENG WEIMIN. Cloud computing: system instances and current research [J]. Journal of Software, 2009, 20(5):13371348.

云计算数据论文第6篇

关键词:云计算;大数据;遥感;GIS;集群

中图分类号:G642.0 文献标志码:A 文章编号:1674-9324(2015)44-0227-02

一、前言

社交网络、视频监控、智慧地球等应用的逐步普及,预示着真正进入一个大数据的时代,而云计算无疑是解决大数据的好方式。云计算提供可用、便捷、按需的网络访问,是传统分布式计算、并行计算、效用计算、网络存储、虚拟化等计算机和网络技术发展融合的产物。

为了适应发展各大高校计算机专业也逐步开设了云计算的课程,但其教学的方式大多还处于基础的理论探讨和现有国外成熟系统的比较分析,使学生很难对云计算有一个直观、透彻的认识。急需要一个云计算的实验教学平台,从理论教学向实践教学转变,才能使学生拨开云计算的“神秘面纱”,走进内部剖析的关键技术。

二、选用遥感云GIS平台作为云计算的实验教学平台的优势

1.遥感云GIS是利用计算机技术对地球表面空间相关地理分布数据进行采集、存储、管理、运算、分析、显示的技术。其天然的海量数据的管理、计算,是云计算的良好的应用背景。

2.经过几十年的发展,已经有较为成功的遥感云计算平台,如google earth为代表的平台,将全球海量的遥感影像数据放在一个平台上,通过一个轻量级的客户端访问所有数据,能让学生更容易理解。

针对以上情况,本文设计一种开放性的云计算实验教学方案,采用以学生开发为主、教师启发指导为辅的实验教学模式,拓展学生的理论和实践能力。

三、遥感云计算平台系统架构

遥感云计算平台为了应对遥感海量数据存储和高吞吐量的计算的需求,采用“存储―计算”一体化的集群架构,整个集群采用星形拓扑结构,主服务器连接多个节点服务器。主服务器响应外部请求,管理元信息;节点服务器,存储数据和计算工具,避免计算过程中的大量数据迁移、方便性能和存储的扩展。

从逻辑结构上,采用自底向上、层层虚拟化的方式,分别构架资源引擎、数据引擎、计算引擎,最上层采用服务总线统一协调引擎工作并对外提供集群服务。

资源引擎:负责底层所有硬件资源的管理和通讯技术,提供集群文件并行读写的技术支持,使得硬件环境向上透明,上层引擎模块只需要关心逻辑节点,而不再关心硬件服务器。

数据引擎:管理集群内部的所有的遥感、GIS数据的元数据信息,并提供集群数据存储、读取、查询的各种接口,负责数据的迁移、备份、导入、导出等功能。

计算引擎:管理所有的计算工具,进行分布式计算任务的分配、管理等功能。

服务总线:响应来自外部的服务请求,将请求分解到资源、数据和计算,并协调运算,最后响应请求。

在这样的服务体系结构下提供多种遥感云GIS数据服务接口,同时提供二维、三维客户端、智能终端等多种类型的基础功能的客户端。行业应用的开发,只需要根据实际的业务需求在基本客户端的基础上调用数据服务接口进行二次开发,从而大大降低了实验过程中用于基础平台和客户端开发所用的时间。

四、遥感云GIS实验教学方案设计

遥感云GIS实验教学内容主要突出对云计算知识的综合运用能力的培养,通过基于该模拟的云计算平台的实验了解云计算的应用模式,并逐步掌握云计算的内部技术架构。实验包括自主服务搭建、平台服务接口二次开发、计算工具研发等三个方面的内容,从难度上具有一定的层次性,适合不同程度的学生实验。

(一)自主搭建服务

可在虚拟机环境下安装服务器程序,如图2从下到上逐层实现虚拟化,底层服务器节点是单个服务器主要用于存储数据及计算工具之上运行节点守护进程;往上通过四大引擎(资源、数据、计算、可视化)对底层节点实现虚拟化;最上层由主服务和可视化服务对四大引擎实现二次虚拟化,实现对外服务的统一接口;各种客户端通过主服务提供的http接口实现和服务端程序的交互。

学生通过自己动手安装全套遥感服务程序,了解轻量级遥感云服务工作模式,对云计算入门非常有帮助。

(二)平台服务二次开发

该平台的主要功能在于通过网络服务的方式提供基于遥感GIS的二次开发接口,在具体的应用中利用这些接口快速实现遥感服务应用,同时平台提供多种类型的客户端基础模型。

为学生设计多种遥感应用的案例,通过该云服务平台快速完成行业应用的解决方案。

1.林业应用。要求实现对林地区域的管理,以遥感影像作为底图,用矢量数据绘制出林木种类、林区所属等信息,并且在这个基础上实现林区属性数据的查询等功能。利用平台的开放遥感GIS服务接口能够较快速的实现遥感影像及矢量数据的叠加显示,并进行简单的矢量交互查询操作。

2.土地执法应用。通过对某一个区域的不同时间的影像对比,系统自动对变化区域进行提醒报警,方便执法人员主动到现场进行执法调查。该应用利用了调用平台的影像对比工具对指定的影像进行匹配比较,这就是应用了平台的计算服务接口。

3.数字校园应用。主要功能是展示校园的三维场景,在实验中学生自行用3dmax等工具设计学校的建筑物,并导入平台,设定模型的具置。利用平台提供的三维客户端展现在影像地图上的三维场景。该部分的实验主要通过云平台的应用,进一步了解云服务的应用模式,并且在实验开展过程中设计出更多的应用案例,此实验适合具有一定开发能力的学生。

(三)计算工具研发

平台本身除了提供丰富的遥感GIS计算工具之外,也对外开放工具开发接口。设计实验让学生在符合平台工具开发标准的基础上开发自己的处理工具,设计个性化、专业化的数据处理工具,这要求学生具有一定的专业知识,并具有较高的开发能力,对研究生的科研具有帮助。

五、结语

本文提出一种开放性的基于GIS的云计算实验教学方案,涵盖了集群硬件、网络分布计算、遥感GIS大数据存储等关键技术,是对云计算实验教学的一种探索与尝试。通过该实验方案能让学生直接感受到云计算的实际应用,同时激发学生对云计算的学习兴趣。

在近两年的教学过程中,学生基于该实验方案进行设计开发,师生普遍反映对学生云计算的入门和提高有很大的帮助。

参考文献:

[1]任伏虎,王晋年.遥感云服务平台技术研究与实验[J].遥感学报,2012,16(6).

[2]刘展鑫.基于云计算的GIS架构模式研究[J].黑龙江科技信息,2012,(11).

[3]范协裕,任应超,杨崇俊,等.基于集群技术的可伸缩云GIS服务平台研究[J].计算机应用研究,2012,29(10).

[4]丁浩格.云计算环境下虚拟现实实验教学网站的设计与实现[D].漳州:闽南师范大学,2014.

云计算数据论文第7篇

可见,目前针对云计算的研究成果还是比较多,各专家学者从不同的角度对云计算的应用做了研究,但是并没有对云计算在电子政务平台建设方面做出系统性的分析或者给出具体的建设方案。因此本文将从建立基于云计算的电子政务平台的必要性入手,详细说明基于云计算的电子政务建设的可行性及具体的应用构架。

1、云计算概述

1.1云计算简介

云计算的定义至今为止仍没有统一,不同的组织专家往往关注于云计算的不同方面,给出不同的定义。目前已有超过25种关于云计算的定义。例如,美国知名顾问咨询公司Gartner认为,云计算是一种利用Internet,为海量用户提供高扩展性、高可靠性的计算方式。美国国家标准与技术实验室对云计算的定义是:“云计算是一种利用云互联网定制IT资源共享池,并根据基于云计算的电子政务平台建设研究文/王倩使用量付费的模式,其中IT资源包括网络、服务器及应用服务;这些IT资源只需要很少的管理和交互工作就能做出快速的部署和响应。随着云计算应用领域的发展和应用范围的扩展,云计算的相关定义还在不断更新。在电子政务应用领域,政府将税收、桥梁、道路、审批等职能通过数据交换连接到服务云中,并且通过云计算实现各自的资源共享。云计算将政府整合在一起,公民上网不需要单独与税务局和内政局打交道,为公民提供一站式服务,云计算让这种一站式服务进一步突破了时间和空间的限制。

1.2云计算核心技术及应用

根据云计算的服务类型可将云计算分为三种服务模型,分别是:软件即服务层(SaaS)、平台即服务层(PaaS)、基础设施即服务层(IaaS)。下面将简略介绍一下各服务模型所涉及到的核心技术。(1)平台管理技术平台管理技术能够有效利用数量庞大并且分布广泛的服务器,为整个系统提供不间断的服务,并且它能够协调各个服务器,使业务开通和部署更加协同化、便捷化,同时利用智能化、自动化的手段及时发现并恢复系统故障,实现大规模系统的可靠运营。(2)虚拟化技术通过虚拟化技术可实现软件应用的封装,用户根据自己的需求,利用虚拟化技术实现服务器的私有化,实现资源的按需分配。它还可以将若干资源整合到一个虚拟机里,实现资源的有效利用,提高服务器的利用率。(3)海量数据分布存储与数据管理技术云计算处理的是分散在互联网中海量数据,因此,管理大量的数据需要用到数据管理技术。海量数据存储即要考虑数据的存储性能,又要保证其可靠性和可用性,因此采用的是分布式的存储方式。谷歌的非开源的GFS(GoogleFileSystem)和Hadoop开发团队开发的GFS的开源实现HDFS(HadoopDistributedFileSystem)是云计算的海量数据分布存储主要技术。HDFS的数据存储技术应用于雅虎、英特尔的“云”计划等IT厂商。谷歌的BigTable是数据管理技术的标志性应用。(4)编程模型云计算上的编程模型应该尽量简单,让用户能够轻松地编写适合自己目的的简单程序。目前有代表性的是Google开发的Map-Reduce。Map-Reduce模式由Map(映射)、Reduce(化简)两个阶段组成,先运行Map函数,对数据块进行运算,生成数据集合,然后将处理后的数据集合保存在Map函数节点上,再通过Reduce程序读取并合并中间结果(如图1)。

1.3构建基于云计算的电子政务平台的必要性

近几年,随着云计算技术的发展,将云计算应用到电子政务平台建设中,推动了电子政务向更高层次的发展。目前电子政务存在着信息安全、资源共享费用高、办公效率低等问题,而云计算技术的运用能有效地解决电子政务中存在的问题,因此构建基于云计算的电子政务平台十分必要。(1)云计算有助于保证信息安全。在云计算模式中,电子政务的数据可以集中存储在安全可靠的数据存储中心,电子政务各部门可以规定数据共享级别,并交由数据中心的管理员对其进行统一管理、严格执行。这样可以大大降低资源共享安全风险,从而有效保证信息安全。(2)云计算有助于减少建设成本。在云计算模式中,用户通过终端设备获取自己需求的知识、信息、服务,硬件的配置和更新则由云服务提供商提供。运用云计算技术建设电子政务平台,有效减少了建设成本。(3)云计算有助于维持电子政务均衡发展。在云计算模式下,电子政务平台可以整合、完善现有的电子政务业务系统,还可以支撑今后更多的新业务。信息化水平欠发达的地区及部门借助该电子政务平台能够在一定程度上推进信息化建设进程,确保电子政务实现均衡发展。(4)云计算有助于满足电子政务的个性化需求。在云计算模式下,为电子政务提供了一个全方位高效的交互环境,政府各部门能够及时了解用户要求,为用户提供个性化服务,利用微博、微信、百科等服务,提升个性化服务水平,从而有效满足用户的个性化需求。

2、基于云计算的电子政务平台建设

2.1可行性分析

云计算为信息化建设提供了难得的机遇,基于云计算的电子政务平台建设率先迈出非常重要的一步。可行性分析如下:(1)理论基础分析从理论基础上来看,构建基于云计算的电子政务平台是科学可行的。目前在理论层面已形成了较为完备的支撑体系,美国国家标准与技术研究所(NIST)于2009年7月提出并了被广泛接受的云计算定义。另一方面,近年来电子政务有众多的理论研究成果,如朱宇、邵波、陆海虹、林崇责、罗海驰等都发表了相关论文。(2)技术条件分析对于提供云计算服务的计算机来说,不得不实时地处理来自大量用户的处理请求和业务应用程序的运行结果。这样的处理,可以通过虚拟化和分散处理两种技术来实现。目前,国内外众多专家和IT机构已形成了一些具有代表性的技术方案体系。如Amazon提供的云服务AmazonWebServices;用友提供的全方位云服务。从技术条件上来看,构建基于云计算的电子政务平台是切实可行的。(3)实践环境分析云计算服务市场发展迅猛,某些原理具有很高的一致性,Google、Amazon、、微软公司都在积极的研究和部署云计算,并且他们的云战略在一定程度上取得了成功。如亚马逊于2006年推出了AWS服务,帮助其他公司利用亚马逊数据中心的设备去运行网络应用;另外,我国也在积极开展云计算的研究,中国电子学会专门成立了“云计算专家委员会”,为云计算的推广应用提供了有利的实践环境。(4)经济成本分析从经济成本上来看,构建基于云计算的电子政务平台是可行的。云计算将政府部门服务器所担负的任务交给有数万台服务器集群所构成的巨大数据中心来负担,这样一来设备的运用和管理所花费的总开销会大幅度消减。这样,就形成了支持云计算低价格服务的结构。另外,云服务提供商负责服务器的日常维护,节省了维护费用以及时间成本。云计算的压倒性低价格打破了传统的费用体系。

2.2建设原则

目前,云计算技术应用到各个领域的势头迅猛发展,但是由于起步比较晚,国内的技术水平不够发达,在电子政务领域还没有形成统一的标准及完全可遵循的建设模型。结合我国电子政务平台建设实际情况及其他学者的论著,总结出一些建设基于云计算的电子政务平台的基本原则。(1)掌握全局,详尽计划。了解并掌握当前电子政务业务发展情况,做好总体规划,分阶段多目标的完成平台建设。(2)高效整合现有资源,效益最大化。有效整合现有的硬件、软件资源,对现有资源充分利用,确保达到效益的最大化。(3)做好前期论证及试点。在具体构建工作过程中,进行前期的论证及试点,及时总结经验教训,确保基于云计算技术的电子政务平台构建工作稳步推进。

2.3应用构架

建设基于云计算的电子政务平台结构基本包含资源管理层、虚拟层、应用管理层、业务表现层。图3给出了建设云计算化的电子政务平台的基本结构,但是这个结构并不是一成不变的,而是根据实际应用需要、硬件设施情况以及软件技术不断更新的。具体包括:(1)资源管理层,包括资源池层以及物力资源层两部分,负责数据资源和数据整合(访问、提取、过滤、综合);(2)虚拟层,主要有虚拟服务器及虚拟网络两部分构成;(3)应用管理层,是基于云计算的电子政务平台的关键所在,主要包括协同政务与决策支持、政务应用系统,具体负责各种软件服务、系统功能以及网站网页;(4)业务表现层,主要负责因特网、政务内网以及政务外网之间的业务往来。结构详见图2所示。

3、结束语

云计算数据论文第8篇

论文关键词:云计算图书馆信息资源信息安全

论文摘要:云计算将使数字图书馆在软件环境、硬件存储、应用平台与服务方式等方面发生深刻变革,同时也会使信息资源面临很多安全问题。在云计算应用过程中应逐步建立和完善相关行业标准,保证信息资源的安全存储,实现信息资源的保密性与完整性、严格划分操作权限、加强用户访问控制,以保障数字图书馆信息资源的安全。

云计算是Google提出的全新的互联网应用模式,是分布式处理、并行处理和网格计算等计算机科学概念在互联网上的实现。而随着web2.0技术的发展,数字图书馆也更多地采用了Web2.0的理念和技术,用于改善自身服务,扩展高端复杂网络应用,向图书馆2.0迈进。因此,采用云计算的模式作为数字图书馆的底层架构,在软件环境、应用平台、数据共享等方面能够极大地改善图书馆的服务,是目前最具性价比、最可靠、扩展性最好的解决方案。但是处于早期应用阶段的云计算若想在图书馆大有作为,尚有很多不够成熟和有待商榷的地方,其中信息资源的安全问题尤显重要,我们必须认真思考云计算将会带来的安全风险,以便及时应对可能出现的挑战。

1云计算的功能特性

云计算是指基于互联网的超级计算模式,即把存储于个人电脑、移动电话和其他设备上的大量信息和处理器资源集中在一起协同工作,其基本原理是通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中。真正的云计算环境应该具有六个关键的特性:一是云计算是以用户为中心的。作为一个使用者,一旦用户连接到云中,那里存放的任何东西,包括文件、消息、图片、应用等都将变成用户的。二是云计算是以任务为中心的。用户只需关注自己需要做什么和应用程序如何完成任务,使用哪一个应用程序变得越来越不重要。三是云计算是强大的。云中数百或数千台电脑连接在一起所形成的巨大的计算能力是远非一台单独的台式机所能比拟的。四是云计算是易于访问的。由于数据存储在云里,用户可以从多个库中即时地检索更多的信息。与使用台式机不同,用户不再受到单一数据源的限制。五是云计算是智能的。随着各种数据都被存储到云中的计算机上,为了更智能地访问这些信息,数据挖掘和分析是必不可少的。六是云计算是可编程的。大量需要利用云计算的任务都必须是自动化的。

2云计算给数字图书馆带来的变革

2.1便利的软件服务云计算环境下,数字图书馆将不必购买本地安装形式的自动化系统、办公自动化系统以及各种类型的操作系统及开发软件,所使用的软件都是以网络服务的形式由云服务商直接提供。Salesforce、Googleapps和ZohoOffice等都是迄今为止这类服务较为著名的公司。

2.2超大规模的计算和存储服务基于云计算的数字图书馆以云计算服务器为核心,动态部署虚拟的硬件提供存储和计算能力,并通过Web云接入,为复杂网络应用提供可能,实现“无处不在”的访问。对于图书馆而言,无论是自建的还是购买的信息资源,将来都可以存放于“云”上,而不再需要“镜像”于本地,其存储和管理都由“云”来完成,从而克服目前图书馆服务器访问限制的瓶颈。

2.3方便的平台服务平台服务为图书馆根据自身业务创建各自的应用软件提供了更多的灵活性。数字图书馆用户可以使用中间商的设备来开发自己的程序并通过互联网和其服务器传到用户手中。目前主要的平台服务包括GoogleApplicationEngine(GAE)企业应用软件引擎和Salesforce的网络应用软件平台force.com等。

2.4全方位的网络扩展服务云计算环境下的数字图书馆作为一种服务中介,至少在技术上能够将分布式存储的数据库和一站式的检索界面结合起来,进行信息资源的整合、组织、关联、导航甚至可视化服务,实现不同“云”之间的互操作。同时图书馆可通过即时通讯或开放多种Web2.0的服务方式为读者提供定制服务、在线帮助等全方位的用户交互服务,以更为人性化的方式拉近用户与数字图书馆的距离。

3云计算环境下数字图书馆信息资源的安全问题

虽然云计算能够对图书馆的管理与服务带来深刻变革,但是所有的信息资源都高高挂在“云端”而不是掌握在自己手里,无论是对于云服务提供商,还是使用云服务的图书馆,都存在着相当大的安全风险。对提供商来说,如何保证用户存储在云中的数据的安全?对图书馆来说,如何才能相信提供商能保证云中数据的安全?这些都是云计算应用急需解决的问题。

3.1云服务提供商需要提供的安全保障

3.1.1如何保证用户信息资源的安全性与可用性?虽然“云”从技术上使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,但从相关报道披露的2008年10个最糟糕的WEB2.0网络故障事件来看,其中有多项与云计算应用有关,例如亚马逊S3服务的中断、GoogleApps(在线办公应用软件)的中断服务、Gmail邮箱爆发全球性故障,微软的云计算平台Azure停止运行约22小时服务等。这些故障事件让那些还处在“云雾”中的多数业内人士和用户对于云计算的安全性和可用性再度产生了忧虑和怀疑。

3.1.2如何为用户提供标准、规范、风险共担的服务?如果我们仔细研究一下亚马逊的云服务合同,就会发现很多条款是不合理的。比如第7.2条款中规定:我们对于任何未经授权的访问或使用、破坏、删除、销毁或弄丢任何你的内容或应用的程序不负有责任。在该合同中,服务提供商并不承诺对任何数据泄密事件以及被破坏行为承担法律责任或义务。可见,由于目前缺乏云计算架构的安全模型和标准,云计算服务提供商有可能规避大部分安全风险,而将风险转嫁给用户。

3.1.3如何得到用户的信任?信任问题是云计算发展过程中的大障碍。华中科技大学教授金海认为,云计算要普及很不容易。他提到,人们会信赖地把自己的钱放到银行里,因为银行是国有的。“银行背后有政府的法律保证,但云计算运营厂商数据中心的数据安全却没有任何有公信力的第三方在制度上的保证,因此用户不敢把数据放进运营商的数据中心里。”

3.2云环境下数字图书馆的信息安全需求

3.2.1数据资源的安全存储。图书馆对云计算最大的担心在于数据资源的安全性,无论是书目数据、读者数据、流通数据还是电子书刊、特色馆藏数据库等数据,一旦丢失,后果将不堪设想。云计算环境下本馆的数据、程序都不在本馆机器上,如何保证数据的意外丢失、毁损、非法收集、处理、利用?怎么保证明天这个“云”还存在?明天还能正常访问本馆数据?数据能否绝对安全将成为最基本的要求。

3.2.2知识产权保护。数字图书馆时代的知识产权问题在云时代不仅依然存在,并且还有新变化。图书馆购买云计算服务后,将自己的数据交给云,由云计算企业托管这些数据。从理论上讲,用户应该完全拥有被托管数据的知识产权。但是在现实中,云计算企业深知“数据核心”原理,因而他们会千方百计利用这些数据,并以数据整合、数据挖掘、知识服务的名义使用户数据利用合法化。近年来,OCLC利用WorldCat中集成的馆藏数据,开发出了一些新产品,如每季的大学与研究图书馆推荐书目等,这些产品知识产权的界定将成为新的问题。

3.2.3数据保密需求。图书馆的读者、借阅、财经等数据交给云计算服务商后,具有保密控制权的并不是图书馆,而是云计算服务商,而在云计算环境下要求保密的这类信息随着信息服务的多元化,将有可能出现在整个信息服务的收集、传输、处理、利用、存储和传播的各个环节,这将严重威胁各图书馆的信息安全。虽然每一家云计算提供商都强调使用加密技术来保护用户数据,但也仅仅是指数据在网络上是加密传输的,数据在处理、存储和传播时的保护仍然没有解决。

3.2.4用户权限管理。用户权限即合法用户可以进行的具体操作。用户登录到云环境下的数字图书馆之后,可进行的操作有浏览、检索、下载、创建、更新(修改和删除)等等。但不是每个用户都可以进行所有的操作,不同的用户将具有不用的权限。在云环境下,图书馆数据的创建、更新及整合等事宜,仍将由图书馆负责,比如每年进行的大量读者数据的更新,馆藏书目数据的维护,以及随时需要提交的馆藏信息、订购信息等等。这样就要求云计算环境能够对普通用户、图书馆管理者和云计算服务商进行合理的权限划分与管理以保障数据安全。

3.2.5访问控制管理。访问控制的目的是保证各图书馆信息资源不被非法访问和使用。云计算环境对于黑客极具吸引力,因为云本身不但集中存储了各种资源,对于恶意软件的隐藏也提供了便利的条件。再加上云环境的高度复杂性,不可避免地会给黑客留下一些机会——他们可以通过寻找云环境内的安全漏洞,来窃取用户资料或破坏所存储的信息包括图书馆的各种数据,因此必须采取有效手段予以防范。

4云计算环境下的图书馆信息安全策略

针对上述云计算的安全风险及数字图书馆的安全需求,图书馆在云计算的应用过程中应重点关注以下几方面的安全策略。

4.1相关标准及政策法规的制定与完善在云计算应用过程中,图书馆界应该组织对于应用云计算所需的标准和相关协议的研究,形成行业的应用规范。同时,由于信息安全和保密问题,更多的是政策层面的问题,云计算企业的管理政策、企业信誉、甚至国家政策,都可能对云计算信息资源的安全造成极大的影响,所以需要整个产业链中的各利益相关者(包括图书馆)在发展过程中不断磨合、谈判和研究,以促成相关管理章程或政策法规制度的出台,从而对知识产权保护、责任追究及各方权益提供有力保障。

4.2图书馆信息资源的安全存储与管理云计算环境下为了保证图书馆数据的万无一失,对于服务商和图书馆来说,都应该采取更为安全有效的技术手段。一方面,作为服务商应采用目前最为先进的虚拟化海量存储技术来管理和存储数据资源。虚拟化海量存储技术是采用数据副本的方式进行容错,它不需要冗余设备,通过对每个虚拟盘创建多个副本来提高数据可用性和访问性能,更适于在云环境下的海量存储网络系统中实现。另一方面对于图书馆而言,各馆也应自行对馆藏各种数据资源进行及时、全面的备份并长期、可靠地保存。

4.3图书馆信息资源的保密性与完整性实现云计算环境下为了保证“云”中的信息资源在存储和传输过程中不被非法下载或恶意篡改,应加快信息安全基础设施建设,推进其核心内容公钥基础设施PKI的应用。PKI(PublicKeyinfrastructure)是提供公钥加密和数字签名服务的系统或平台,由公开密钥密码技术、数字证书、证书发放机构(CA)和关于公开密钥的安全策略等基本成分共同组成。PKI的建设和应用,使云环境下的图书馆可以在各种网络应用中方便地使用加密和数字签名技术,从而保证了数据的机密性和完整性,为图书馆营造起一个安全的网络运行环境。

4.4图书馆信息资源的操作权限管理云计算环境下的图书馆可以根据用户信息需求的不同,将用户从低到高划分为若干个层级,并严格控制用户对资源的访问权限。目前较为成熟的权限管理与控制技术是特权管理基础设施PMI(PrivilegeManagementInfrastructure),它是基于属性证书(AC)的授权管理平台,它以PKI体系为基础,向所有用户提供与应用相关的授权服务,能够在用户请求服务时进行权限验证,成为用户和服务提供者间的安全通信基础。图书馆通过PMI进行授权管理,使普通用户登录进入“云”后只能根据事先指派的角色进行数据查询;而承担图书馆数据维护工作的用户登录系统后,则能够按照该管理员的角色分派相应的操作权限,完成具体的数据维护工作。

4.5图书馆信息资源的用户访问控制云计算环境下的用户身份认证对于数据安全起到至关重要的作用,只有通过认证的授权用户才能访问云中的相应的信息资源。由于云计算环境的异构性、动态性、跨组织性等特点,不可能要求用户在使用每一个云资源之前都要进行身份认证,因此云环境下的图书馆可采用单点登录的统一身份认证方式,被授权的图书馆用户只需主动地进行一次身份认证,随后便可以访问其他被授权的资源。通过单点登录的统一身份认证与PMI权限控制技术,能够根据不同用户的层级对应地设置不同的资源层级访问权限,二者形成匹配性,从而严格控制用户对资源的访问,以有效地保证数据与服务安全。