关键词：计算机；数据库；管理技术；探讨
信息技术以其强大的生命力推动着社会各行各业的改革和创新，也推动着人们进入到了一个信息化的时代。从当今的发展现状可以看出，计算机数据库技术是一种良好的数据管理技术，能够促进人类生产力水平的提高以及推动社会的发展和进步。因此，我们应当正确看待这一技术，将它的优势之处合理、科学地运用到我们的生活中来。
一、数据库技术的基本内涵
计算机数据库技术是在计算机技术和数据库技术基础上发展而来的一种新型信息管理手段。它通过计算机内部的数据模型，实现了对数据的收集、存储、分析、整理等功能。计算机数据库技术充分的满足了信息管理高效、准确等要求，在数据的储备、组织和管理质量上有较好的保障，并且与传统的信息管理技术相比，有了更完善的功能。
二、数据库技术的基本特点
数据库能够对数据进行集中统一的处理。在计算机数据库技术被广泛应用前，传统的数据库技术对数据的处理过于分散，数据之间的联系不够紧密，无法真正发挥数据的作用。而计算机数据库技术能够在数据之间建立起有效的联系，通过一定的逻辑顺序建立数据结构模型。而数据库中的各个数据之间又能保持一定的独立性，对一个数据的更改不会影响原有的数据库整体结构。用户能够更有效的共享和应用数据，从而在最大的限度上发挥数据的作用。数据库技术还能尽可能地减少数据的冗余问题。因为数据库自身所具有的数据共享性，使得用户没有必要建立自己的文件系统，用户只需要借助计算机就可以调用所需的数据，从而避免了信息重复的问题。数据库中的信息兼具了整体性、一致性和独立性，在数据的调取和使用上效率更高。
三、数据库技术在信息管理中的应用分析
计算机数据库技术是当前使用最为广泛的信息管理手段之一，具有提高信息管理效率的优势，在很多行业中都得到了广泛的应用。计算机数据库技术的应用不仅满足了数据存储的基本要求，还能为用户提供个性化的服务。从当前来看，计算机数据库技术主要应用在以下几个方面。
（一）用于对敏感和机密数据资料的处理
计算机数据库技术在数据的保密处理中应用的十分广泛，能够通过设置访问密码、设置防火墙等方式来提高信息的保密性，从而防止一些机密的信息和数据被窃取或篡改。计算机数据库技术对于保护用户的个人隐私具有重要的作用，因此，很多商业机构都会采用计算机数据库技术来存储数据。
（二）用于建立有效的信息处理数据模型
不同的信息都有其各自的性质和价值，在进行信息的处理时必须根据其特性进行分类和整理，不能对所有的数据采取统一的处理模式，这样才能确保信息处理的质量，并且便于今后的查找与使用。计算机数据库技术能够快速地建立数据模型，针对不同数据信息的特点，对数据进行有针对性的处理，按照信息的性质特点建立起数据模型，极大了方便了人们对数据的查找。
（三）用于实现和保障数据信息的安全有效
数据库技术还具有强大的安全管理信息的作用，能够最大限度地提高信息的安全可靠性。当前使用的数据库通常都具有良好的信息自动备份和文件恢复的功能。当系统出现意外的故障时，信息就不会出现意外丢失的情况。当系统受到外部的入侵而被窃取或篡改时，也可以通过原先备份好的数据而得到原始的信息。这就从最大限度上保障了数据库的安全性，减小因数据故障而产生的对数据安全的威胁。
四、对软件开发未来发展趋势分析
软件开发趋向网络化与智能化在计算机技术的不断普及之后，网络化的趋势已经愈发成为发展的潮流。在未来互联网技术的进一步发展之后，使得各个部门之间实现信息共享。因此社会需求确定了计算机行业需要运用软件技术，有效的发展网络化，以求给人们带来优质便捷的信息交互服务。人工智能已经得到了长足的发展和应用，因此在软件开发工作中需要著重考虑软件的智能化发展，智能化发展在未来将会是一个不可逆转的趋势，只有深入推进计算机软件的智能化发展，才能加强计算机软件行业的发展，提高整个时代的计算机革命的进步。软件开发也需要注意与其他学科的有效结合，将电气化、数字化、智能化的技术有效的引入到计算机技术中，这样才能有效提升计算机软件开发的水平，推进计算机软件的应用水平，不断满足用户的需求。
五、结语
综上所述，当前我们正处于一个信息化的时代中，每天都会发生着新的变化，诞生新的事物和信息，新形势使人们在日常生活面临极大的信息量和数据量。要对这些信息进行有效的筛选和整理就需要有先进的信息处理技术。计算机数据库技术将计算机技术及数据库技术有效地结合了起来，充分发挥了两种技术的优势，具有完善、高效、全面的功能，极大地提高了信息处理的效率和质量。
参考文献：
[1]梁海东，孟焕新.计算机数据库技术在信息管理中的应用[J].信息与电脑，2011，18（2）：105-109.
[2]赵志明，刘鹏，章锦才.探讨信息管理中计算机数据库的运用[J].计算机光盘软件，2012，12（2）：165-174.
[3]陈华，吴耀文.计算机数据库技术在信息管理中的应用[J].赤峰学院学报：自然科学版，2012，46（9）：313-315.
关键词：大数据技术；大数据管理模块组成技术；技术分析；分支技术探析
自从我国各领域对大数据技术产生应用需求之后，已有多个企业并计算机技术开发应用领域人员开始对多个情境下的大数据技术的需求、应用以及发展做出了应有的贡献。在大数据技术日趋成熟之际，人们对大数据的认知成熟度需要得到普遍提升，而计算机技术领域的专业人员也需要站在专业角度，对大数据技术的构成进行深入了解。这不仅对大数据技术的普及应用和持续发展有益，更对各领域的个人发展、顺应时代潮流以及个人的专业素养提升有极大帮助意义。本文中笔者结合自身对于大数据相关技术的正确认知，对大数据技术发展认识基础上的分支技术体系展开深入讨论。
1基于分布式大数据管理模块构成的技术探究
我们在深入挖掘大数据技术对其进行了解之前，首先要了解它主要需要解决什么问题，以及能够解决什么问题。一方面，在大数据技术出现之前，IT行业各类技术发展速度不是很快，系统化应用过程中的各类软件框架体系也足够完善，普通的单个服务器为基础平台的数据库之计算能力，也足够支撑各类系统计算业务。但随着各行业数据越来越多，单机计算能力上限已经被多个行业的计算软件“触顶”。在这种情况下，大数据管理模块技术开始被人们所关注，下面分析支持它进行计算的细分技术。首先，在大量数据储存方面，HDFS的分布式储存可以解决数据储存的困难。它可以让多个主机对同一任务进行同时计算。那么，它的实现需要周边便衍生了许多与管理和缓存有关的技术。包括：“yarn”技术可以在程序开发中帮助人解决资源难资源调节难题；“flume”可以帮助解决传输数据的问题；“sqoop”可以转换分布式储存数据与传统数据库之间的数据；“oozie”可以帮助业务程序资源调节计算任务；“kafka”则提供了订阅机制的消息队列；“zookeeper”可以有效地帮助用户快速完成对主备服务的选择；“hive”在HDFS的基础上提供了数仓的功能。“hbase”基“hdf”来实现一个列式数据库。然后从数据处理过程来看，对于数据库计算技术方面的大数据相关技术应用，是在普通数据库技术存在和被应用基础上对计算业务进行逻辑处理的过程。对于单一的业务处理，可以通过编写健壮的代码进行定时的任务进行相应数据的结算。若业务冗杂，需要定时获取多种数据采集分析，则通过代码实现各个JOB维护成本太高。在“Hadoop2.0”完美解决该问题，采用HQL自动生成数据的mapreduce任务基础上，多个领域的项目实践过程中，就会出现多个reduce任务就会被批量删除掉的情况。因此，Hadoop技术正在走在被淘汰的路上。那么，Hadoop现在是一个可以用硬件集群上进行大规模数据处理的优秀工具，但是若开发人员需要处理动态数据集、点对点分析多进程数据，那么Google已经为我们展示了大大优于MapReduce范型的技术选择。因此毫无疑问，Percolator、Dremel和Pregel将成为大数据技术未来发展的主流技术。
2支撑大数据管理模块组成的各类技术详析
为了能够更好地架构大数据项目，技术人员、项目经理、架构师等大数据管理模块开发流程中不同角色人员为了选择合适的技术，必须了解大数据各种技术之间的关系，以便选择合适的语言，实现相应的功能。那么，笔者在下面对几点中提到的大数据分支技术进行详细分析。
2.1HDFS技术
与普通编程语言应用编写系统相比，HDFS主要改革在数据储存形式方面，HDFS即Hadoop是以流式的数据查找和提取模式对文件型数据进行规模化储存，而且大数据管理模块应用中的数据通常是占用内存过大的单元数据，HDFS运行于多个主机集群中，属于是管理网络中跨多台及其进行数据储存的文件系统支撑基础。我们从HDFS技术应用的过程来分析使用数据块的益处：在程序运行过程中，HDFS上的文件会被划成64MB大的多个分块，每一个数据块都可以存储不同的数据。文件型数据块不需要储存在同一个磁盘上，因此它们可以利用集群上的任意一个磁盘实现存储。所以这从根本上大幅提升了大量数据管理的效率。而HDFS技术也可以提高系统中对数据储存的容错力。在业务处理方面HDFS的优点更为明显：HDFS的应用可以做到简化储存子系统的设计，将每个服务器的储存子系统控制单元设置为“块”，因此可实现简化储存管理，用一个单独的系统就可以管理这些块的元数据，这就大幅减轻了服务器的数据管理压力。
2.2yarn技术
Hadoop集群管理员希望能根据不同的业务组或不同的用户对集群yarn作业的资源进行控制，也就是对yarn的资源池进行划分，达到资源管控、任务管控的效果。yarn技术管理分配资源细节如下：yarn默许提供了多种资源分配的策略，用于分配的资源可以是节点的数量、内存的大小、CPU核数，它主要将MP1中JobTracker的资源管理和作业资源调节两个功能分散，分别由ResourceManager和ApplicationMaster进程来实现管理，以负责整个集群的资源管理和资源调度，并负责处理应用程序提出的事件，比如调节任务及数据资源、监视运行任务情况和出错信息等，具体作用体现在“模块提交作业”“初始化作业”“分配任务和运行”“更新模块运行相关数据”等方面。而Flume可以通过运行可靠的服务模块，用于有效地收集和移动日志数据，使用简单的可扩展数据模型，被允许收集日志数据，导进到HDFS中并实现在线分析应用程序。因此，HDFS是Hadoop应用程序中主要的分布式储存系统。
2.3sqoop技术
sqoop解决了分布式寄存数据与普通数据之间的转换。它属于可以将Hadoop和关系型数据库之间实现数据导进导出的工具型技术。它可以通过sqoop把数据从普通数据库，包括Mysql数据库和Oracle数据库中导进到HDFS中，反之亦可。sqoop通过Hadoop的MapReduce导进导出数据库中的数据，因此它提供了很高的并行优势以及良好的容错性。通过sqoop技术的应用，开发大数据管理模块的人员可以将数据从普通数据库中导出，并导进到HDFS中。导进到HDFS的数据形式为数据库表、查询结果，以及从HDFS中导出的文件形式则是数据库表或者集合类型的文件。在HDFS导进数据的多个进程可以并发运行，这时的输出的可以是多个文件输出结果。这些文件可能是标准的文本文件，也可以是Avro或者SequeenceFiles的记录文件。总结来说，sqoop是可以在大数据系统运行模块中将db数据与hadoop之间交换数据，而将其应用于系统开发过程中，则需要开发人员参照较为冗杂的使用文档。在优点显著的同时，sqoop也有些许缺点。因为hbase技术显然采用的是基于HDFS为核心的列式数据库存储数据的形式，是多种分布式、可以扩展的大数据储存方式，它能够为各种大数据集上随机和及时的阅读、写数据进行访问功能，并且能够实现分布式的列型数据储存，能快速地索引查询数据。较其他普通的数据库处理技术而言，hbase对于写入的时间更为随意，因此hbase总会有很多超时的现象，这成为了许多开发者在程序开发后的运行测试中的诟病。因此，此项技术目前仍然正在进行持续的优化。最后是接收数据的“Hive”技术应用模块，acheHive提供完整的HiveQL查询功能之外，还是一个数据仓库系统。而zookeeper可以实现类似“主从后台事件列序”“分配事件”“协调负载”等多种功能。
2.4Oozie的应用特点和优点
Oozie是用于Hadoop平台开源的技术，用工作流资源调节引擎，用来管理Hadoop作业，它是属于Web应用程序。因为Oozie的工作流必须在一个有固定流程的无环结构中，所以，使用Oozie时，若前一个任务执行失败，后一个任务将不会被资源调节。优点是当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml文件，然后使用Oozie提交本次任务，Oozie会托管此任务流。而Oozie对工作流的指定，与JbossjBPM提供的jPDL一样，提供了类似的流程定义语言hP⁃DL，它可以利用XML文件格式来定义流程。对于工作流系统，一般会有很多不同功能的节点，比如分支，并发等等。Oozie的控制流节点和动作节点可以让开发者定义流程的开始与结束，并能够以及控制流程和定位具体数据地址。
2.5Kafka的特点和应用优点
Kafka可以用于即时构建数据流传输程序以及流式数据处理、应用程序。它具有水平可扩展性、容错性、速度极快的特点。此外，它的运行过程具备三个特点：“消息”“持久化”“流处理”。客户端服务器通过使用TCP协议进行模块间的数据交互，具体的数据流的写入过程则有支持多种语言的特征，此外，它还支持主题和日志功能，一个主题可以有零个、一个或多个用户写入数据。对于每个主题，Kafka可以维护一个模块日志，每一个分区都成为一个有序且不可变的记录序列，不断添加到结构化的提交日志中，这使得Kafka技术应用有“用户在应用程序过程别容易使用”的特点。
3大数据管理模块技术成熟之上的应用领域
严格意义上讲，大数据技术是数据分析的前沿技术，那么，从大量、各类的数据中，及时获取有价值的信息的技术应用，就是大数据技术得到发展的缘由和最终意义，对于大数据技术在实际生产和生活中的应用领域大致分为以下几个方面：第一，移动互联网出现后，为了提升移动设备用户的用体验，在移动设备的用户点击行为数据记录过程中，应用到了大数据技术。第二，在数据记录、保存方面，大数据技术在音乐文件保存、视频资料保存、监控录像数据保存方面对大数据技术进行了应用。第三，在交通方面，如百度、高德、Google等电子地图为了人们出现更加便利，在应用大数据技术过程中同样利用大数据技术挖掘并提取、计算了大量有价值的信息。第四，随着移动设备的加入，人们的社交行为产生了大量的数据，这为人们生活环境安全性的巩固促进了大数据技术发展。第五，人们使用搜索引擎搜索数据期间，搜索引擎为向用户提供更多有价值的信息，应用了大数据技术。
4结束语
综上所述，对于大数据技术的成熟的认识，要从大数据技术应用过程以及解决问题过程中应用的不同技术展开分析，这不仅能让我们在当下社会跟上IT行业发展的步伐，更能减轻我们学习、实践、应用大数据技术过程中的恐惧心理和畏难情绪，助力我们的专业能力步步高升。
参考文献：
[1]彭宇,庞景月,刘大同,等.大数据:内涵、技术体系与展望[J].电子测量与仪器学报,2015,29(4):469-482.
关键词：Web数据库；数据库挖掘技术
中图分类号：TP311.13
互联网是人类快捷获得信息的一种重要渠道，为社会做出了巨大贡献，随着经济技术的进步，互联网越来越复杂，在当前时代，既是机遇，也是挑战。信息资源数据库对信息的储存和查询很有帮助，使人们能够更为方便地获得所需信息，当Web技术与数据库系统相结合后，信息的开放性也引发了信息的安全质量问题，因此，需要对Web数据库进行深度挖掘，以更好地为人们服务。
1 Web数据库及数据库挖掘技术
1.1 Web数据库
近些年来，网络技术已深入到社会各个角落，数据库系统也有了极大的进步，将两者相结合来开发Web的深度资源已成为当前重点研究的问题。Web数据库技术是一种以Web查询接口方式对数据库资源进行访问而且能够实现远程操控的技术，通过数据库与Web的连接可以产生一个在任何地方皆可操作的动态页面，即对核心数据库的信息资源进行查询，系统会以Web页面作为访问接口，并将查询结果以Web页面的形式展现出来。目前的Web数据库通常有数据收集、数据供应以及元搜索三种集成方式。
1.2 数据库挖掘技术
在当前信息化时代，人们的信息需求量骤增，信息资源储存量也不断扩大，加大了查询的难度，因此，如何在最短时间内获得所需信息是当前必须考虑的问题。深度挖掘技术具有关联分析、偏差分析以及分类等功能，能够从随机的海量数据中提取潜在有用的信息资源。须注意的是，并非每一个数据库信息的发现都是数据挖掘，如查询数据库管理系统中的记录等属于信息检索的领域。数据库挖掘技术在不断地改进，为进一步实现信息的传递，该技术融合了模式识别、统计学、进化计算以及搜索建模等知识。
2 Web数据库挖掘技术分析
2.1 数据的预处理
挖掘效果取决于被挖掘数据的质量，在实际采集中，数据存在着很多问题，如不完整性；在异常数据较多的情况下，常会带有噪声；数据的不一致性也是较为常见的问题，如数据名称的差异等。因此，预处理就显得尤为重要，在数据挖掘中的作用不可小觑，尤其是挖掘一些有残缺的数据资源时，为了提升挖掘质量，务必要提前对所挖掘的数据对象进行预处理。
2.2 模式识别
挖掘技术具有相关分析及计算的功能，模式识别即是借助统计法对识别的结果进行挖掘计算。实现算法可以采取一般的统计方法，也可以利用其他形式的结果，主要包括页面的浏览时间、访问次数以及统计分析等。在此阶段，关联规则的作用是发现用户访问的各个页面之间的关系。当利用浏览器对相关Web站点进行访问时，可建立相应的模型，以方便统计用户的访问模式。
2.3 模式分析
该环节即是采取科学的技术方法以及必须的操作工具对挖掘结果中的用户模式进行分析，经过对比，选择最为合理的模式，进而更好地对数据信息进行理解，充分利用各种用户模式。同时，在此阶段，有些比较特殊的信息结构，能够滤除诸如特定数据或超链接网页等模式。从当前的统计结果看，大约有30种商业性质的Web分析工具，合理地利用这些工具，有利于获得更多的信息，包括网页点击率、用户群特点及用户爱好等信息。须注意的是，这些数据在使用时常会很多问题，如维护较难、不够灵活、结果准确度得不到保障等。
3 Web数据库挖掘方法及应用
3.1 挖掘方法
（1）粗集方法
该方法对信息的要求较为简单，而且便于运算表达，但准确度上稍有瑕疵。利用该方法处理信息对象，和二维关系有所相似。连续属性在数据库信息表中较为普遍，而集合论是该方法的数学基础，采用粗集法不能直接处理一些连续的属性，因此，尽管数据库技术有了很大进步，为挖掘技术提供了必要的前提条件，但在实际操作中还是会有很大的制约。
（2）模糊集方法
该方法主要是在解决一些实际问题时，利用模糊集合理论对其进行的模糊识别分析。通常来说，数据库系统越是复杂，模糊性越强，在描绘模糊事物的属性时，模糊集合理论多采用隶属度进行。随着研究的进一步加深，以传统的模糊理论为基础，结合概率统计，专业研究人员提出了一种新的模型，即云模型，并建立了相应的云理论。
（3）覆盖正例排斥反例的方法
该方法的理论思想即是指覆盖所有的正例，或者排斥所有的反例，以此来寻找内在的规律。具体方法如下，在正例集合中任意选择一个正例种子，与反例集合中的所有种子逐一比较，若与字段取值构成的选择相容，则将之去除；若相反，则将其保留。按照这种方式对全部正例种子进行选择，最终得到正例的规则。
（4）统计分析法
一般而言，数据库的字段之间有函数和相关两种关系，利用统计学分析法可对二者进行仔细分析，即对统计学理论加以运用，从而更好地分析数据库中的信息资源。除了统计分析法，还可利用相关分析、差异分析等方式。
3.2 应用分析
（1）电子商务应用
随着信息化技术的进步，电子商务的作用日益重要，同时也存在着些许不足，如客户量较大，不好处理；信息的安全性等。采取Web数据挖掘技术，能够深度挖掘来访客户的信息，并按照一定的标准对其进行分类，然后分析客户的具体特征，保证企业能够全面完整地了解客户，以便提供更好地服务。同时，利用挖掘技术的关联分析功能寻找相关的客户资源，或者保留客户在页面上出现的时间段，从而创造更大的利润空间。
（2）网络教育应用
如今，互联网已经很普及，许多行业都纷纷引进了网络技术，教育也朝着网络化的方向发展。通过网络，学生能够快速获得所需信息，而且知识比较全面，学校也能根据此对学生的学习需求作进一步的了解。因为学生不同，网络教学需要提供个性化的教学方式，Web数据库挖掘技术能够从海量的信息数据库中将学生感兴趣的、隐含的信息资源挖掘出来，从而为学生提供更加方便的网络教育服务。
4 结束语
随着人们信息需求量的增加，数据库技术迅速发展，而互联网是当前获得信息的重要途径，二者结合将会构成一个巨大的数据库，同时也加大了信息传递的难度。以Web数据库为基础的数据库挖掘技术能够提高信息检索的速度和准确度，在网络教育、电子商务等领域得到了广泛应用。
参考文献：
[1]曾霖.基于Web数据库的数据库挖掘技术探究[J].软件，2013，27（2）：174-176.
[2]艾孜海尔江・艾合买提.基于Web数据库的数据库挖掘技术分析[J].科技致富向导，2012，24（27）：217-219.
[3]李琳.基于web的数据挖掘技术[J].自动化与议仪表，2007，21（2）：174-176.
现如今，网络的普及范围越来越广，网络用户也逐步增多，在这个平台上，存在着各式各样的人群，由于相关的管理制度不够完善，从而使得很多人受到利益的驱使，在网络上从事非法活动，由此导致大量网络用户的信息安全遭到威胁。目前，对网络安全威胁比较严重的因素有黑客、病毒、系统漏洞等外部因素和安全意识方面等内部因素。在上述安全威胁中，网络黑客是危害性相对较大的因素之一，几乎所有黑客对网络的攻击都是出于主动性的，他们以非法获取网络用户的信息为目的，借助各种程序，通过网络侵入用户的计算机系统。除了黑客之外，病毒对计算机网络的安全威胁也比较严重，一旦感染病毒，极有可能造成网络系统瘫痪。与黑客和病毒相比，系统漏洞对网络安全的威胁相对较弱，但是由于系统漏洞可能会被黑客进行利用。所以，对此类威胁也要予以重视。内部因素对网络安全的威胁主要体现在网络用户的安全意识不高，部分用户对网络安全方面的知识了解不够透彻，对自己的账号和密码，未采取有效的保护措施，从而造成信息泄露。
2大数据技术在网络安全分析中的应用
2.1大数据技术的特征
大数据是一种数据集合，其具有如下特征：2.1.1大容量。在是大数据技术最为突出的特征之一，大数据能够支持不同量的数据计算与存储，并且可以是数据的存储量在原本的基础上获得进一步提升，在一些复杂数据的处理中，大数据技术可以使数据本身的完整性得到有效保障，由此为海量数据的分析、存储提供了可能。2.1.2高精度。通过大数据技术的运用，能够使数据挖掘的能力获得大幅度提升，由于大数据技术可对多维度数据进行分析处理，并且还能对相关联的数据进行处理，由此进一步提高了数据分析的精确度。2.1.3快速高效。异构数据是数据中一类比较特殊的存在，常规的技术在此类数据的处理中，速度比较慢，并且效率也不是很高。而大数据技术能够对异构数据进行快速的查询和存储，由此使得系统对数据的处理速度变得更快。
2.2在网络安全分析中应用
在网络安全分析中，较为关键的内容包括两个方面，一方面是流量数据，另一方面是日志数据。在具体的分析过程中，可对大数据技术进行合理应用，通过该技术能够将流量和日志数据全部聚集起来，借助数据采集和数据挖掘功能，可对相关的数据进行存储，再以检索的方式对这些数据进行分析，若是发现数据中存在安全隐患，大数据技术则会采取有效的措施，对隐患进行排除，无法排除的隐患，则会以告警的方式通知用户，由此使得网络的安全得到进一步保障。利用大数据技术对网络安全方面的问题进行分析，除了可以使安全问题的发生几率大大幅度降低之外，还能防止数据信息丢失或是外泄的情况发生，其将网络安全防御从原本的被动型转变为主动式，从而使网络安全问题得到有效解决。在网络安全分析中，大数据技术的应用主要体现在如下几个方面：2.2.1在数据采集方面的应用。对网络安全进行分析的过程中，相关数据信息的采集是非常重要的环节，大数据技术可利用一些有效的工具，完成数据的采集任务。通常情况下，对数据的采集采用的是分布式的采集方法，这种方法在日志数据的采集中具有相对较高的效率。而在流量数据采集方面，则可采用数据镜像，这样可以使采集到的数据更加全面。2.2.2在数据存储中的应用。由大数据技术的特征可知，其不但具有较大的容量，而且数据的种类也相对比较复杂，在这一前提下，使得大数据有着多种不同的应用方式。为了满足网络安全分析的需要，并在原有的基础上，进一步加快网络安全分析的速度，在应用大数据技术使，就必须采用不同的存储方法，对不同类型的数据信息进行存储。在网络安全分析中，原始数据非常重要，该数据与流量和日志数据的检索有着密切的关联。对此，可通过Hbase存储原始数据，该方式最为突出的特点是，检索速度快。经过分析处理之后，被判定为安全的数据，则可借助Hahoop的方法计算出数据的构架，并将计算结果存储到数据阵列当中。当需要对数据进行实时的安全分析时，则可采用Stom进行计算。2.2.3在数据检索中的应用。在对网络安全进行分析的过程中，安全的数据检索可借助相应的检索架构来完成。这种检索架构通常需要以MapReduce作为基础，当用户正确输入检索条件后，架构会将检索信息自动传给分析节点，并完成对信息的加工和处理，再通过分布式的计算方法，可使检索速度获得进一步提升。2.2.4在数据分析中的应用。在网络安全分析中，数据具有实时性的特点，在对此类数据进行分析的过程中，可借助Spark进行计算，结合CEP技术，完成实时数据的分析监控。而对于网络中少数的非实时数据的分析，可采用分布式计算及多种数据处理技术，对深层次的数据进行处理，分析数据风险，找到攻击源头，提高网络的安全性。此外，对复杂数据的分析，通过大数据技术的应用，能够进一步提高存储和检索性能，从而找到系统中存在安全隐患，并针对攻击行为做出有效的应对，以此来确保网络安全。
3结论
综上所述，网络安全是一个不容忽视的问题，随着网络用户的快速增长，使得网络中的数据量越来越大，并且威胁网络安全的因素也随之逐步增多，在这一背景下，应当在网络安全分析中，对大数据技术进行应用，在提高分析处理效率的基础上，为网络安全提供保障。未来一段时期，应当加大对大数据技术的研究力度，从而使该技术不断完善，以便更好地为网络安全服务。
参考文献
[1]张森.大数据时代的计算机网络安全及防范措施探析[J].网络安全技术与应用,2018(01):43-44.
[2]汤应.大数据背景下的计算机网络信息安全及防护措施[J].现代工业经济和信息化,2018(03):65-66.
关键词:关键词:数据仓库;联机分析处理;联机事务处理;传统数据库
中图分类号:TP392 文献标志码:A 文章编号:
引言:
随着市场竞争的日趋激烈,信息对于企业的生存和发展发挥着越来越重要的作用。与此同时,在各个领域产生了大量的数据,但是面对不断增加如潮水般的数据,传统的数据库管理系统已无法满足决策支持系统对数据的要求,因此人们提出了更深层次的问题:能不能从数据中 提取信息或者知识为决策服务。在这种情况下,一种适用于决策支持系统的数据组织与管理技术—数据仓库1技术应运而生。
1.数据仓库技术
1.1 数据库到数据仓库的演变
传统的数据库与OLTP(On-Line Transaction Process)平台并不是为了分析数据而设计的,用户可以在一个OLTP平台上安装数个应用系统,它在数据共享、数据与应用程序的独立性、维护数据的一致性和完整行及数据的安全保密性等方面提供了有效的手段。但是当它与分析型应用结合时,却出现了许多问题。
首先,利用传统的数据库进行数据分析,分析的结果缺乏可靠性。其次,利用传统的数据库进行数据处理,其效率很低。第三,传统的数据库难以将数据转化成信息。第四,传统的数据库系统主要用于事务处理,而在事务处理型的应用环境中直接构建分析决策型应用是不可能的。所以,为了提高分析和决策的效率和有效性,面向分析决策型应用的数据处理及其数据必须与事务处理型应用环境分离,建立单独的分析决策型应用环境。数据仓库正是为了解决这一问题而诞生的一种数据存储和组织技术。
数据仓库与传统的数据库的不同之处在于数据仓库是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合,它可以支持企业或组织的决策分析处理2。
2. 联机分析处理技术
联机分析处理OLAP(On-Line Analytical Processing)技术3是基于数据仓库进行数据分析的一种技术。OLAP可使企业数据分析人员、企业经理及企业其他管理人员通过对企业信息的多种可能的观察角度进行快速、一致和交互性的存取,以获得对信息的深入理解。
2.1 OLAP的基本特性
OLAP是数据处理的一种技术概念,其定义简单的概括为:共享多维信息的快速分析。OLAP通过对多维信息以很多种可能的观察方式进行快速、稳定一致和交互性的存取,允许管理决策人对数据进行深入观察。其特点4有四个方面:
(1)快速性。用户对OLAP的快速反应能力有很高的要求。要求系统能在几秒钟内对用户的多数分析要求做出反应;
(2)可分析性。OLAP系统应能处理与应用有关的任何逻辑分析和统计分析;
(3)多维性。多维性是OLAP的关键属性和灵魂,系统能够提供对数据分析的多维视图和分析,包括层次维和多重层次维的支持。
(4)信息性。OLAP系统能够及时获得信息,并且管理大容量信息;
(5)共享性。共享性是在大量用户间实现潜在地共享秘密数据所必须的安全需求。
2.2 OLAP的基本分析操作
OLAP的基本操作是指通过对多维形式组织起来的数据进行切片、切块、聚合、钻取、旋转等分析动作,以求剖析数据使用户能够从多种维度、多个侧面、多种数据综合度查看数据,从而深入地了解包含在数据中的信息、内涵。
(1)切片(Slicing)。
切片操作就是在某个或某些维上选定一个属性成员,而在其他维上取一定区间的属性成员,或全部属性成员来观察数据的一种分析方式。
(2)切块(Dicing)。
切块就是在各个维上取一定区间的成员属性,或全部成员属性来观察数据的一种分析方式。从另一个角度讲,切块可以看成是在切片的基础上,进一步确定各个属性成员的区间得到的片段体,也即由多个切片叠合起来。
(3)钻取(Drilling)。
钻取包含向下钻(Drill-down)和向上钻(Drill-up) /上卷(Roll-up)操作。下钻指从概括性的数据出发获得相应的更详细的数据,上钻则相反。钻取的深度与维度所划分的层次相对应。
(4)旋转(Pivoting)。
旋转即改变一个报告或页面显示的维方向。旋转可能包含交换行和列,或是把某一个行维移到列为中去,或包页面显示中的一个维和页面外的维进行交换。
3. OLAP与数据仓库
在数据仓库中 ,OLAP和数据仓库是密不可分的,但是两者是不同的概念。
数据仓库是一个包含企业历史数据的大规模数据库,这些历史数据要用于对企业的经营决策提供分析和支持。数据仓库中的数据是不能用于OLTP的,而OLAP则利用数据仓库中的数据进行联机分析,将复杂的分析查询结果快速地返回用户。OLAP利用多维数据集和数据聚集技术对数据仓库中的数据进行组织和汇总,用联机分析和可视化工具对这些数据迅速进行评价。
OLAP可用多级结构表示数据仓库中的数据,创建组织和汇总数据的立方体,这样才能有效的提高用户复杂查询的要求。因此数据仓库的结构将直接影响立方体的设计和构造,也就影响了OLAP的工作效率。
从OLAP使用的效率角度考虑,在设计数据仓库时应该考虑一下几个因素:
(1)尽可能使用星型架构,如果采用雪花结构,就要最小化事实表底层维度表以后的维度表数量。
(2)为用户设计包含事实表的维度表,这些维度表应该包含有意义的、用户希望了解的信息。
(3)度表的设计应该符合通常意义上的范式约束,维度表中不要出现无关的数据。
(4)事实表中不要包含汇总数据,事实表中包含的用户需要访问的数据应该具有必需的粒度,这些数据应该是同一层次的数据。
(5)对事实表和维度表中的关键字必须创建索引,同一中数据尽可能使用一个事实表。
(6)保证数据的参考完整性,使事实表中的所有数据都出现在所有的维度表中,避免事实表中的某些数据行在立方体进行聚集运算时没有参加过来。
4. OLAP的发展
OLAP技术5是在市场竞争日益激烈,决策人员迫切需要准确及时并且可以灵活访问的决策信息的背景下兴起的。其主要的发展领域为:
(1)市场和 销售分析
几乎每个商业公司都需要此类软件,但其大规模分布在:生活消费品行业、零售业、金融服务业。此类行业通常都需要用发哦OLAP能够对大量数据进行复杂的分析和统计功能。
(2)电子商务分析
电子商务网站记录了用户在网上的所有行为,为更精细的分析用户行为提供了可能。一个典型的商业网站每天都产生大量的数据,简单手工分析显然难以胜任,用多维、分层OLAP可以很好的把这些数据组织起来。
(3)基于历史数据的营销
通过各种不同的历史数据,用数据挖掘或统计的方法,找到针对某项服务或商品的销售对象。虽然传统上不是OLAP的范围,但是通过多维数据分析的引入,会取得更好的效果。
(4)预算
预算通常是从下到上提交和从上到下约束的反复过程,OLAP工具可以在这个过程中提供分析能力。预算制定者利用OLAP提供的工具浏览市场、销售、生成及合并计划等企业全方位的数据,得到一个较合理的方案,也可以利用这些数据自动制定出方案。
(5)财务报告与整合
早起的财务报告整合系统与现在OLAP相似,但是OLAP利用对多维数据的分析能够更好的对其进行管理。
(6)管理报告
(7)利益率分析
(8)质量分析
5. 小结
数据仓库和联机分析处理技术在市场竞争日益激烈的的背景下逐渐兴起,目前正处于快速发展的阶段。文章首先对数据仓库和联机分析处理技术做了详细介绍并将它们和传统的数据库做了对比,得出数据仓库和联机分析处理技术是在传统数据库无法到达设计者需求下产生的。文章最后对联机分析处理技术的发展领域做了介绍和分析。相信在不久的将来基于数据仓库的联机分析处理技术定会成为处理数据的主流技术。
参考文献:
[1]武森、高学东等:数据仓库与数据挖掘[M]. 北京:冶金工业出版社,2003年
[2](美)W.H.Irmon着.数据仓库[M].王志海等译.北京:机械工业出版社,2002年
[3]王珊等:数据仓库技术与联机分析处理[M].北京:科学出版社,1998年
[4]喻钢,周定康:联机分析处理(OLAP)技术的研究[J].成都:计算机应用,2001,21(11)
【关键词】智能交通；大数据；分析云平台；技术探讨；分析研究
随着时代的发展和信息技术水平的提高，大数据的发展已经遍布于各行各业，当然在交通运输方面也是如此。而且交通运输部因为运用了大数据分析云平台，在感知识别、网络传输、智能处理以及数据挖掘面都有了非常好的效果。而且在重大工程的实验中，通过加强对物联网、云计算等新技术的研究，还能提高本行业的信息化技术水平。
一、大数据时代智能交通系统的优劣分析
1、大数据时代改变传统公共交通管理路径。大数据的特点是内容丰富和全面，而且还有自己的传输方式，所以不受任何区域的限制。在传统的交通管理中，很容易因为不同区域的信息不够畅通，导致交通管理的效果不是很好，同时经常出现各种信息丢失的情况。而把大数据分析云平台的技术应用到交通管理中，不但能很好的完成不同信息的传递，而且还能最大限度的利用这些数据，发挥他们的作用，提高交通管理的质量和效率。2、大数据下智能交通的优势分析。首先，通过大数据分析云平台的应用，能在很大程度上降低各种费用，而且它还能很好的选择最为行之有效的车辆配置方案，保证道路交通一直处于比较畅通的状态。其次，当出现各种交通问题的时候，通过大数据的分析能给问题的处理和交通的调度提供良好的基础，提高交通的畅通性。最后，在交通监管的系统中，通过大数据分析，还能很好的完成各种事件的预测，降低失误的发生率。3、大数据下智能交通的弊端。由于大数据的应用能提高传递信息的效率，也就间接的会影响到相关安全隐患问题的发生。例如，在大数据下的智能交通，会因为相关人员的位置以及路线信息造成丢失，就会间接的给人们的生命财产造成威胁。除此之外，每个地方都有交通数据，而这些数据还能被大数据管理和应用，而很多车辆计算交通数据都是以静态方式存储，所以使系统所具备的特点无法被除本人以外的事物进行检索。
二、智能大数据的融合
1、关于成熟度的融合。在新时期下，无论是大数据的应用技术还是现代智能交通的技术都发展的非常速度，而且也越来越成熟。在现代化的社会中，无论是智能卡扣电子警察还是智能监控系统，都已经对处理的技术进行了智能化的应用，而且完整度和深度也在慢慢的加深。所以在这种情况下，大数据时代下智能交通很有可能成为新兴的应用领域中最先推广和运用的领域。2、关于技术的融合分析。就目前的大数据分析云计算平台来说，这项技术的应用结构和智能交通的平台系统结构融合度是非常高的，而且的大数据分析云平台技术在智能交通领域中的应用，给社会带来了很大的好处和效应。所以说，这项技术可以作为整个智能建设中的领导者，带领其他的子模块进行很好发展。3、关于群众基础的分析。对智能交通来说，智能交通面向的服务群里就是人民大众，广大人民群众来说，智能交通直接影响着人们的出行，给人们带来非常方面的出行信息，在很大程度上方便了人们的出行，而且也降低了整城市的运营成本。更重要的是，人民群众的生活也越来越有秩序，也会给交通执法人员降低出勤的频率。
三、云平台技术特点的分析
1、可以有效的整合交通大量的数据信息资源。云平台计算技术最大的额特点就是能很好的整合数据信息，将不同系统的信息资源，交通对象信息资源以及和交通工具信息资源等有效的分类和整理，同时还能利用大数据分析处理技术，解决大量信息的时效性。2、可以提高交通数据信息的利用率，将数据信息发辉出最大的价值。因为云计算最大的特点就是整合数据，所以在智能交通的中运用这项技术，能在很大程度上帮助交通部门提取非常有用的信息资源，而且通过描述交通的情况，还能将数据信息发挥出它最大的价值，充分的将交通数据利用了起来。最后在通过大数据的应用技术，还能更好的优化信息的数据，提高云计算的分析能力。3、可以多维度的实时传输，提供个性化服务。在大数据下时代下，随着时代的发展和信息技术水平的提高，并通过云平台的利用，可以将路况信息通过电脑、电话等多种渠道进行传输，而且保证传输的内容是实时的、真实的和准确的，给人们提高非常好的个性化交通信息服务。最终实现道路交通管理的质量和高效。
关键词：故障诊断；数据流；测量；分析技术
中图分类号：U471.14 文献标识码：A
随着人们生活水平的不断提高，轿车越来越多地进入家庭，汽车电控及智能化技术也不断增多。现代汽车维修是通过相关参数及波形检测，对汽车的性能和运行状态进行全面的分析，从而判断汽车的故障部位所在。数据流分析技术为汽车维修人员快速准确地判断复杂多变的故障提供了强有力工具。
1 数据流分析概述
1.1 数据流的概念
汽车数据流是指电子控制单元（ECU）与传感器和执行器交流的数据参数，它是通过汽车诊断接口，用通用或专用诊断仪读取的随时间及工况变化的数据。
汽车电子控制单元ECU中存储的数据流是汽车ECU的输入和输出数据，反映了各传感器和执行器的工作状态，也是汽车故障诊断的依据，数据流一般可以用通用或专用诊断仪读取。通过读取和分析数据流，维修技术人员不但能够读取汽车各传感器的数据，实时了解汽车的工作状态，还可以通过数据流设定汽车的运行数据。
1.2 数据流参数的分类与测量手段
1.2.1 数据流参数的分类
根据显示方式的不同，数据参数可分为数值参数和状态参数两种。
数值参数是指有一定数值变化范围的参数，如电控系统中各部件的工作电压、电流、压力、温度、时间及速度等等。
状态参数是指电控系统中元件工作状态的参数，如电控装置中的开关和电磁阀等元件的工作状态参数等等。
根据ECU的控制原理，数据流参数又分为输入参数和输出参数。输入参数是指各传感器信号发送给ECU的各种参数。输入参数可以是数值参数，也可以是状态参数，输出参数是ECU发送出给各执行器的控制指令。输出参数大多是状态参数，少部分是数值参数。
数据流中的参数可以按汽车的各个系统进行分类，如发动机系统数据流、变速器系统数据流等，不同类型或不同系统的数据流分析方法也不相同。在进行电控系统故障诊断时，如果没有详实的维修手册，可将几种相似类型或相似系统的数据流数进行综合对照分析。不同厂家及不同车型的汽车，其电控系统数据流参数的名称和内容一般都不相同或是不完全相同。
1.2.2 数据流参数的测量手段
数据流参数的测量手段主要有电脑通信方式、电路在线测量式和元器件模拟式三种。
（1）电脑通信测量方式
电脑通信测量方式是利用诊断仪，通过汽车诊断插座获取ECU的实时数据流参数。诊断仪有两种：一种是通用诊断仪；另一种是专用诊断仪。
数据流包含了故障的各种信息、控制电脑的实时参数、控制电脑与诊断仪之间进行交流的指令。诊断仪在接收到这些数据流信号后，会根据通信协议显示对应的数据或数码，维修技术人员通过读取系统工作状态的数据信息，进行故障的诊断分析。
诊断仪功能不仅可以对控制单元ECU的多个动态运行参数进行数据分析，还可以观察控制单元ECU的动态控制过程，是故障检修时进行数据分析的重要手段。
通用诊断仪虽然适用车型比较多，但诊断技术和功能要比专用诊断仪滞后，特别是对于新推出的车型，通用诊断仪无法像专用诊断仪那样进行某些特殊功能的测试。
专用诊断仪主要是专业汽车制造商自行或委托设计的专业测试仪器，只适用与汽车制造商自己生产的车型，其他品牌的车型无法使用。
（2）电路在线测量方式
电路在线测量方式是通过对控制模块电路的在线检测，将控制模块各输入、输出端的电信号直接传送给电路分析仪的测量方式。电路分析仪一般有两种：一种是汽车万用表；另一种是汽车示波器。
汽车万用表不仅具有普通数字万用表的一般功能，还具有针对汽车检测的特殊功能。除了可以测量交直流电压、电流、电阻外，还可以测量转速、闭合角、占空比、频率、压力、时间、电容、温度等等。
汽车示波器是用波形显示来反映电路参数的动态变化过程的专业检测仪器，仪器能够用连续图线显示电路的各种参数，分析复杂电路上信号波形的变化。汽车示波器一般都有两个或两个以上的测试通道，可以对多个电信号进行同步显示，能动态分析各信号之间相互关系。汽车示波器的交互界面比较友好，使用时只需点击要目标传感器或执行器的菜单即可自动进行相应参数的测量。汽车示波器一般都有记忆和重现功能，方便进行偶发性故障的捕捉，还可以连接个人电脑，对示波器的数据进行存储、打印及重现。
（3）元器件模拟测量方式
元器件模拟测量方式是通过信号模拟器替代传感器向控制电脑输送模拟的传感器信号，并对ECU的响应参数进行分析比较。信号发生器有两种，一种是单路信号模拟器，另一种是同步信号模拟器。
a.单路信号模拟器
单路信号模拟器是单通道信号发生器，它能模拟单个传感器的信号。主要信号有动态变化的电压信号（0～15V），动态变化的交直流频率信号（0～10Hz），还可以用动态变化的模拟信号去分析ECU控制系统的响应，进而分析ECU及相关系统的工作状态。
b.同步信号模拟器
同步信号模拟器是两通道以上的信号发生器，主要用来产生有关联的逻辑信号，如曲轴转角和凸轮轴传感器同步信号，用来模拟发动机运转工况，在没有启动的情况下对控制单元（ECU）进行动态响应数据分析。同步信号模拟器可以比较分析传感器的好坏，分析控制单元（ECU）的响应数据。
2 数据流分析方法
数据流分析方法有以下几种方法，即值域分析法、时域分析法、因果分析法、关联分析法、比较分析法等。
2.1 值域分析法
值域分析是对汽车运行数据（如转速、车速、温度、压力、流量等）的数值变化规律和数值变化范围进行的分析。
电控系统在运行时，控制模块是按规定的周期不断地接收各个传感器发送来的状态信号，并向相应的执行器发出控制指令，某些执行器还会根据传感器发送来信号对自身的工作状态进行修正。通过诊断仪器可读取这些信号参数的数值并加以分析，确定实际测量数值与正常工作状态下测量数值（可查维修手册）的差异，以判断故障产生的部位及原因。
2.2 时域分析法
时域分析是对数据变化的频率或周期进行的分析。
通过数据数值随时间变化的规律判断故障原因。ECU在分析某些数据参数时，不仅要判断信号数值的大小，还要判断其信号的频率，以获得最佳的控制效果。
2.3 因果分析法
因果分析法是对相互联系的数据之间的响应情况和速度进行的分析。
电控系统在运行时，许多参数之间有着明确的因果关系。在特定条件下，ECU接收到某一输入信号时，必定会相应地输出一个控制信号，因此，可以通过这些因果关系，判断故障出现在何处。
2.4 关联分析法
ECU对相互关联的数据间存在的函数关系或逻辑关系进行的分析。
在某些条件下，ECU对故障的判断是根据几个关联传感器信号的比较，当发现这些信号之间的函数关系或逻辑关系不正确时，就会给出对应的故障码。这就需要根据它们之间的这些关系，对相应的传感器进行检测，以判断是传感器故障还是执行器故障。
2.5 比较分析法
比较分析是对相同车种及系统在相同条件下的相同数据组进行的分析。
在很多时候，没有足够的详细技术资料和详尽的标准数据，无法很正确地断定某个器件好坏。此时可与同类车型或同类系统的数据加以比较。
3 数据流分析的一般步骤
3.1 有故障码存在时
有故障码存在时，可以查看与故障码关联的各组数据，分析故障码产生的原因，再进一步对数据的数值大小及对应波形进行分析，找出故障点。
3.2 无故障码存在时
无故障码存在时，应先详细询问车辆的故障现象，维修技术人员应充分掌握对故障车辆的基本原理和结构，基本的数据流参数及其在不同工况条件下的正确数值，最好准备有车辆的维修手册及数据流手册，查看与故障码关联的各组数据，对相关数据流参数进行全面分析，准确判断故障位置所在。
4 案例分析
4.1 故障现象
一汽大众2009年款迈腾2.0TSI轿车，装配DSG（02E）自动变速器，行程26000km。正常加速时，出现发动机转速持续上升，而车速反而下降的故障现象，仪表板上的挡位指示灯全部变红并交替闪烁报警，故障发生周期无规律、时有时无。
4.2 故障诊断
用VAS5053检测，没有发现有故障码存在。对故障现象进行分析：车辆正常加速时，发动机转速持续上升，说明发动机工作正常，可初步判断是变速器故障。故障时有时无，说明变速器机械传动部分工作正常，故障原因可能与DSG自动变速器的离合器本身有关。
根据DSG（02E）自动变速器电控液压系统工作原理，可知DSG（02E）自动变速器离合器有保护性切断功能，读取数据流02-08-64组，该组1区显示58，而正常值应为0。1区的数值58是离合器油温度传感器G509检测到离合器机油温度超过规定值（具体数值维修手册没有给出）并进行了保护性切断动力传递的次数。
DSG（02E）自动变速器共有3个油温传感器分别是：变速器的油温度传感器G93、控制单元中的温度传感器G510及离合器油温度传感器G509。G93和G510内置在变速器控制单元中，当其感应到油温超过145℃时，ECU会停止向离合器供油，切断离合器。G509与离合器转速传感器集成一体，位于离合器的壳体内，工作温度为-55～+180℃，控制单元依据来自G509的信号调节离合器冷却油的流量，离合器温度信号异常时也会触发变速器保护功能，切断离合器的供油。
进一步读取数据流02-08-19组，其1、2、3区分别显示98℃、98℃、99℃，分别是G93、G510及G509检测到的油温数值，这似乎与前面的分析不相符。
维修技术人员怀疑是离合器油温度传感器G509的温度感应元件特性异常所致。用VAS5053对G93、G510及G509变化数据进行动态监测，发现G509的数据偶尔会比G93、G510的数据高出40～42℃，发生周期无规律、时有时无，故障现象进一步得到确认。
在测试中，由于G509温度信号没有超出保护规定值，所以没有所以没有出现前面提到的故障现象，再次读取数据流02-08-64组，该组1区仍显示58。
诊断结果是离合器油温度传感器G509的温度感应元件特性异常，但控制单元ECU并不存储传感器温度感应异常的故障码，而是在数据流02-08-64组1区计数并存储离合器油温度传感器G509检测到离合器机油温度超过规定值并进行了保护性切断动力传递的次数。仪表板上的挡位指示灯全部变红且交替闪烁报警，其实是由于G509错误发送离合器油温过高信号，离合器发生过载保护，挡位指示灯全部变红并以1Hz频率交替闪烁报警。
4.3 故障处理
更换离合器油温度传感器G509（与变速箱输入速度传感器G182集成一体），再用VAS5053对G93、G510及G509变化数据进行动态监测， G93、G510、G509三个温度传感器数值基本一致。反复路试，故障排除。
参考文献
[1]谭本忠.汽车波形与数据流分析[M].北京：机械工业出版社，2012.
关键词：云计算；云数据；管理技术
1 云计算概述
1.1 工作原理
云计算工作原理如下：无需借助本地计算机（或者是远程服务器）[2]，便能够将计算合理分布在一系列分布式计算机上，以实现对企业数据中心运行的有效优化，并和互联网形成有效对接。如此一来，企业便能够将所需资源及时而准确地切换到相关应用上，然后结合实际需求对相关计算机及存储系统进行即时访问。云计算属于一项极具实用价值的新技术，使计算能力具有商品性质，并通过网络予以兜售，不仅节约了销售成本，同时还具有实用快捷的优点。
1.2 体系结构
云计算体系结构具有一定的复杂性，且较为庞大，以“云”网络为中枢，连接一系列并发的网络计算以及相关服务，能够在虚拟化技术的帮助下，对各个服务器的能力进行扩展，并借助云计算平台把一系列资源有机地结合在一起，从而为用户提供强大的计算能力及存储能力[3]。一个相对完整的体系主要包括四大部分，一是云端用户，二是服务目录，三是管理系统，四是部署工具、监控、服务器集群。
2 云数据管理技术
2.1 特点
云计算中数据主要具有三大特点，一是海量性，二是异构性，三是非确定性。
2.2 相关技术概述
GFS技术，Google文件系统是一个大型的分布式文件系统；BigTable技术，建立在GFS和MapReduce之上的一个大型的分布式数据库；Dynamo技术，是一个高可用，专有的键值结构化存储系统，或分布式存储系统；MapReduce技术，即MapRedace编程模式。
2.3 云数据管理技术分析
随着研究的不断深入，以GFS为代表的一系列云计算数据管理技术也得以不断完善，并围绕云计算所涉及的海量数据计算、存储以及应用问题，提出了诸多创新，云数据管理技术的总体架构如图1所示。
云计算数据管理可被归结为4个层次：⑴数据组织与管理。在分布式存储技术的帮助下，可对大型数据予以访问，可对分布式数据予以访问，还可对大量数据予以访问，以GFS技术为代表，能够适应于一系列相同或者类似的普通硬件上，具有强大的容错功能，从而保证了用户对数据的访问、获取及存储需求，不仅可靠，而且高并发，还具有高性能的特点。⑵数据集成与管理。针对数据所具有的海量性、异构性以及非确定性特点，借助以Bigtabe为代表的一系列分布式数据管理技术以实现对大规模数据的高效分析及系统处理，从而为用户提供更为及时、准确、优质的服务。⑶分布式并行处理。在分布式环境下，为了实现对数据的深层次挖掘和高效处理，采用建立在云计算这一基础之上的并行编程模式，以MapReduce技术为例，能够对任务予以自动划分，使其成为多项子任务，先后经过映射及化简处理，便能将任务在大型化规模计算节点中进行理想调度和有机分配。在此过程中，无论是后台并行执行，又或者是后台任务调度，均以透明、公开的形式面向编程人员及用户。⑷数据分析。对于云计算数据管理而言，在最后阶段，需对数据展开相应分析及深层次发掘，并为一系列应用提供服务，通常借助专业的数据挖掘引擎以实现对数据的综合布局和合理调度。另外，还可借助浅（深）层语义分析技术以实现在不完全确定知识的前提下对数据展开深层次的挖掘，如此一来，便能够从结构化关系数据库所包含的一系列数据、文本（有可能以半结构化存在）、图形及图像信息中提取出潜在的、事先尚未获知的、有价值的、且能够为用户所读懂的数据。
3 结束语
云计算由于具有海量性、异构性以及非确定性等一系列优点，因而在现阶段得到了广泛应用，且展现出了良好的应用前景。然而云计算的云计算管理毕竟发展时间不长，还存在诸多不完善之处，机遇和挑战共存，有鉴于此，本文提出了基于数据组织与管理、数据集成与管理、分布式并行处理、数据分析的4层次云数据管理方式，这也是未来一段时间内，云计算数据管理的一个主要发展方向。
[参考文献]
[1]全快.分析云计算和云数据管理技术[J].无线互联科技，2012，10：84.
