<正>2015年1月8日,2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会新闻会在京举行。此次数博会将于2015年5月26日至29日在贵阳举行,以"专业展会、国际平台、促进合作、共谋未来"为原则,以"大数据时代的变革、机遇和挑战"为主题,届时将举行展览展示、峰会论坛和创新大赛等活动,综合呈现大数据技术、应用和发展趋势。据悉,举办以大数据为主题的博览会和峰会,在全球尚属首次。
作者: 期刊:《网络安全和信息化》 2013年第16期
物理Hadoop架构的成本令人信服的理由之一是避免昂贵的SAN,尤其是数据集变得更加巨大。然而,在虚拟环境中,考虑用SAN存储一些大数据集可能是有意义的。原因之一是,
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,可以进行分布式程序的开发。HDFS具有高容错性,常部署在低廉的硬件上,而且它拥有高吞吐量,可以更好地访问应用程序中的数据,适合有着大数据集的应用程序。基于Hadoop电力数据接入方案,文章采用开源的工具包进行二次封装,较好地实现了电力数据的接入,在很大程度上提升了用户的使用体验,具有较高的稳定性和可靠性。
2015年12月18日,北京市供销合作总社在北京中关村国家自主创新示范区展示中心宣布成立北京供销大数据集团。此举标志着北京市供销合作总社完成了从"小背篓"到大数据的历史性跨越,充分体现了北京市供销合作总社66年来积极创新、与时俱进的开拓与拼搏精神。中华全国供销合作总社、北京市国资委、北京市经信委、北京市商务委、北京市农委、北京市科委、北京市网信办、中关村科技园区管理委员会、海淀区人民政府、顺义区人民政府、平...
作者:韩锋; 刘一方 期刊:《清华金融评论》 2016年第06期
中国互联网金融的大发展中,大数据扮演了至关重要的角色。本文认为,大数据必须基于去中心化的区块链技术才能打破数据孤岛,充分解决大数据既要能够共享又要能够使所有权归属清晰的问题。同时,未来中国央行不能简单模仿国外,而是必须基于公有链发行数字货币。
2016年12月18日,北京供销大数据集团举办的“加快大数据中心一体化进程·2017北京峰会”在北京召开。本届大会以《践行:一体化的国家队.智慧城市的领跑者》为主题.邀请了政府领导、业界专家、行业领袖以及诸多国企、政企用户.借大会搭建产业交流平台.旨在共同探讨数字经济时代中国大数据产业投资、应用的发展之道.并为国企、政企的数据转型献计献策。
作者:彭敏(编译); Joseph; Rozenfeld 期刊:《软件和集成电路》 2007年第22期
“我有太多的数据要分析”业务分析人员常常这样抱怨。今天,对于非常大容量数据集的定义是由十年之前人们对于大数据集的定义演变而来的,这非常具有戏剧性。十几年前,几个GB的数据都被看作是大数据集,几十个GB的则被认为是巨大数据集。那时候,有一些人就致力于改善一些技术,以帮助人们以合理的速度来分析GB级的数据。
作者:李洁; 高新波; 焦李成 期刊:《电子学报》 2004年第03期
在数据挖掘中,我们经常会遇到和分析大量具有数值和类属特征的数据.然而,现有的大多数分类算法只能单独处理数值特征数据或类属特征数据,而不能分析具有两种混合属性的数据.为此,本文提出一种基于克隆选择的模糊聚类新算法,通过改进距离测度函数将数值特征与类属特征相结合,从而实现具有混合属性特征数据的聚类分析;通过引入克隆选择算法(CSA)实现目标函数的全局优化.由于克隆算子能够将进化搜索与随机搜索、全局搜索和局部搜索相...
2015年8月,美国高等教育政策研究所(Institute for Higher Education Policy,IHEP)率先召集了一个由全国高等教育数据专家组成的工作组,来讨论推动一系列改进数据基础设施质量的新兴方案,为州和联邦的政策对话提供信息。《美国高等教育数据系统中的信息安全和隐私》是该成果的系列论文集——《展望21世纪的高等教育数据基础设施》中的一篇。上期文章使读者了解信息安全和隐私的概念以及国家高等教育数据基础设施中的技术,本期主...
日前,承德市政府与北京热力集团、北京供销大数据集团签署战略合作协议,共同建设“承德市智慧供热云服务平台项目”.京冀之间的这项协作,将开启供热行业的三个全国“第一”:首个大数据中心、首个基于大数据的省级监管平台、首个大数据模型.供热是北方城市的基础设施之一,重要性不言而喻.
全国首个供热行业大数据中心即将落户承德。3月6日,承德市政府与北京热力集团、北京供销大数据集团签署战略合作协议,共同建设"承德市智慧供热云服务平台项目"。项目落地后,北京热力集团与北京供销大数据集团双方在行业大数据建设方面的优势将得到整合,同时依托承德德鸣大数据产业园数据中心,北京热力集团的热力大数据监管平台将面向河北全省供热企业提供热力数据集中监控分析服务。
作者:陈邦豪 期刊:《智能计算机与应用》 2018年第04期
Apriori算法是经典的挖掘频繁项集和关联规则的数据挖掘算法。本文通过实例使用Python语言将Apriori算法用到电影推荐上,从大量电影打分数据形成的大数据集中找到可用于电影推荐的关联规则。整个过程由两个阶段构成,先借助Apriori算法寻找数据中的频繁项集,然后根据找到的频繁项集,生成关联规则。由此算法得到结果更高效、快捷、灵活,也取得了良好的电影推荐效果。同时也为下一步针对Apriori算法的改进及更大范围的应用提供了方向,...
作者:陆凯; 徐华 期刊:《计算机工程与应用》 2019年第01期
k近邻多标签算法(ML-kNN)是一种懒惰学习算法,并已经成功地应用到实际生活中。随着信息量的不断增大,将ML-kNN算法运用到大数据集上已是形势所需。利用聚类算法将数据集分为几个不同的部分,然后在每一个部分中使用ML-kNN算法,并在四个规模不同的数据集上进行了一系列实验。实验结果表明,基于此思想的ML-kNN算法不论在精度、性能还是效率上都略胜一筹。
作者:陈溪辉; 蒋盛益 期刊:《福建电脑》 2005年第03期
本文从理论上对规则大数据集的乱序方法及产生指定区域完全随机数进行了较深入的探讨,给出了在不同应用条件下多种解决方案,同时在程序上进行了实现,并分析、比较了各种实现方法的优缺点.
作者:李楠; 于孟渤; 贾珍珍; 王一惠; 李昕宸; 邹淑雪 期刊:《通信技术》 2018年第04期
为了提高BP神经网络算法并行化速率,利用神经网络并行化思想,提出了一种基于Hadoop平台的改进MapReduce编程模型及并行化的实现。采用MapReduce编程模型,用神经网络训练集的一组样本的键/值替代单一键/值,通过分组标记将同一value值对应的reduce工作方式分散为多个reduce进行工作,实现各个任务节点并行处理大数据,从而减少了处理大规模数据集的运行时间。选用不同大小数据集进行测试,通过与传统的神经网络并行化进行对比,发现改进...
本文通过吸取半监督聚类思想,提出了一种基于标记集指导的半监督聚类算法,利用驻留内存的labels集指导聚类过程,以满足大数据环境下数据挖掘的要求,并提高聚类算法的效率及质量。
作者:史荧中; 汪菊琴; 许敏; 王士同 期刊:《计算机科学与探索》 2017年第06期
正则化多任务学习(regularized multi-task learning,rMTL)方法及其扩展方法在理论研究及实际应用方面已经取得了较好的成果。然而以往方法仅关注于多个任务之间的关联,而未充分考虑算法的复杂度,较高的计算代价限制了其在大数据集上的实用性。针对此不足,结合核心向量机(corevectormachine,CVM)理论,提出了适用于多任务大数据集的快速正则化多任务学习(fastregularizedmulti-tasklearning,FrMTL)方法。FrMTL方法有着...
5月24日,由《金融科技时代》杂志社主办的“第九届贵州地区银行系统IT技术交流会”在贵阳圆满落幕.贵阳金电科技有限责任公司、深圳盘古天地集团、北京供销大数据集团股份有限公司、深圳市共济科技股份有限公司、北京捷通机房设备工程有限公司、广州视臻信息科技有限公司等参加了本次交流会.
以往提出的面向大数据集的递增聚类方法直接将多维度的大数据集转换成一维大数据集,导致聚类成果不佳,故提出面向大数据集的递增聚类新方法。为取得高聚类效率,在高度保留原始数据维度的情况下,简化了大数据集递增聚类步骤,构建出大数据处理集合,对集合中的标志样本进行局部递增聚类,将未能成功聚类的大数据平均分配到局部递增聚类结果中,使用高斯概率密度函数和证据理论检测其中的错误坐标并进行改正,获取最终的递增聚类...
3月31日,由《金融科技时代》杂志社主办的“第七届河北地区银行系统IT技术交流会”在石家庄圆满落幕。广州市品高软件股份有限公司、云适配、北京通付盾数据科技有限公司、四川依米康环境科技股份有限公司、北京供销大数据集团股份有限公司、北京捷通机房设备工程有限公司、深圳盘古天地集团、浙江一舟电子科技股份有限公司、信亦宏达网络存储技术(北京)有限公司等参加了本次交流会。