作者:祝智庭; 彭红超; 雷云鹤 期刊:《开放教育研究》 2017年第05期
大数据受到社会的普遍关注。教育领域的师生群体大,教育数据的潜在价值亦非常大。大数据的局限性日益显现,随后出现的小数据、全数据、快数据、行数据、关数据、巧数据等概念开始引起数据研究者的关注。本文从解读教育数据智慧的角度出发,理清了上述几个概念之间的关系,认为大数据与小数据组成了集数据密集与智慧密集于一体的全数据;快数据、行数据、关数据、巧数据是大数据的四种新形态,它们从不同的角度突显大数据的潜在价值。本...
作者:陈虹君; 吴雪琴 期刊:《现代电子技术》 2016年第10期
Hadoop大数据平台上可以搭建Yarn,Mahout,Storm,Graph Lab等框架,其提供了大数据的各种处理能力。但它们各自按自己的机制工作,整合度极低。虽然在Mahout框架中,对机器学习的算法支持较为完善,但是数据必需是离线的。在大数据时代,要求不仅具有处理能力,还强调了数据的时效性,以前的框架都显得有点力不从心。Spark是Hadoop平台上的新型利器,它的各个部分几乎能替代以前的分散的框架,且采用统一的处理机制,整合度很好,速度比传统处...