摘要:大数据时代,新浪微博已成为国内最大的信息平台之一,笔者提出了一种基于新浪微博数据采集的设计与实现方法。通过对比选择爬虫网站,采用Cookie登录、单对象、爬取进度可视化等方法依次剖析每个阶段遇到的问题及解决办法,旨在实现高效、稳定、快速的数据采集。最后将获取的结果存入MongoDB数据库可供后续进行大数据分析研究,得到对私对公有意义的分析结果。
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社
热门期刊服务
相关文章
影响因子:1.14
期刊级别:省级期刊
发行周期:月刊
期刊在线咨询,1-3天快速下单!
查看更多>
超1000杂志,价格优惠,正版保障!
一站式期刊推荐服务,客服一对一跟踪服务!