存档

文章标签 ‘Hadoop’

搭建Hadoop集群

2013年9月29日 没有评论

一直以来,对Hadoop集群很感兴趣。最近得闲,就抽空把Hadoop集群搭建起来。为了日后备查,著一小文以记之。

创建用户账号

为了便于管理,建立一个专门用于搭建Hadoop集群的用户账号。创建指令如下:

sudo adduser u --ingroup sudo

注销原来的登录用户,使用用户u登录。也可以使用 阅读全文…

分类: Hadoop, Java, 挨踢(IT) 标签: , ,

用JavaScript阐述MapReduce原理

2012年11月23日 8 条评论

  谷歌在2003到2006年间连续发表了三篇非常有影响力的文章,分别是2003年在SOSP上发布的GFS,2004年在OSDI上发布的MapReduce,以及2006年在OSDI上发布的BigTable。GFS是文件系统相关的,其对后来的分布式文件系统设计具有指导意义;MapReduce是一种并行计算的编程模型,用于作业调度;BigTable是一个用于管理结构化数据的分布式存储系统,构建在GFS、Chubby、SSTable等Google技术之上。相当多的Google应用使用了这三种技术,比如Google Search、Google Earth和Google Analytics等等。因此这三种技术并称为谷歌技术”三宝”。今天,D瓜哥班门弄斧,对MapReduce来个”庖丁解牛”! 阅读全文…