存档

文章标签 ‘Hadoop’

搭建Hadoop集群

2013年9月29日 没有评论

一直以来，对Hadoop集群很感兴趣。最近得闲，就抽空把Hadoop集群搭建起来。为了日后备查，著一小文以记之。

创建用户账号

为了便于管理，建立一个专门用于搭建Hadoop集群的用户账号。创建指令如下：

sudo adduser u --ingroup sudo

注销原来的登录用户，使用用户u登录。也可以使用 阅读全文…

分类: Hadoop, Java, 挨踢(IT) 标签: , ,

用JavaScript阐述MapReduce原理

2012年11月23日 8 条评论

　　谷歌在2003到2006年间连续发表了三篇非常有影响力的文章，分别是2003年在SOSP上发布的GFS，2004年在OSDI上发布的MapReduce，以及2006年在OSDI上发布的BigTable。GFS是文件系统相关的，其对后来的分布式文件系统设计具有指导意义；MapReduce是一种并行计算的编程模型，用于作业调度；BigTable是一个用于管理结构化数据的分布式存储系统，构建在GFS、Chubby、SSTable等Google技术之上。相当多的Google应用使用了这三种技术，比如Google Search、Google Earth和Google Analytics等等。因此这三种技术并称为谷歌技术”三宝”。今天，D瓜哥班门弄斧，对MapReduce来个”庖丁解牛”！ 阅读全文…

分类: Hadoop, 挨踢(IT) 标签: , ,