存档

‘Hadoop’ 分类的存档

昨天面试被问到的一些问题

2013年10月15日 2 条评论

昨天D瓜哥参加了一个Java工程师面试,具体公司名称就不透露了。感觉被问的问题挺有代表性。简单整理一下,发布出来,给需要的朋友一个参考吧。暂时没有解答,抱歉!

  1. 以前工作中收获最大的一次经历是什么?
    这里只说明一下收获吧。

    1. 高性能网站的十四条黄金法则
    2. 高性能JavaScript
  2. 所需知识哪些 阅读全文…

搭建Hadoop集群

2013年9月29日 没有评论

一直以来,对Hadoop集群很感兴趣。最近得闲,就抽空把Hadoop集群搭建起来。为了日后备查,著一小文以记之。

创建用户账号

为了便于管理,建立一个专门用于搭建Hadoop集群的用户账号。创建指令如下:

sudo adduser u --ingroup sudo

注销原来的登录用户,使用用户u登录。也可以使用 阅读全文…

分类: Hadoop, Java, 挨踢(IT) 标签: , ,

用JavaScript阐述MapReduce原理

2012年11月23日 8 条评论

  谷歌在2003到2006年间连续发表了三篇非常有影响力的文章,分别是2003年在SOSP上发布的GFS,2004年在OSDI上发布的MapReduce,以及2006年在OSDI上发布的BigTable。GFS是文件系统相关的,其对后来的分布式文件系统设计具有指导意义;MapReduce是一种并行计算的编程模型,用于作业调度;BigTable是一个用于管理结构化数据的分布式存储系统,构建在GFS、Chubby、SSTable等Google技术之上。相当多的Google应用使用了这三种技术,比如Google Search、Google Earth和Google Analytics等等。因此这三种技术并称为谷歌技术”三宝”。今天,D瓜哥班门弄斧,对MapReduce来个”庖丁解牛”! 阅读全文…