这次准备多台虚拟机来安装分布式Hadoop. 官方文档:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html
Hadoop的节点分为两大类:masters和slaves。
masters 必须是分开(exclusively)的两台机器:NameNode 和 ResourceManager,
slaves 包含了DataNode和NodeManager,文档上没有说一定必须互斥。
下面是YARN的架构图, 里面没有NodeManager, YARN只是Hadoop体系的一部分,此图没有包含HDFS。
HDFS的信息参考:https://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/Federation.html
现在安装hadoop,做一些基本配置,由于前面已经自己编译了64 bit的Hadoop,现在可以拿来用了。
首先准备一个虚拟机Ubuntu 12.04.4 server, host name: hd1, IP: 192.168.1.71
然后参考Ubuntu 12.04 上使用Hadoop 2.2.0 一 用户权限设置
做相应的设置。不过不要下载hadoop的安装包,只要将编译好的64 bit的复制到/usr/local目录下即可。
然后参考Ubuntu 12.04 上使用Hadoop 2.2.0 二 配置single node server
设置好环境变量,修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件后,推出再用hduser登录。
这篇文章中提到要修改下面这个文件,但是我不确定,先放在这里记录,暂时不用修改:
Add JAVA_HOME to libexec/hadoop-config.sh at beginning of the file
hduser@solaiv[~]#vi /opt/hadoop-2.2.0/libexec/hadoop-config.sh
….
export JAVA_HOME=/usr/local/jdk1.6.0_18
….
创建hadoop使用的临时目录
mkdir $HADOOP_INSTALL/tmp
后面会逐步创建各个server,都会从这个VM克隆。
分享到:
相关推荐
Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程
自己这一个礼拜搭建成功后,重新截图总结,写出一份很详细的安装Hadoop 集群的文档,希望可以帮助到有需要的朋友,共同进步!
Ubuntu12.04下交叉编译VLC-2.1.1-Win32程序
在Ubuntu 12.04LTS 下搭建Apache web服务器-亲测,解决ADSL关于80端口被封等问题,亲自测试通过。
本文档详细叙述了在ubuntu12.04下如何将32位的hadoop2.2.0编译成64位。
Ubuntu12.04菜鸟使用手册合集+Ubuntu标准教程Ubuntu12.04菜鸟使用手册合集+Ubuntu标准教程Ubuntu12.04菜鸟使用手册合集+Ubuntu标准教程Ubuntu12.04菜鸟使用手册合集+Ubuntu标准教程Ubuntu12.04菜鸟使用手册合集+...
ubuntu12.04安装mysql---黑佳伦.pdf
pmLinux-Ubuntu_12.04-20.10_x86_arm 触屏驱动
Ubuntu 12.04 菜鸟使用手册(全)
Ubuntu 12.04 菜鸟完全使用教程让你用最快的速度熟悉使用Ubuntu 12.04!
电阻屏-penmount主控driver,liunx版Ubuntu_12.04-21.1
Ubuntu12.04的apt-get搜狐源,直接下载至/etc/apt/下即可,执行apt-get update
全志 a20 ubuntu-core-14.04-core-armhf.tar.gz
Ubuntu12.04 nginx python uwsgi Django安装步骤
ubuntu 12.04 安装mysql---黑佳伦.docx
Ubuntu 12.04 适合初学者使用
zabbix2.03在ubuntu12.04上的安装(最新)
有关Ubuntu的使用,看到这本书,下载下来看了以后,觉得非常不错,就推荐上来
在 Ubuntu 12.04 上安装 Hadoop 2.2 的分步指南 安装 Hadoop 的先决条件 1- Create hadoop user :- This is not a mandatory step. It is just to seperate the Hadoop instalation from other installed ...