1.下载hadoop-0.20.2
wget
http://mirror.bjtu.edu.cn/apache/hadoop/core/stable/hadoop-0.20.2.tar.gz
2.修改/etc/hosts文件,添加所有节点的ip-host映射
192.168.221.174 h1
192.168.221.175 h2
192.168.221.176 h3
3.修改hadoop安装目录下conf里的配置文件
(1)修改hadoop-env.sh,添加java_home和命名hadoop instance
export JAVA_HOME=/usr/java/jdk1.6.0_10
export HADOOP_IDENT_STRING=myhadoop
(2)在masters里添加
h1
(3)在slaves里添加数据节点
h1
h2
h3
(4)修改core-site.xml,添加以下信息
<property>
<name>hadoop.tmp.dir</name>
<value>/data0/hadoop</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://h1:9000</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>20</value>
</property>
<property>
<name>fs.checkpoint.period</name>
<value>300</value>
<description>The number of seconds between two periodic checkpoints.
</description>
</property>
(5)修改hdfs-site.xml,添加以下信息
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
(6)修改mapred-site.xml,添加以下信息
<property>
<name>mapred.job.tracker</name>
<value>h1:9001</value>
</property>
<property>
<name>mapred.map.tasks</name>
<value>40</value>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>10</value>
</property>
4.添加无密码登陆
在其中一台机器上用root生成密钥,一路回车
/usr/bin/ssh-keygen
/root/.ssh/目录生成两个文件
id_rsa(私钥) id_rsa.pub(公钥)
生成认证文件cat id_rsa.pub >>authorized_keys
chmod 600 id_rsa id_rsa.pub authorized_keys
把这上面3个文件分发到hadoop所有机器上
注意.ssh目录应该为700 id_rsa应该为600
修改/etc/ssh/ssh_config
# StrictHostKeyChecking ask -》
StrictHostKeyChecking no
分发到hadoop所有机器,不需要重启服务器
5.把配置好的hadoop安装目录复制到所有节点相同的目录下
for loop in1 2 3;do rsync -av --delete /home/hadoop/* root@192.168.221.17$loop:/home/hadoop/ ; done
6.在/etc/profile里添加环境变量
export JAVA_HOME="/usr/java/jdk1.6.0_10"
export HADOOP_HOME="/home/hadoop/hadoop-0.20.2"
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$DERBY_HOME/bin
6.修改主机的hostname,mapreduce使用hostname识别主机进行数据传输
vi /etc/sysconfig/network
运行hostname命令使设置立即生效
7 cd /home/hadoop/hadoop-0.20.2 ;cp contrib/fairscheduler/hadoop-0.20.2-fairscheduler.jar lib/
./hadoop namenode -format
分享到:
相关推荐
Hadoop安装部署及教学,内有word文档、ppt、pdf 一整套教学及部署
详尽的hadoop 安装部署使用说明,适合初学者学习,详尽的说明手册。
Hadoop安装部署,把hadoop的安装部署步骤一一呈现
HADOOP安装部署文档,本文档是设想在多台服务器上部署HADOOP的实现过程.
实验1:Hadoop安装部署
Hadoop安装部署手册范本.doc
Hadoop安装部署简明步骤详解,详细说明如何安装、编译Hadoop,实现云计算环境
hadoop3台机器集群的详细安装部署过程
支持自动化Hadoop安装部署的研究.rar
支持自动化Hadoop安装部署的研究.pdf
自己操作实践,归纳总结出来的hadoop按照部署文档,欢迎参考学习。包括:安装部署,虚拟集群这个。
包括hadoop在Linux下集群安装和配置,以及windows下使用的配置说明,包括windows下面所需要的bin文件,包含了hadoop核心配置文件的各种属性说明
主要介绍在Linux系统上安装Hadoop集群,包括基础配置,Hadoop的部署安装。
hadoop在Linux环境下部署不同的节点
这是一款适合初学者使用的安装部署文件,所以一定要认真按照步骤部署,且做且珍惜
主要介绍了Hadoop在windows上伪分布式的安装过程、在Linux单节点伪分布式的安装过程、Eclipse开发环境介绍