好程序员-千锋教育旗下高端IT职业教育品牌

400-811-9990
我的账户
好程序员

专注高端IT职业培训

亲爱的猿猿,欢迎!

已有账号,请

如尚未注册?

  • 客服QQ
  • 官方微信

    好程序员

    专注高端IT职业培训

【大数据】好程序员大数据学习路线完全分布式集群的搭建

[复制链接]
295 0
好程序员大数据学习路线完全分布式集群的搭建搭建集群前的准备
        1、四台服务器的时间必须同步
        2、防火墙处于关闭状态
        2、四台服务器必须装好jdk并且配置好环境变量
一、四台服务器集群格局
| 服务器  | NameNode | secondaryNameNode | DataNode |
| :-----: | :------: | :---------------: | :------: |
| Hadoop1 |    有    |                   |          |
| Hadoop2 |          |        有         |    有    |
| Hadoop3 |          |                   |    有    |
| Hadoop4 |          |                   |    有    |
二、配置Hadoop1【以下操作在Hadoop1下执行】
1.配置hadoop-env.sh中的JDK路径
        编辑hadoop-env.sh文件:
```
vi 【此处为Hadoop的安装位置】/etc/hadoop/hadoop-env.sh
```
        修改文件中的# The java implementation to use!
```
export JAVA_HOME=【此处为jdk的安装路径】
```
2、指定NameNodeipfsimage等文件的存储位置
.core-site.xml文件文件
```
vi 【此处为Hadoop的安装位置】/etc/hadoop/core-site.xml
```
.指定NameNode服务器位置
在文件中添加以如下代码:
  1. <font size="3"> <property>

  2.         <name>fs.defaultFS</name>

  3.         <value>hdfs://【此处为Hadoop1的ip】:9000</value>

  4. </property></font>
复制代码

.指定fsimage文件的存储位置
在文件中添加以如下代码:
  1. <font size="3"><property>

  2.         <name>hadoop.tmp.dir</name>

  3.         <value>【指定fsimage文件的存储位置】</value>

  4. </property></font>
复制代码

例如:
3.指定副本数量、配置secondaryNameNode的启动
.编辑/hdfs-site.xml文件文件
```
vi 【此处为Hadoop的安装位置】/etc/hadoop//hdfs-site.xml
```
.指定副本的数量
在文件中添加以如下代码:
  1. <font size="3"><property>

  2.     <name>dfs.replication</name>

  3.     <value>【此处为副本数量】</value>

  4. </property></font>
复制代码

.配置secondaryNameNode的启动
在文件中添加以如下代码:
  1. <font size="3"><property>

  2.     <name>dfs.namenode.secondary.http-address</name>

  3.     <value>【此处hadoop2的IP】:50090</value>

  4. </property></font>
复制代码

例如:
3.指定DataNode节点的ip
编辑slaves文件
```
vi 【此处为Hadoop的安装位置】/etc/hadoop/slaves
```
在文件中写入所有DataNode节点的IP
例如:
三、分发安装包给hadoop2hadoop3hadoop4
分别执行下面三条代码:
```
scp -r 【此处为Hadoop的安装位置】 hadoop2:/opt/software/
```
```
scp -r 【此处为Hadoop的安装位置】 hadoop3:/opt/software/
```
```
scp -r 【此处为Hadoop的安装位置】 hadoop4:/opt/software/
```
四、配置每台服务器的Hadoop环境变量
1.编辑profile文件
```
vi /etc/profile
```
2.在文件末插入如下两行
```
export HADOOP_HOME=【此处为Hadoop的安装位置】
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
```
五、格式化nameNode
Hadoop1上运行如下代码
```
hadoop namenode -format
```
注意:格式化成功后就不要再格式化了
格式化成功的标志如下图:
六、启动/停止集群
全部启动/停止
```
start-all.sh
stop-all.sh
```
模块化开启/停止

start-dfs.sh
stop-dfs.sh

单个角色启动/停止

hadoop-daemo.sh start namenode/datanode/secondarynamenode
hadoop-daemo.sh stop namenode/datanode/secondarynamenode
好程序员大数据培训官网:http://masterremove.com/

精彩内容,一键分享给更多人!
收藏
收藏0
转播
转播
分享
淘帖0
支持
支持0
反对
反对0
回复

使用道具 举报

您需要登录后才可以回帖

本版积分规则

关注我们
千锋好程序员

北京校区(总部):北京市海淀区宝盛北里西区28号中关村智诚科创大厦

深圳西部硅谷校区:深圳市宝安区宝安大道5010号深圳西部硅谷B座A区605-619

杭州龙驰智慧谷校区:浙江省杭州市下沙经济技术开发区元成路199号龙驰智慧谷B座7层

郑州校区:郑州市二七区航海中路60号海为科技园C区10层、12层

Copyright 2007-2019 北京千锋互联科技有限公司 .All Right

京ICP备12003911号-5 京公安网11010802011455号

请您保持通讯畅通1对1咨询马上开启