2020年9月27日星期日

Hadoop框架：集群模式下分布式环境搭建

本文源码：GitHub·点这里 || GitEE·点这里

一、基础环境配置

1、三台服务

准备三台Centos7服务,基础环境从伪分布式环境克隆过来。

133 hop01，134 hop02，136 hop03

2、设置主机名

## 设置名称hostnamectl set-hostname hop01## 重启reboot -f

3、主机名通信

vim /etc/hosts# 添加服务节点192.168.37.133 hop01192.168.37.134 hop02192.168.37.136 hop03

4、SSH免密登录

配置三台服务SSH免密登录。

[root@hop01 ~]# ssh-keygen -t rsa...一路回车结束[root@hop01 ~]# cd .ssh...权限分配到指定集群服务[root@hop01 .ssh]# ssh-copy-id hop01[root@hop01 .ssh]# ssh-copy-id hop02[root@hop01 .ssh]# ssh-copy-id hop03...在hop01免密登录到hop02[root@hop01 ~]# ssh hop02

这里针对hop01服务，在hop02和hop03服务都要执行该操作。

5、同步时间

ntp组件安装

# 安装yum install ntpdate ntp -y# 查看rpm -qa|grep ntp

基础管理命令

# 查看状态service ntpd status# 启动service ntpd start# 开机启动chkconfig ntpd on

修改时间服务hop01

# 修改ntp配置vim /etc/ntp.conf# 添加内容restrict 192.168.0.0 mask 255.255.255.0 nomodify notrapserver 127.0.0.1fudge 127.0.0.1 stratum 10

修改hop02\hop03时间机制，从hop01同步时间，并注销网络获取时间的机制。

server 192.168.37.133# server 0.centos.pool.ntp.org iburst# server 1.centos.pool.ntp.org iburst# server 2.centos.pool.ntp.org iburst# server 3.centos.pool.ntp.org iburst

编写定时任务

[root@hop02 ~]# crontab -e*/10 * * * * /usr/sbin/ntpdate hop01

修改hop02和hop03服务时间

# 指定时间date -s "2018-05-20 13:14:55"# 查看时间date

这样时间会基于hop01服务的时间不断的更正或同步。

6、环境清理

从伪分布式环境虚拟机克隆三台Centos7服务,删除原来hadoop环境配置的data和log文件夹。

[root@hop02 hadoop2.7]# rm -rf data/ logs/

二、集群环境搭建

1、集群配置概览

服务列表HDFS文件YARN调度单服务
hop01DataNodeNodeManagerNameNode
hop02DataNodeNodeManagerResourceManager
hop03DataNodeNodeManagerSecondaryNameNode

2、修改配置

vim core-site.

<property> <name>fs.defaultFS</name> <value>hdfs://hop01:9000</value></property>

这里三台服务都需要分别指定当前主机名称。

vim hdfs-site.

<property> <name>dfs.replication</name> <value>3</value></property><property>  <name>dfs.namenode.secondary.http-address</name>  <value>hop03:50090</value></property>

这里修改副本数为3，并指定SecondaryNameNode服务，三台服务同样修改指定SecondaryNameNode在hop03服务上。

vim yarn-site.

<property> <name>yarn.resourcemanager.hostname</name> <value>hop02</value></property>

指定ResourceManager服务在hop02上。

vim mapred-site.

<!-- 服务器端地址 --><property><name>mapreduce.jobhistory.address</name><value>hop01:10020</value></property><!-- 服务器web端地址 --><property> <name>mapreduce.jobhistory.webapp.address</name> <value>hop01:19888</value></property>

指定相关web端查看地址在服务hop01上。

3、集群服务配置

路径：/opt/hadoop2.7/etc/hadoop

文件：vim slaves

hop01hop02hop03

这里配置三台服务的集群列表。同步修改其他服务相同配置。

4、格式化NameNode

注意这里NameNode配置在hop01服务上。

[root@hop01 hadoop2.7]# bin/hdfs namenode -format

5、启动HDFS

[root@hop01 hadoop2.7]# sbin/start-dfs.shStarting namenodes on [hop01]hop01: starting namenodehop03: starting datanodehop02: starting datanodehop01: starting datanodeStarting secondary namenodes [hop03]hop03: starting secondarynamenode

注意看这里的打印信息，和配置完全吻合。namenodes在hop01上启动，secondary-namenodes在hop03上启动，可以通过JPS命令到各个服务查看验证。

6、启动YARN

注意Yarn配置在hop02服务上，所以在hop02服务执行启动命令。

[root@hop02 hadoop2.7]# sbin/start-yarn.shstarting yarn daemonsstarting resourcemanagerhop03: starting nodemanagerhop01: starting nodemanagerhop02: starting nodemanager,

注意这里的启动打印日志，至此集群规划的服务都启动完毕。

[root@hop01 hadoop2.7]# jps4306 NodeManager4043 DataNode3949 NameNode[root@hop02 hadoop2.7]# jps3733 ResourceManager3829 NodeManager3613 DataNode[root@hop03 hadoop2.7]# jps3748 DataNode3928 NodeManager3803 SecondaryNameNode

查看各个服务下的集群进程，与规划配置一致。

7、Web端界面

NameNode id="三、源代码地址">三、源代码地址
GitHub·地址https://github.com/cicadasmile/big-data-parentGitEE·地址https://gitee.com/cicadasmile/big-data-parent
推荐阅读：编程体系整理
序号项目名称GitHub地址GitEE地址推荐指数
01Java描述设计模式,算法,数据结构GitHub·点这里GitEE·点这里☆☆☆☆☆
02Java基础、并发、面向对象、Web开发GitHub·点这里GitEE·点这里☆☆☆☆
03SpringCloud微服务基础组件案例详解GitHub·点这里GitEE·点这里☆☆☆
04SpringCloud微服务架构实战综合案例GitHub·点这里GitEE·点这里☆☆☆☆☆
05SpringBoot框架基础应用入门到进阶GitHub·点这里GitEE·点这里☆☆☆☆
06SpringBoot框架整合开发常用中间件GitHub·点这里GitEE·点这里☆☆☆☆☆
07数据管理、分布式、架构设计基础案例GitHub·点这里GitEE·点这里☆☆☆☆☆
08大数据系列、存储、组件、计算等框架GitHub·点这里GitEE·点这里☆☆☆☆☆
原文转载：http://www.shaoqun.com/a/477684.html
新单：https://www.ikjzd.com/w/79
 
捷汇：https://www.ikjzd.com/w/419
 
stylenanda：https://www.ikjzd.com/w/1675.html
 
本文源码：GitHub·点这里||GitEE·点这里一、基础环境配置1、三台服务准备三台Centos7服务,基础环境从伪分布式环境克隆过来。133hop01，134hop02，136hop032、设置主机名##设置名称hostnamectlset-hostnamehop01##重启reboot-f3、主机名通信vim/etc/hosts#添加服务节点192.168.37.133
prime day：https://www.ikjzd.com/w/131.html
壹米滴答：https://www.ikjzd.com/w/2314
美国和德国：家居，宠物，户外，厨房，汽配，服饰：https://www.ikjzd.com/tl/107636
如何设置亚马逊广告关键词？：https://www.ikjzd.com/home/421
越来越多商家开始卖口罩，是风险还是机遇？：https://www.ikjzd.com/home/119040
发帖者 时间：

没有评论:

发表评论

订阅： 博文评论 (Atom)