CDH5.12.0 中扩容增加计算节点

标签（空格分隔）： 大数据平台构建

---

• 一： 环境准备
• 二： 增加节点环境系统初始化
• 三： 增加节点关于CDH5.12.0环境配置
• 四： 在CM 上面节点增加

---

一：环境的概述与准备

概述：很多时候，企业的大数据环境（CDH5.12.0），根据使用的时间越来越长，空间会有不足的情况，集群的计算 能力也因此下降， 此时需要对将大数据的 集群环境进行扩容 增加计算节点。

1.1 系统逻辑部署图

1.2 安装文件详细信息列表：

CM:cloudera-manager-centos7-cm5.12.0_x86_64.tar.gzJdk:    jdk-8u151-linux-x64.rpm

1.3 系统主机名

注意： 生产安装环境 IP 地址 尽量是连续的。届时host 文件按照具体IP 地址进行配置。

二： 增加节点系统初始化

2.1： jdk 配置

root 用户执行卸载内置的open-jdk版本：#rpm -e jdk-***.rpm 把有关jdk 的包都卸载掉# rpm -ivh jdk-8u151-linux-x64.rpm# java -version

2.2: 配置系统时间chrony时间同步服务器：

root用户执行命令：安装包：yum install -y chrony*echo "server 192.168.4.11  iburst" >> /etc/chrony.conf

启动chrony.service /bin/systemctl restart chronyd.service /bin/systemctl enable chronyd.service chronyc sources -v

2.3 同步到bios 时间

root用户执行命令hwclock --localtime -w

2.4 关闭firewalld iptables 和禁用selinux

关闭iptables systemctl stop firewalld.servicesystemctl disable firewalld.servicefirewall-cmd --state关闭iptables iptables -F systemctl stop iptables.service  service iptables save 禁用 selinuxsed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config  setenforce 0getenforce 0sestatus重启机器reboot

2.5 修改文件系统的最大连接数：

以root用户执行：vim /etc/security/limits.conf在最后加上：*               soft    nofile          32728*               hard    nofile          1029345*               soft    nproc           unlimited*               hard    nproc           unlimited*               soft    memlock         unlimited*               hard    memlock         unlimited

2.6 配置新增节点服务器的无密钥认证登录

做root用户无密钥认证 ssh-keygen ---一直敲回车到最后 cat id_rsa.pub >> authorized_keys  将所有节点的公钥导入authorized_keys  分发到 所有的 机器的.ssh/ 下面 chmod 600 .ssh/authorized_keys 然后进行无密钥登录认证测试

三： 增加节点关于CDH5.12.0环境配置

3.1： 安装CDH5.12.0 组建所依赖的包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

3.2: 创建CM 的安装目录

root 用户执行命名：mkdir /opt/cloudera-manager上传已经下载好的CM 5.12.0软件cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz去哪里下载：http://archive.cloudera.com/cm5/cm/5/

3.3 解压CM包到/opt/cloudera-manager

以root用户执行命令：tar -zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz -C /opt/cloudera-manager

3.4 修改agent 的配置文件config.ini

以root用户执行命令：cd /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agentvim config.iniserver_host=NN01.sge.com.cn

3.5 创建cloudera-scm 用户用作安装

useradd --system --home=/opt/cloudera-manager/cm-5.12.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3.6 提升cloudera-scm 的权限：

vim /etc/sudoers在root 权限下面 增加 一行：cloudera-scm    ALL=(ALL)       ALL

3.7 新建新增节点的目录

以root用户执行下面的命令：mkdir -p /opt/cloudera/parcelschown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/新建目录: mkdir -p /var/lib/cloudera-scm-servermkdir -p /var/lib/cloudera-scm-agentchown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server/chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-agent/

3.8 启动新增DN03的agent端

启动CM-server的agent 端cd /opt/cloudera-manager/cm-5.12.0/etc/init.d./cloudera-scm-agent start

以root 用户执行命令echo "10" > /proc/sys/vm/swappinessecho never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/enabled

vim /etc/rc.local

四：在CM 上面节点增加计算节点

4.1 增加一个主机的模板

创建一个新的主机简单的模板：只有hadoop 的组建 hdfs 的 DataNode 与 yarn 的NodeManager

后期如果需要增加角色可以等计算节点已经增加到该 CDH集群当中，在进行分配处理。

4.2 开始向CDH5.12.0集群中增加主机

next

next

Next： 开始向该增加主机分发 parcel 一直到分发完成。

Next：

Next： 选择一开始创建的主机角色模板

查看新增主机的角色：主机--> 角色：

至此在CDH5.12.0 上面增加计算节点完成。