大数据教程（二）—— Hadoop集群坏境CentOS安装

• 大数据教程（一） Hadoop集群坏境搭建配置
• 大数据教程（二） Hadoop集群坏境CentOS安装
• 大数据教程（三） Hadoop集群分布式坏境搭建
• 大数据教程（四） Hadoop集群VSFTP和SecureCRT安装配置
• 大数据教程（五） Hadoop集群MYSQL的安装

前言

前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项，本篇我们主要来分析如何安装CentOS操作系统，以及一些基础的设置，闲言少叙，我们进入本篇的正题。

技术准备

VMware虚拟机、CentOS 6.8 64 bit

安装流程

因为我的笔记本是Window7操作系统，然后内存配置，只有8G，内存配置太低了，当然为了演示，我会将Hadoop集群中的主节点分配2GB内存，然后剩余的三个节点都是1GB配置。

所有的节点存储我都设置为50GB。

在安装操作系统之前，我们需要提前规划好操作系统的分区如何设置，我们知道，在Linux系统中，它的磁盘分区并不同于Windows系统，它是通过目录挂载的方式进行分区，简单点说的话就是将不同的系统内置目录进行分配到不同的逻辑分区中，然后我们在进行存储的时候只需要根据目录进行存放就可以了。

上面的这种分区方式是和Windows操作系统有区别的，当然在Linux操作系统中还存在磁盘格式的不同，比如一般常见的格式为：ext2，ext3，ext4等，我们当前最常用的就是ext3，关于每种格式的不同点和应用场景大家有兴趣的可以网上查阅，这里不再赘述。

那么我们来分析一下Linux系统中最常见的几种目录分区方式

• /boot 系统引导目录，用来存放与Linux系统启动相关的程序，比如启动引导装载程序等。建议大小200MB。
• /usr  存放系统中安装的应用程序，一般的数据都比较多，所以建议大于3GB。
• /var  用来存放Linux系统中经常变化的数据以及日志文件，建议大于1GB。
• /home 存放普通用户的数据，是普通用户的宿主目录，一般一个用户就会创建一个home目录，建议大小为剩下的空间。
• /  为Linux系统的根目录，所有的目录都挂在到这个目录下面，建议大小为大于5GB以上。
• /tmp 临时文件存放的地方，一般需要独立的分区，这样可以避免系统被塞满后系统的稳定性。建议大小为500MB以上。
• swap  这个是虚拟内存，一般建议为物理内存的1——2倍。

以上为我基于我们的50GB的存储空间做的一个规划，如果生产或者物理机大家可以根据需要成比例递增。

下面，咱们进去CentOS操作系统的详细安装过程。

1、首先需要在VMWare中创建一个新的计算机，然后指定CentOS的镜像路径和用户名和密码。

2、指定当前虚拟机操作系统的存储大小和内存大小。

3、点击完成VMware就进入了系统自动安装的过程中，然后等待完成安装就可以。

4、至此，我们已经成功的安装上了CentOS操作系统，然后安装的过程中顺便创建了一个新用户Hadoop，这个账户就是我们后面安装Hadoop集群环境所使用的账号。

5、我们登陆到CentOS操作系统，然后进入系统的首先要做的事情就是：改计算机名！改计算机名！改计算机名！。

打开终端输入界面，然后根据角色更改当前计算机的名称。打开终端的方式是在右键——>Open In Terminal

• 输入su命令，切换至root超级用户，然后利用vim 命令编辑/etc/sysconfig/network文件。

• 然后编辑文件中的HOSTNAME，设置为我们提前规划好的Master.Hadoop

• 然后保存该文件，重启计算机。

• 重启计算机，查看设置是否生效。

至此，你的计算机名称更改完毕！

6、在修改完成计算机名之后，我们需要做的就是设置固定IP,然后配置Host文件。

当然，这里有几个知识点需要跟大家讲解一下，就是关于网络的配置，其实在VMware虚拟机中存在几种网络模式：

其实，这里最常用的就是第二种模式：NAT模式（N）:用于共享主机的IP地址，但是，这里我需要跟大家讲解的是，其实在我们的生产环境中，每一台虚拟机都是需要独立配置IP的，为了最大限度的避免因为宿主机的网络带来的问题，在Hadoop集群中我们选择第一种模式：桥接模式（B）:直接连接物理网络。啥意思呢？意思就是很简单，虽然你现在用的是虚拟机，但是把它当成物理机一样，也给插上网线，连接到本地的网络中去。

当然，如果选择这种方式的前提是要保证你的局域网的网段和之前咱们规划的IP是一致的，必须都是192.168.1.* 这种网段，这样的目的很简单就是宿主机和我们的虚拟机能够直接通信，那就意味这主机能联网，我们的虚拟机就能联网。

然后，我们进入我们的虚拟机进行固定IP的设置。

我们利用界面进行设置，毕竟这种方式比较简单易操作：

然后，根据我们之前的系统规划，将我们的IP设置上，这里有一个选项一定要勾选上：Available to all users.我之前搭建集群的时候就因为这一个选择折腾了我一天的时间！！这都是坑哈…记住了！！！勾上！！

然后，就是验证我们当前虚拟机是否能上网，IP是否能成功配置。

然后，确保能上网，毕竟咱们需要下载很多安装包。

应该明白上面我输入的含义吧、这货是最常用的命令。

最后一定要记得修改我们的hosts文件，当然了在生产集群中一般都会有自己的DNS服务器，但是这里我们条件有限，就手动的配置下Host文件得了。

切换至root超级管理员账户，然后修改host文件，执行以下命令：

vim /etc/hosts

保存文件，然后重启一下服务器。至此，关于服务器的网络我们已经配置完成了。

7、上面我们完成了CentOS的基础配置，确保了计算机能够联网，下面我们就需要下载Hadoop安装包，然后进入Hadoop集群的搭建工作。

首先，我们需要下载安装Hadoop集群环境中需要的Jdk包，因为Java编写的嘛，然后下载Hadoop安装包，所以我们切换到CentOS的Downloads目录下：

cd /home/hadoop/Downloads

然后，下载我们所需要的安装包，到这个目录下：

cd /home/hadoop/Downloads/

我们找到相关的版本的java JDK和Hadoop版本包，这里我们选择Hadoop 最新的安装包，记住下载安装包的时候一定要上Hadoop官网上下载，能避免很多不必要的麻烦。

CentOS中下载脚本如下：

wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

wget http://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz

tar -zxvf jdk-8u101-linux-x64.tar.gz

mkdir /usr/java

chown hadoop:hadoop /usr/java/

vim /etc/profile

# set java environment
export JAVA_HOME=/usr/java/jdk1.8.0_73
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

[root@Master Downloads]# cp -r jdk1.8.0_73 /usr/java/
[root@Master Downloads]# java -version

--解压Hadoop安装包
tar -zxvf hadoop-2.6.4.tar.gz 
--/usr目录下，创建hadoop目录
mkdir /usr/hadoop
--拷贝解压后的hadoop安装包
cp -r hadoop-2.6.4 /usr/hadoop
--赋权给Hadoop用户
chown hadoop:hadoop /usr/hadoop/

cd /usr/hadoop/hadoop-2.6.4/

vim etc/hadoop/core-site.xml

<configuration>
<!-- HDFS file path -->
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://192.168.1.50:9000</value>
 </property>

 <property>
 <name>io.file.buffer.size</name>
 <value>131072</value>
 </property>

 <property>
 <name>hadoop.tmp.dir</name>
 <value>file:/usr/hadoop/hadoop-2.6.4/tmp</value>
 <description>Abasefor other temporary directories.</description>
 </property>
 <property>
</configuration>

mkdir tmp

vim etc/hadoop/hdfs-site.xml

<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>192.168.1.50:9001</value>
 </property>

 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/usr/hadoop/hadoop-2.6.4/dfs/name</value>
 </property>

 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/usr/hadoop/hadoop-2.6.4/dfs/data</value>
 </property>

 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>

 <property>
 <name>dfs.webhdfs.enabled</name>
 <value>true</value>
 </property>

mkdir dfs
mkdir dfs/name
mkdir dfs/data

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

vim etc/hadoop/mapred-site.xml

<configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
 <property>
 <name>mapreduce.jobhistory.address</name>
 <value>192.168.1.50:10020</value>
 </property>
 <property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>192.168.1.50:19888</value>
 </property>
</configuration>

vim etc/hadoop/yarn-site.xml

<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
 <name>yarn.resourcemanager.address</name>
 <value>192.168.1.50:8032</value>
 </property>
 <property>
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>192.168.1.50:8030</value>
 </property>
 <property>
 <name>yarn.resourcemanager.resource-tracker.address</name>
 <value>192.168.1.50:8035</value>
 </property>
 <property>
 <name>yarn.resourcemanager.admin.address</name>
 <value>192.168.1.50:8033</value>
 </property>
 <property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>192.168.1.50:8088</value>
 </property>

 export JAVA_HOME=/usr/java/jdk1.8.0_73

vim etc/hadoop/hadoop-env.sh

chown -R hadoop:hadoop /usr/hadoop/hadoop-2.6.4/

bin/hadoop namenode -format

 sbin/start-dfs.sh

bin/hadoop dfsadmin -report

sbin/start-yarn.sh