Hadoop集群搭建配置教程

当Hadoop采用分布式模式部署和运行时，存储采用分布式文件系统HDFS，而且，HDFS的名称节点和数据节点位于不同机器上。这时，数据就可以分布到多个节点上，不同数据节点上的数据计算可以并行执行，这时的MapReduce分布式计算能力才能真正发挥作用。

我们使用三个虚拟机节点来搭建集群环境：

分别在上述的节点上修改hosts文件，增加IP和主机名的映射关系：

另外， 集群运行需要  运行环境，所以，在各个节点上需要安装 ！

注意：以下步骤均在hadoop1节点上进行操作，特殊说明除外！

hadoop官网下载：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

将下载好的  上传到  虚拟机节点  目录下。

注意：需要把所有数据节点的主机名写入该文件，每行一个，默认为（即把本机作为数据节点），所以，在伪分布式配置时，就采用了这种默认的配置，使得节点既作为名称节点也作为数据节点。在进行分布式配置时，可以保留，让节点同时充当名称节点和数据节点，或者也可以删掉这行，让节点仅作为名称节点使用。

的值还是设置为 , 也就是说，一份数据保存三份副本，的分布式文件系统一般都是采用冗余存储。

首次启动集群时，需要先在节点执行名称节点的格式化（只需要执行这一次，后面再启动时，不要再次格式化名称节点）

需要在节点上进行

通过命令可以查看各个节点所启动的进程。如果已经正确启动，则在节点上可以看到、、和以及和进程
在其他两个节点可以看到和进程，在节点上还可以看到进程
缺少任一进程都表示出错。

在执行过程中，可以在系统中打开浏览器，在地址栏输入，通过界面查看任务进度，在界面点击  这一列的连接，可以看到任务的运行信息。

关闭集群，需要在节点执行如下命令：

至此，就顺利完成了Hadoop集群搭建。