2023年7月4日发(作者：)

实 验 报 告

（与程序设计有关）

课程名称： 云计算技术提高

实验题目： Hadoop 搭建

Xx xx：

x x: xx

x x：

xxxx

2021年 5 月 21 日

实验目的及要求：

开源分布式计算架构Hadoop的搭建

软硬件环境：

Vmware 一台计算机

算法或原理分析（实验内容）：

Hadoop是Apache基金会旗下一个开源的分布式存储和分析计算平台，使用Java语言开发，具有很好的跨平台性，可以运行在商用（廉价）硬件上，用户无需了解分布式底层细节，就可以开发分布式程序，充分使用集群的高速计算和存储。

Hadoop由分布式文件系统HDFS、MapReduce系统、YARN作业调度和资源管理框架以及Hadoop Common通用组件模块组成。

一．Hadoop集群的搭建过程：

（1）环境设置：三台 VirtualBox上的Linux虚机，每台硬盘20G，内存768M。

配置相应IP与主机名，配置hosts文件填写主机和其他节点的IP映射。关闭防火墙并设置时间同步。并建立ssh无密码访问。

（2）JDK安装：下载JDK、配置环境变量

（3）Hadoop的安装：安装并配置环境变量、配置hadoop的配置文件，需要配置的有、、、、、、slaves。

二．Hadoop集群的测试过程：

（1）测试hadoop集群启动情况

（2）测试hadoop集群的文件系统

（3）测试hadoop自带统计单词案例

程序代码或实现过程：

一．环境配置

1.配置各个虚拟机的IP和主机名

通过vi /etc/sysconfig/network-scripts/ifcfg-eth0 进入IP配置文件

配置主机IP和网关,如master 192.168.190.130;slave1

192.168.190.131;slave2 192.168.190.131

2.配置hosts

通过vi /etc/hosts进入文件配置ip映射，填写192.168.190.130 master等slave主机的映射信息。其他主机也要配置，可以通过scp将配置后的文件发生给slave结点。

3.关闭防火墙并设置时间同步

通过命令firewall-cmd–state查看防火墙运行状态；利用systemctl stop

e关闭防火墙；最后使用systemctl disable e禁止自启。利用yum install ntp下载相关组件，利用date命令测试

4.建立ssh无密码访问

二．JDK安装

1.下载JDK

利用yum list java-1.8*查看镜像列表；并利用yum install java-1.8.0-openjdk*

-y安装

2.配置环境变量

利用vi /etc/profile文件配置环境，设置相应的JAVA_HOME、JRE_HOME、PATH、CLASSPATH的绝对路径。退出后，使用source /etc/profile使环境变量生效。利用java -version可以测试安装是否成功。

三．Hadoop的安装

1.安装并配置环境变量

进入官网进行下载hadoop-2.7.5, 将压缩包在/usr目录下解压利用tar -zxvf

命令。同样进入 vi /etc/profile 文件，设置相应的HADOOP_HOME、PATH在hadoop相应的绝对路径。

2.配置hadoop的配置文件

需要配置的有、、、、、、slaves。在和文件下需要修改的是jdk的路径，修改为绝对路径。在文件下配置默认FS和tem文件的位置。Slaves文件中写入三个主机名。

四．测试

1.格式化主结点上的namenode

利用命令./bin/hdfs namenode -format

2.启动hadoop

利用命令./sbin/

3.测试hadoop集群

首先利用jsp命令查看各个结点的进程。是否在主结点出现SecondaryNameNode、ResourceManger、NameNode、DateNode，是否在子结点出现DateNode和NodeManager。其次是否能进入网页192.168.190.130:50070

4.测试hadoop集群的文件系统

创建文件夹利用命令hdfs dfs -mkdir /inputdata_w；上传txt文件利用hdfs dfs

-put /home/data/ /inputdata_w 将本地的文件上传到服务器的文件夹下。

5.测试hadoop自带统计单词案例

利用hadoop jar wordcount

/inputdata_w/out/wordcountout01后面一个是数据来源文件，另一个是结果输出文件。最后查看输出文件的内容来检验结果 hdfs dfs -cat

/output/wordcountout01/part-r-0000

结果分析：

xx

双面打印

日 期