搬瓦工中文网
一、java环境搭建
（1）下载jdk并解压（当前操作系统为ubuntu16.04，jdk版本为jdk-8u111-linux-x64.tar.gz）
新建/usr/java目录，切换到jdk-8u111-linux-x64.tar.gz所在目录，将这个文件解压缩到/usr/java目录下。
?
| 1 | tar -zxvf jdk-8u101-linux-x64. tar .gz -c /usr/java/ |
（2）设置环境变量
修改.bashrc，在最后一行写入下列内容。
?
| 1 | sudo vim ~/.bashrc |
?
| 1 2 3 | export java_home= /usr/java/jdk1 .8.0_111 export classpath=.:$java_home /lib/dt .jar:$java_home /lib/tools .jar export path=$java_home /bin :$path |
运行如下命令使环境变量生效。
?
| 1 | source ~/.bashrc |
打开profile文件，插入java环境配置节。
?
| 1 | sudo vim /etc/profile |
?
| 1 2 3 4 5 | export java_home= /usr/java/jdk1 .8.0_111 export java_bin=$java_home /bin export java_lib=$java_home /lib export classpath=.:$java_lib /tools .jar:$java_lib /dt .jar export path=$java_home /bin :$path |
打开environment 文件，追加jdk目录和jdk下的lib的目录，如下所示。
?
| 1 | sudo vim /etc/environment |
复制代码 代码如下:
path=”/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_111/lib:/usr/java/jdk1.8.0_111″
使配置生效
?
| 1 | source /etc/environment |
验证java环境是否配置成功
?
| 1 | java -version |
二、安装ssh-server并实现免密码登录
（1）下载ssh-server
?
| 1 | sudo apt-get install openssh-server |
（2）启动ssh
?
| 1 | sudo /etc/init .d /ssh start |
（3）查看ssh服务是否启动，如果有显示相关ssh字样则表示成功。
?
| 1 | ps -ef| grep ssh |
（4）设置免密码登录
使用如下命令，一直回车，直到生成了rsa。
?
| 1 | ssh -keygen -t rsa |
导入authorized_keys
?
| 1 | cat ~/. ssh /id_rsa .pub >> ~/. ssh /authorized_keys |
测试是否免密码登录localhost
?
| 1 | ssh localhost |
关闭防火墙
?
| 1 | ufw disable |
三、安装hadoop单机模式和伪分布模式。
（1）下载hadoop-2.7.3.tar.gz，解压到/usr/local（单机模式搭建）。
?
| 1 | sudo tar zxvf hadoop-2.7.3. tar .gz -c /usr/local |
切换到/usr/local下，将hadoop-2.7.3重命名为hadoop，并给/usr/local/hadoop设置访问权限。
?
| 1 2 3 | cd /usr/local sudo mv hadoop-2.7.3 hadoop sudo chmod 777 /usr/local/hadoop |
（2）配置.bashrc文件
?
| 1 | sudo vim ~/.bashrc |
（如果没有安装vim，请用 sudo apt install vim 安装。）
在文件末尾追加下面内容，然后保存。
?
| 1 2 3 4 5 6 7 8 9 10 11 12 | #hadoop variables start export java_home= /usr/java/jdk1 .8.0_111 export hadoop_install= /usr/local/hadoop export path=$path:$hadoop_install /bin export path=$path:$hadoop_install /sbin export hadoop_mapred_home=$hadoop_install export hadoop_common_home=$hadoop_install export hadoop_hdfs_home=$hadoop_install export yarn_home=$hadoop_install export hadoop_common_lib_native_dir=$hadoop_install /lib/native export hadoop_opts= "-djava.library.path=$hadoop_install/lib" #hadoop variables end |
执行下面命令，使添加的环境变量生效：
?
| 1 | source ~/.bashrc |
（3）hadoop配置 (伪分布模式搭建)
配置hadoop-env.sh
?
| 1 | sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env .sh |
?
| 1 2 3 4 | # the java implementation to use. export java_home= /usr/java/jdk1 .8.0_111 export hadoop= /usr/local/hadoop export path=$path: /usr/local/hadoop/bin |
配置yarn-env.sh
?
| 1 | sudo vim /usr/local/hadoop/etc/hadoop/yarn-env .sh |
?
| 1 2 | # export java_home=/home/y/libexec/jdk1.6.0/ java_home= /usr/java/jdk1 .8.0_111 |
配置core-site.xml，在home目录下创建 /home/lyh/hadoop_tmp目录，然后在core-site.xml中添加下列内容。
?
| 1 | sudo mkdir /home/lyh/hadoop_tmp |
?
| 1 | sudo vim /usr/local/hadoop/etc/hadoop/core-site .xml |
?
| 1 2 3 4 5 6 7 8 9 10 11 12 | < configuration > <!-- 指定hdfs老大（namenode）的通信地址 --> < property > < name >fs.defaultfs</ name > < value >hdfs://localhost:9000</ value > </ property > <!-- 指定hadoop运行时产生文件的存储目录 --> < property > < name >hadoop.tmp.dir</ name > < value >/home/lyh/hadoop_tmp</ value > </ property > </ configuration > |
配置hdfs-site.xml
?
| 1 | sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site .xml |
?
| 1 2 3 4 5 6 7 | < configuration > <!-- 指定hdfs副本的数量 --> < property > < name >dfs.replication</ name > < value >1</ value > </ property > </ configuration > |
配置yarn-site.xml
?
| 1 | sudo vim /usr/local/hadoop/etc/hadoop/yarn-site .xml |
?
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | < configuration > <!-- site specific yarn configuration properties --> < property > < name >yarn.nodemanager.aux-services</ name > < value >mapreduce_shuffle</ value > </ property > < property > < name >yarn.nodemanager.aux-services.mapreduce.shuffle.class</ name > < value >org.apache.hadoop.mapred.shufflehandler</ value > </ property > < property > < name >yarn.resourcemanager.address</ name > < value >127.0.0.1:8032</ value > </ property > < property > < name >yarn.resourcemanager.scheduler.address</ name > < value >127.0.0.1:8030</ value > </ property > < property > < name >yarn.resourcemanager.resource-tracker.address</ name > < value >127.0.0.1:8031</ value > </ property > </ configuration > |
（4）关机重启系统。
四、测试hadoop是否安装并配置成功。
（1）验证hadoop单机模式安装完成
?
| 1 | hadoop version |
能够显示hadoop的版本号即可说明单机模式已经配置完成。
（2）启动hdfs使用为分布模式。
格式化namenode
?
| 1 | hdfs namenode - format |
有 “……has been successfully formatted” 等字样出现即说明格式化成功。注意：每次格式化都会生成一个namenode对应的id，多次格式化之后，如果不改变datanode对应的id号，运行wordcount向input中上传文件时会失败。
启动hdfs
?
| 1 | start-all.sh |
显示进程
jps
在浏览器中输入http://localhost:50070/，出现如下页面
输入 http://localhost:8088/，出现如下页面
则说明伪分布安装配置成功了。
停止hdfs
?
| 1 | stop-all.sh |
五、运行wordcount
（1）启动hdfs。
?
| 1 | start-all.sh |
（2）查看hdfs底下包含的文件目录
?
| 1 | hadoop dfs - ls / |
如果是第一次运行hdfs，则什么都不会显示。
（3）在hdfs中创建一个文件目录input，将/usr/local/hadoop/readme.txt上传至input中。
?
| 1 2 | hdfs dfs - mkdir /input hadoop fs -put /usr/local/hadoop/readme .txt /input |
（4）执行以下命令运行wordcount，并将结果输出到output中。
复制代码 代码如下:
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
出现类似上图的页面说明wordcount运行成功。注意：请将图中红色线框中的内容替换为自己的hadoop-mapreduce-examples-2.7.3.jar文件的路径信息。
（5）执行成功后output 目录底下会生成两个文件 _success 成功标志的文件，里面没有内容。 一个是 part-r-00000 ，通过以下命令查看执行的结果，如下图。
?
| 1 | hadoop fs - cat /output/part-r-00000 |
附：hdfs常用命令
?
| 1 2 3 4 5 6 7 8 9 | hadoop fs - mkdir /tmp/input 在hdfs上新建文件夹 hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到hdfs的 /tmp/input 目录下 hadoop fs -get input1.txt /tmp/input/input1 .txt 把hdfs文件拉到本地 hadoop fs - ls /tmp/output 列出hdfs的某目录 hadoop fs - cat /tmp/ouput/output1 .txt 查看hdfs上的文件 hadoop fs -rmr /home/less/hadoop/tmp/output 删除hdfs上的目录 hadoop dfsadmin -report 查看hdfs状态，比如有哪些datanode，每个datanode的情况 hadoop dfsadmin -safemode leave 离开安全模式 hadoop dfsadmin -safemode enter 进入安全模式 |
