mac OS hadoop伪分布安装教程

一、需要进行hadoop伪分布安装的本机环境

系统版本：MacOS Catalina 10.15.1

二、Java JDK 安装

java jdk 版本：1.8.0_211

链接: https://pan.baidu.com/s/1AI4rfQAkZlrvbC5JUkPYVg 

提取码: q945 

三、开通ssh

1、屏幕左上角-'苹果小图标'-'系统偏好设置'-'共享'

四、免密码登录

1、创建密钥匙

执行命令：ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

一路回车， 最终会在~/.ssh目录生成id_rsa和id_rsa.pub文件

2、将密钥放在ssh授权目录，目的是免除ssh登陆密码

执行命令：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3、常试ssh 登陆

执行命令：ssh localhost

五、hadoop下载

1、下载地址：http://hadoop.apache.org/releases.html，我们选择hadoop-3.2.1 版本

2、下载后文件为：hadoop-3.2.1.tar.gz

3、解压文件 生成 hadoop-3.2.1 目录

4、为方便管理，我们将hadoop 目录移至 /usr/local/hadoop 下

     执行命令 sudo mv /Users/jasongao/Documents/soft/hadoop-3.2.1 /usr/local/hadoop

六、伪分布模式配置

进入目录/usr/local/hadoop/etc/hadoop，对以下文件进行修改

1、打开hadoop-env.sh文件，增加JAVA的路径设置：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home

2、打开core-site.xml文件，将configuration节点改为如下内容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

4、打开mapred-site.xml文件，将configuration节点改为如下内容：

<configuration>
    <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
</configuration>

5、打开yarn-site.xml文件，将configuration节点改为如下内容：

<configuration>
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property>
    <property> 
        <name>yarn.nodemanager.env-whitelist</name>
                  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

6、在目录/usr/local/hadoop/bin执行以下命令，初始化hdfs：

执行命令：./hdfs namenode -format

七、启动hdfs

1、进入目录 /usr/local/hadoop/sbin，执行执行./start-dfs.sh启动hdfs： 

ps：有warning 提示，直接忽略

2. 本地浏览器访问地址：localhost:9870，可见正常UI页面

3、进入目录 /usr/local/hadoop/sbin，执行./start-yarn.sh启动yarn：

4、本地浏览器访问地址：localhost:8088 ，可见yarn的web页面如下图：

5、执行jps命令查看所有java进程，正常情况下可以见到以下进程：

     2161 NodeManager
     1825 SecondaryNameNode
     2065 ResourceManager
     1591 NameNode
     2234 Jps
     1691 DataNode

八、停止hadoop服务

1、进入目录 /usr/local/hadoop/sbin，执行./stop-all.sh即可关闭hadoop的所有服务