当前位置:首页 - Hadoop

mac OS hadoop伪分布安装教程

作者:高景洋 日期:2020-10-23 11:55:01 浏览次数:1758

一、需要进行hadoop伪分布安装的本机环境

系统版本:MacOS Catalina 10.15.1


二、Java JDK 安装

java jdk 版本:1.8.0_211

链接: https://pan.baidu.com/s/1AI4rfQAkZlrvbC5JUkPYVg 

提取码: q945 


三、开通ssh

1、屏幕左上角-'苹果小图标'-'系统偏好设置'-'共享'


四、免密码登录

1、创建密钥匙

执行命令:ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

一路回车, 最终会在~/.ssh目录生成id_rsa和id_rsa.pub文件

2、将密钥放在ssh授权目录,目的是免除ssh登陆密码

执行命令:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3、常试ssh 登陆

执行命令:ssh localhost


五、hadoop下载

1、下载地址:http://hadoop.apache.org/releases.html,我们选择hadoop-3.2.1 版本

2、下载后文件为:hadoop-3.2.1.tar.gz

3、解压文件 生成 hadoop-3.2.1 目录

4、为方便管理,我们将hadoop 目录移至 /usr/local/hadoop 下

     执行命令 sudo mv /Users/jasongao/Documents/soft/hadoop-3.2.1 /usr/local/hadoop


六、伪分布模式配置

进入目录/usr/local/hadoop/etc/hadoop,对以下文件进行修改


1、打开hadoop-env.sh文件,增加JAVA的路径设置:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home


2、打开core-site.xml文件,将configuration节点改为如下内容:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>


3、打开hdfs-site.xml文件,将configuration节点改为如下内容:


<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

4、打开mapred-site.xml文件,将configuration节点改为如下内容:

<configuration>
    <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
</configuration>

5、打开yarn-site.xml文件,将configuration节点改为如下内容:

<configuration>
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property>
    <property> 
        <name>yarn.nodemanager.env-whitelist</name>
                  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

6、在目录/usr/local/hadoop/bin执行以下命令,初始化hdfs:

执行命令:./hdfs namenode -format


七、启动hdfs

1、进入目录 /usr/local/hadoop/sbin,执行执行./start-dfs.sh启动hdfs: 

ps:有warning 提示,直接忽略

2. 本地浏览器访问地址:localhost:9870,可见正常UI页面

3、进入目录 /usr/local/hadoop/sbin,执行./start-yarn.sh启动yarn:

4、本地浏览器访问地址:localhost:8088 ,可见yarn的web页面如下图:

5、执行jps命令查看所有java进程,正常情况下可以见到以下进程:

     2161 NodeManager
     1825 SecondaryNameNode
     2065 ResourceManager
     1591 NameNode
     2234 Jps
     1691 DataNode

八、停止hadoop服务

1、进入目录 /usr/local/hadoop/sbin,执行./stop-all.sh即可关闭hadoop的所有服务


本文永久性链接:
<a href="http://r4.com.cn/art146.aspx">mac OS hadoop伪分布安装教程</a>
当前header:Host: r4.com.cn X-Host1: r4.com.cn X-Host2: r4.com.cn X-Host3: 127.0.0.1:8080 X-Forwarded-For: 18.97.9.175 X-Real-Ip: 18.97.9.175 X-Domain: r4.com.cn X-Request: GET /art146.aspx HTTP/1.1 X-Request-Uri: /art146.aspx Connection: close User-Agent: CCBot/2.0 (https://commoncrawl.org/faq/) Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: en-US,en;q=0.5 If-Modified-Since: Sun, 26 May 2024 07:54:09 GMT Accept-Encoding: br,gzip