mac OS hadoop伪分布安装教程
一、需要进行hadoop伪分布安装的本机环境
系统版本:MacOS Catalina 10.15.1
二、Java JDK 安装
java jdk 版本:1.8.0_211
链接: https://pan.baidu.com/s/1AI4rfQAkZlrvbC5JUkPYVg
提取码: q945
三、开通ssh
1、屏幕左上角-'苹果小图标'-'系统偏好设置'-'共享'
四、免密码登录
1、创建密钥匙
执行命令:ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
一路回车, 最终会在~/.ssh目录生成id_rsa和id_rsa.pub文件
2、将密钥放在ssh授权目录,目的是免除ssh登陆密码
执行命令:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3、常试ssh 登陆
执行命令:ssh localhost
五、hadoop下载
1、下载地址:http://hadoop.apache.org/releases.html,我们选择hadoop-3.2.1 版本
2、下载后文件为:hadoop-3.2.1.tar.gz
3、解压文件 生成 hadoop-3.2.1 目录
4、为方便管理,我们将hadoop 目录移至 /usr/local/hadoop 下
执行命令 sudo mv /Users/jasongao/Documents/soft/hadoop-3.2.1 /usr/local/hadoop
六、伪分布模式配置
进入目录/usr/local/hadoop/etc/hadoop,对以下文件进行修改
1、打开hadoop-env.sh文件,增加JAVA的路径设置:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home
2、打开core-site.xml文件,将configuration节点改为如下内容:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4、打开mapred-site.xml文件,将configuration节点改为如下内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5、打开yarn-site.xml文件,将configuration节点改为如下内容:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
6、在目录/usr/local/hadoop/bin执行以下命令,初始化hdfs:
执行命令:./hdfs namenode -format
七、启动hdfs
1、进入目录 /usr/local/hadoop/sbin,执行执行./start-dfs.sh启动hdfs:
ps:有warning 提示,直接忽略
2. 本地浏览器访问地址:localhost:9870,可见正常UI页面
3、进入目录 /usr/local/hadoop/sbin,执行./start-yarn.sh启动yarn:
4、本地浏览器访问地址:localhost:8088 ,可见yarn的web页面如下图:
5、执行jps命令查看所有java进程,正常情况下可以见到以下进程:
2161 NodeManager
1825 SecondaryNameNode
2065 ResourceManager
1591 NameNode
2234 Jps
1691 DataNode
八、停止hadoop服务
1、进入目录 /usr/local/hadoop/sbin,执行./stop-all.sh即可关闭hadoop的所有服务
<a href="http://r4.com.cn/art146.aspx">mac OS hadoop伪分布安装教程</a>