有些用户想要在自己的win10电脑中安装并配置好Hadoop,但是不知道具体的操作方法是什么,今天小编就给大家带来win10安装hadoop的方法,如果你刚好遇到这个问题,跟着小编一起来操作吧。
方法如下:
1、安装JAVA环境
下载JDK8,
选择64版本:jdk-8u241-windows-x64.exe
下载过程会提示注册oracle账号,请注册,如果是已有oracle账号的可以直接登录,紧接着下载、安装、配置环境变量。
如果JDK安装路径是C:\Program Files\Java,因为Program Files目录有空格,把这个路径配到环境变量Path会报错,填写环境变量时请使用PROGRA~1代替Program Files。
2、下载hadoop
下载hadoop,镜像链接:Index of /apache/hadoop/common
注意:请不要下载最新版本,建议下载 hadoop-3.1.3.tar.gz (大小约322M)或者更低的版本。解压到C:\hadoop,路径可以随意,但不要有中文或空格。
下载winutils,Windows安装hadoop需要这部分文件,链接:steveloughran/winutils ,找到3.0版本,或者cdarlint/winutils 找到 3.2.0,下载bin目录的文件,放入/替换 C:\hadoop\bin 文件夹内的文件,特别是要放入hadoop.dll和winutils.exe文件,并复制一份hadoop.dll放到C:\Windows\System32下。
配置hadoop环境变量,把C:\hadoop添加到HADOOP_HOME。并在Path添加 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin 。
打开CMD,输入hadoop version 测试是否正常显示版本信息。
3、配置hadoop
切换至目录:C:\hadoop\hadoop-3.1.3\etc\hadoop 下,
修改core-site.xml:
需在目录C:/hadoop/hadoop-3.1.3/下创建data文件夹,配置文件中路径前需加“/”。HDFS可使用localhost,如果在hosts文件已经配置了主机映射,也可以直接填主机名。
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_241修改hdfs-site.xml
单节点填1即可,如果是多节点,根据节点数量填写。
4、节点格式化
打开cmd执行:
hdfs namenode -format如正常,会显示namenode has been successfully formatted。如果出错,可能原因有如:环境变量配置错误如路径出现空格,或者winutils版本不对hadoop版本过高等,或hadoop的etc下文件配置有误。
5、启动Hadoop
切换到C:\hadoop\sbin目录下(如果有正常配置环境变量是不需要切换目录的),执行命令:
start-all.cmd启动Hadoop,此时会弹出4个CMD窗口,分别是NameNode、ResourceManager、NodeManager、DataNode。检查4个窗口有没有报错。在CMD执行jps看到这4个进程。
6、登录WEB验证
建议关闭防火墙。
在浏览器输入‘http://your_host_name_or_localhost:8088/’访问集群节点。
在浏览器输入‘http://your_host_name_or_localhost:9870/’访问HDFS。
以上就是win10安装hadoop的方法的全部内容,有遇到相同问题的用户可参考本文中介绍的步骤来进行修复,希望能够对大家有所帮助。
相关教程
2023-06-14
2023-05-29
2024-01-06
2023-04-17
2023-05-16
2023-05-25
2023-06-26
2023-07-07
2023-07-18
2023-09-08
2023-07-30
2023-04-12
2024-11-05
2024-11-05
2024-11-05