windows 安装 hadoop3

老刘

Windows 安装 Hadoop 3 完整教程(小白一步步照着做)

很多人一听 Hadoop 就觉得只能装在 Linux 服务器上,其实 Windows 也能跑起来。虽然官方更推荐 Linux 环境,但想在自己电脑上练手、跑个伪分布式集群,Windows 完全够用。今天这篇就是专门针对 Windows 安装 Hadoop 3 的超详细教程,从零开始,一步一步带你搞定。就算你是电脑小白,只要耐心跟着做,基本都能装成功。

一、安装前先搞清楚这些事

Hadoop 3 对 Windows 的支持比以前好一些,但还是得注意几点:

  • 推荐系统:Windows 10 或 Windows 11(64位),内存至少 8GB,硬盘空闲 20GB 以上。
  • 运行模式:我们装的是伪分布式(单机模拟集群),方便学习。
  • 必须准备的软件:JDK 8 或 JDK 11(推荐 JDK 8)、Hadoop 3.3.x 版本、winutils 工具。
  • 权限问题:整个过程尽量用管理员身份运行命令提示符(CMD)或 PowerShell。

装好后你可以本地测试 HDFS、MapReduce、YARN,后面想上 Linux 生产环境也方便迁移。

二、第一步:安装并配置 JDK

Hadoop 跑不起来,十有八九是 Java 环境没搞好。

  1. 去 Oracle 官网或 Adoptium 下载 JDK 8(64位安装包)。
  2. 一路下一步安装,记住安装路径,比如 C:\Program Files\Java\jdk1.8.0_xxx
  3. 配置环境变量:
    • 右键“此电脑”→属性→高级系统设置→环境变量。
    • 新建系统变量 JAVA_HOME,值填 JDK 安装路径。
    • 在 Path 变量里新增两条:%JAVA_HOME%\bin%JAVA_HOME%\jre\bin
  4. 验证:打开 CMD,输入 java -versionjavac -version,能正常显示版本号就说明成功。

注意:路径里尽量不要有中文和空格,后面 Hadoop 配置会省心很多。

三、第二步:下载 Hadoop 3 和 winutils

  1. 打开 Apache Hadoop 官网,下载 Hadoop 3.3.6(二进制包,选 hadoop-3.3.6.tar.gz)。
  2. 用 7-Zip 或 WinRAR 解压到纯英文路径,比如 D:\hadoop-3.3.6。解压后文件夹里应该能看到 bin、etc、sbin 这些目录。
  3. winutils 是 Windows 专用工具,没有它 Hadoop 会报错。去 GitHub 搜索 “winutils hadoop” 找对应 3.3.6 版本的包,把里面的 bin 文件夹内容全部覆盖到你的 D:\hadoop-3.3.6\bin 目录下。一定要覆盖,别漏文件。

到这里文件准备完成,接下来开始正式配置。

四、第三步:配置系统环境变量

继续打开“环境变量”窗口:

  • 新建 HADOOP_HOME,值填 D:\hadoop-3.3.6(你的实际路径)。
  • 在 Path 里新增:%HADOOP_HOME%\bin%HADOOP_HOME%\sbin
  • 再新建一个 HADOOP_CONF_DIR,值填 %HADOOP_HOME%\etc\hadoop

配置完后,重新打开一个管理员 CMD,输入 hadoop version,能显示 Hadoop 3.3.6 版本信息就对了。

五、第四步:修改 Hadoop 核心配置文件

所有配置文件都在 D:\hadoop-3.3.6\etc\hadoop 目录下,用记事本或 VS Code 打开修改。记得备份原文件。

1. 修改 hadoop-env.cmd

找到 set JAVA_HOME= 这一行,改成:

set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_xxx

路径按你实际的改,如果路径有空格,用双引号包起来。

2. 修改 core-site.xml

<configuration> 标签里加上:

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/D:/hadoop-3.3.6/tmp</value>
</property>

先手动创建 D:\hadoop-3.3.6\tmp 文件夹。

3. 修改 hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/D:/hadoop-3.3.6/data/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/D:/hadoop-3.3.6/data/datanode</value>
</property>

同样提前建好 data\namenodedata\datanode 两个文件夹。

4. 修改 mapred-site.xml

如果没有这个文件,把 mapred-site.xml.template 复制一份改名。内容:

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

5. 修改 yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.env-whitelist</name>
  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

配置文件改完后,检查一遍有没有写错标签或路径。

六、第五步:格式化 HDFS 并启动服务

  1. 打开管理员 CMD,切换到 Hadoop 目录:
    cd /d D:\hadoop-3.3.6
  2. 格式化 NameNode(只做一次,重复会清空数据):
    hdfs namenode -format

    看到 “successfully formatted” 字样就成功了。

  3. 启动 HDFS:
    start-dfs.cmd
  4. 启动 YARN:
    start-yarn.cmd
  5. 检查进程:再开一个 CMD,输入 jps,正常情况下应该能看到 NameNode、DataNode、ResourceManager、NodeManager 这几个进程。

浏览器访问验证:

两个页面都能打开,说明 Windows 安装 Hadoop 3 基本成功。

七、常见报错和解决办法

  1. 找不到 winutils.exe
    确认 bin 目录下有 winutils.exe 和 hadoop.dll,环境变量 HADOOP_HOME 没设错。

  2. JAVA_HOME 错误
    hadoop-env.cmd 里路径写死,不要用 %JAVA_HOME%,直接写完整路径。

  3. 端口被占用
    9000、9870、8088 被其他程序占用时,改配置文件里的端口号,或者关掉占用程序。

  4. 权限不足
    全程用管理员身份运行 CMD,数据目录给当前用户完全控制权限。

  5. jps 命令找不到
    把 JDK 的 bin 目录加到 Path 里,重启 CMD。

八、装完后的小建议

  • 每次开机后需要手动执行 start-dfs.cmd 和 start-yarn.cmd,也可以写成批处理脚本放到启动项。
  • 测试一个简单的 WordCount 例子,确认 MapReduce 能正常跑。
  • 数据目录不要放系统盘,避免 C 盘爆满。
  • 如果只是学习,伪分布式足够;真要上生产,还是建议换 Linux 虚拟机或云服务器。
  • 定期备份 etc/hadoop 配置文件夹,重装系统时直接覆盖就行。

按照上面步骤,Windows 安装 Hadoop 3 其实没有想象中那么复杂。关键是路径干净、环境变量正确、配置文件别写错。装好后多跑几个官方例子,很快就能上手大数据的基本操作。

文章版权声明:文章内容均来源于各大短视频平台搜集以及修改和删减新增,如有侵权或者违规,请联系站长进行删除,如需转载或复制请以超链接形式并注明出处。

发表评论

快捷回复: 表情:
AddoilApplauseBadlaughBombCoffeeFabulousFacepalmFecesFrownHeyhaInsidiousKeepFightingNoProbPigHeadShockedSinistersmileSlapSocialSweatTolaughWatermelonWittyWowYeahYellowdog
验证码
评论列表 (暂无评论,2人围观)

还没有评论,来说两句吧...

目录[+]