Windows 安装 Hadoop 3 完整教程(小白一步步照着做)
很多人一听 Hadoop 就觉得只能装在 Linux 服务器上,其实 Windows 也能跑起来。虽然官方更推荐 Linux 环境,但想在自己电脑上练手、跑个伪分布式集群,Windows 完全够用。今天这篇就是专门针对 Windows 安装 Hadoop 3 的超详细教程,从零开始,一步一步带你搞定。就算你是电脑小白,只要耐心跟着做,基本都能装成功。
一、安装前先搞清楚这些事
Hadoop 3 对 Windows 的支持比以前好一些,但还是得注意几点:
- 推荐系统:Windows 10 或 Windows 11(64位),内存至少 8GB,硬盘空闲 20GB 以上。
- 运行模式:我们装的是伪分布式(单机模拟集群),方便学习。
- 必须准备的软件:JDK 8 或 JDK 11(推荐 JDK 8)、Hadoop 3.3.x 版本、winutils 工具。
- 权限问题:整个过程尽量用管理员身份运行命令提示符(CMD)或 PowerShell。
装好后你可以本地测试 HDFS、MapReduce、YARN,后面想上 Linux 生产环境也方便迁移。
二、第一步:安装并配置 JDK
Hadoop 跑不起来,十有八九是 Java 环境没搞好。
- 去 Oracle 官网或 Adoptium 下载 JDK 8(64位安装包)。
- 一路下一步安装,记住安装路径,比如
C:\Program Files\Java\jdk1.8.0_xxx。 - 配置环境变量:
- 右键“此电脑”→属性→高级系统设置→环境变量。
- 新建系统变量
JAVA_HOME,值填 JDK 安装路径。 - 在 Path 变量里新增两条:
%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin。
- 验证:打开 CMD,输入
java -version和javac -version,能正常显示版本号就说明成功。
注意:路径里尽量不要有中文和空格,后面 Hadoop 配置会省心很多。
三、第二步:下载 Hadoop 3 和 winutils
- 打开 Apache Hadoop 官网,下载 Hadoop 3.3.6(二进制包,选
hadoop-3.3.6.tar.gz)。 - 用 7-Zip 或 WinRAR 解压到纯英文路径,比如
D:\hadoop-3.3.6。解压后文件夹里应该能看到 bin、etc、sbin 这些目录。 - winutils 是 Windows 专用工具,没有它 Hadoop 会报错。去 GitHub 搜索 “winutils hadoop” 找对应 3.3.6 版本的包,把里面的
bin文件夹内容全部覆盖到你的D:\hadoop-3.3.6\bin目录下。一定要覆盖,别漏文件。
到这里文件准备完成,接下来开始正式配置。
四、第三步:配置系统环境变量
继续打开“环境变量”窗口:
- 新建
HADOOP_HOME,值填D:\hadoop-3.3.6(你的实际路径)。 - 在 Path 里新增:
%HADOOP_HOME%\bin和%HADOOP_HOME%\sbin。 - 再新建一个
HADOOP_CONF_DIR,值填%HADOOP_HOME%\etc\hadoop。
配置完后,重新打开一个管理员 CMD,输入 hadoop version,能显示 Hadoop 3.3.6 版本信息就对了。
五、第四步:修改 Hadoop 核心配置文件
所有配置文件都在 D:\hadoop-3.3.6\etc\hadoop 目录下,用记事本或 VS Code 打开修改。记得备份原文件。
1. 修改 hadoop-env.cmd
找到 set JAVA_HOME= 这一行,改成:
set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_xxx
路径按你实际的改,如果路径有空格,用双引号包起来。
2. 修改 core-site.xml
在 <configuration> 标签里加上:
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/hadoop-3.3.6/tmp</value>
</property>
先手动创建 D:\hadoop-3.3.6\tmp 文件夹。
3. 修改 hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop-3.3.6/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop-3.3.6/data/datanode</value>
</property>
同样提前建好 data\namenode 和 data\datanode 两个文件夹。
4. 修改 mapred-site.xml
如果没有这个文件,把 mapred-site.xml.template 复制一份改名。内容:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5. 修改 yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
配置文件改完后,检查一遍有没有写错标签或路径。
六、第五步:格式化 HDFS 并启动服务
- 打开管理员 CMD,切换到 Hadoop 目录:
cd /d D:\hadoop-3.3.6 - 格式化 NameNode(只做一次,重复会清空数据):
hdfs namenode -format看到 “successfully formatted” 字样就成功了。
- 启动 HDFS:
start-dfs.cmd - 启动 YARN:
start-yarn.cmd - 检查进程:再开一个 CMD,输入
jps,正常情况下应该能看到 NameNode、DataNode、ResourceManager、NodeManager 这几个进程。
浏览器访问验证:
- HDFS:http://localhost:9870
- YARN:http://localhost:8088
两个页面都能打开,说明 Windows 安装 Hadoop 3 基本成功。
七、常见报错和解决办法
-
找不到 winutils.exe
确认 bin 目录下有 winutils.exe 和 hadoop.dll,环境变量 HADOOP_HOME 没设错。 -
JAVA_HOME 错误
hadoop-env.cmd 里路径写死,不要用%JAVA_HOME%,直接写完整路径。 -
端口被占用
9000、9870、8088 被其他程序占用时,改配置文件里的端口号,或者关掉占用程序。 -
权限不足
全程用管理员身份运行 CMD,数据目录给当前用户完全控制权限。 -
jps 命令找不到
把 JDK 的 bin 目录加到 Path 里,重启 CMD。
八、装完后的小建议
- 每次开机后需要手动执行 start-dfs.cmd 和 start-yarn.cmd,也可以写成批处理脚本放到启动项。
- 测试一个简单的 WordCount 例子,确认 MapReduce 能正常跑。
- 数据目录不要放系统盘,避免 C 盘爆满。
- 如果只是学习,伪分布式足够;真要上生产,还是建议换 Linux 虚拟机或云服务器。
- 定期备份 etc/hadoop 配置文件夹,重装系统时直接覆盖就行。
按照上面步骤,Windows 安装 Hadoop 3 其实没有想象中那么复杂。关键是路径干净、环境变量正确、配置文件别写错。装好后多跑几个官方例子,很快就能上手大数据的基本操作。

还没有评论,来说两句吧...