Windows系统下Hadoop安装全流程指南

准备工作与环境配置

在Windows系统上安装Hadoop前，需要做好以下准备工作：

系统要求检查：
- 确保Windows版本为Windows 10或Windows 11（64位系统）
- 至少8GB内存（推荐16GB以上）
- 50GB可用磁盘空间
- 管理员权限账户
必备软件下载：
- Java JDK 8（Hadoop 3.x兼容版本）
- Hadoop最新稳定版（本文以3.3.4为例）
- Winutils工具包（Hadoop在Windows下的必要组件）
环境变量配置：
- 安装Java后，需要设置JAVA_HOME环境变量
- 将Java和Hadoop的可执行文件路径添加到系统PATH中

详细安装步骤

第一步：安装Java开发环境

从Oracle官网下载JDK 8安装包（建议选择x64版本）
运行安装程序，记住安装路径（如C:\Program Files\Java\jdk1.8.0_301）
配置环境变量：
- 新建系统变量JAVA_HOME，值为JDK安装路径
- 编辑系统变量Path，添加%JAVA_HOME%\bin
验证安装：打开命令提示符，输入java -version，应显示Java版本信息

第二步：下载并配置Hadoop

从Apache官网下载Hadoop二进制包（选择hadoop-3.3.4.tar.gz）
解压到指定目录（如C:\hadoop-3.3.4）
配置环境变量：
- 新建系统变量HADOOP_HOME，值为Hadoop解压路径
- 编辑系统变量Path，添加%HADOOP_HOME%\bin

第三步：安装Winutils工具

下载对应Hadoop版本的winutils工具包
将winutils.exe和hadoop.dll文件复制到%HADOOP_HOME%\bin目录
将hadoop.dll文件复制到C:\Windows\System32目录

第四步：配置Hadoop环境

编辑%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd文件：

set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_301
set HADOOP_HOME=C:\hadoop-3.3.4

配置核心文件core-site.xml：

<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://localhost:9000</value>
 </property>
</configuration>

配置HDFS文件hdfs-site.xml：

<configuration>
 <property>
   <name>dfs.replication</name>
   <value>1</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>/hadoop/data/namenode</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>/hadoop/data/datanode</value>
 </property>
</configuration>

配置MapReduce文件mapred-site.xml：

<configuration>
 <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

配置YARN文件yarn-site.xml：

<configuration>
 <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
 </property>
</configuration>

启动与验证Hadoop服务

格式化HDFS

以管理员身份打开命令提示符
执行以下命令格式化NameNode：
```
hdfs namenode -format
```

启动Hadoop服务

启动HDFS服务：
```
%HADOOP_HOME%\sbin\start-dfs.cmd
```
启动YARN服务：
```
%HADOOP_HOME%\sbin\start-yarn.cmd
```
验证服务是否正常运行：
- 访问http://localhost:9870查看NameNode状态
- 访问http://localhost:8088查看YARN资源管理器

运行测试任务

创建HDFS目录：
```
hdfs dfs -mkdir /input
```

上传测试文件：

hdfs dfs -put %HADOOP_HOME%\etc\hadoop\*.xml /input

运行示例MapReduce程序：

hadoop jar %HADOOP_HOME%\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.3.4.jar grep /input /output 'dfs[a-z.]+'

查看结果：
```
hdfs dfs -cat /output/*
```

常见问题解决方案

端口冲突问题：
- 如果遇到端口占用错误，可以修改hdfs-site.xml中的端口配置
- 使用netstat -ano查找占用端口的进程并终止
权限问题：
- 确保所有操作都在管理员权限的命令提示符下进行
- 如果遇到权限拒绝错误，尝试修改Hadoop目录的权限
内存不足问题：
- 编辑hadoop-env.cmd调整内存设置：
```
set HADOOP_HEAPSIZE_MAX=1024m
```
Winutils相关错误：
- 确保下载了正确版本的winutils
- 检查hadoop.dll是否已复制到System32目录