当前位置: 首页 > news >正文

windows安装hadoop2.7.2教程(单机版)

2025 年 Windows 10/11 最稳最全版
Hadoop 2.7.2 单机伪分布式完整安装教程(细节到每个配置文件)

适用于所有课程设计、毕业设计、期末大作业,复制粘贴即用,100%成功!

本来安装的2.7.1版,虽然启动成功了,但理论上还不是更好的,因为GitHub上没有找到对应的2.7.1版本的winutils和hadoop.dll,所以为了更好的兼容和适配,这里选择更高一点的2.7.2版本

一、下载地址(全部直链,2025年永久有效)

项目版本下载地址(点开直接下)
Hadoop 2.7.22.7.2https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
winutils + hadoop.dllhadoop-2.7.2https://github.com/cdarlint/winutils/raw/master/hadoop-2.7.2/bin/winutils.exe
https://github.com/cdarlint/winutils/raw/master/hadoop-2.7.2/bin/hadoop.dll
JDK 8(推荐)8u422https://github.com/adoptium/temurin8-binaries/releases/download/jdk8u422-b05/OpenJDK8U-jdk_x64_windows_hotspot_8u422b05.msi

二、最终目录结构(强烈建议这样放)

D:\ └─hadoop-2.7.2\ ├─bin\ ├─winutils.exe └─hadoop.dll ├─etc\ ├─logs\ └─data\ ├─namenode\ └─datanode\

三、环境变量(永久生效)

右键「此电脑」→ 属性 → 高级系统设置 → 环境变量 →系统变量

变量名变量值
HADOOP_HOMED:\hadoop
JAVA_HOMED:\jdk-8.0.422.5-hotspot
Path 追加%HADOOP_HOME%\bin

重启所有 CMD 窗口使生效!

四、核心配置文件(全部精确内容,直接替换)

1. D:\hadoop-2.7.2\etc\hadoop\hadoop-env.cmd(加入或修改)
set JAVA_HOME=D:\jdk-8.0.422.5-hotspot set HADOOP_HOME=D:\hadoop-2.7.2 set HADOOP_CONF_DIR=%HADOOP_HOME%\etc\hadoop set HADOOP_IDENT_STRING=%USERNAME%
2. D:\hadoop-2.7.2\etc\hadoop\core-site.xml(全部替换)
<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:///D:/hadoop-2.7.2/data/tmp</value></property></configuration>
3. D:\hadoop-2.7.2\etc\hadoop\hdfs-site.xml(全部替换)
<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:///D:/hadoop-2.7.2/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:///D:/hadoop-2.7.2/data/datanode</value></property><property><name>dfs.namenode.http-address</name><value>0.0.0.0:50070</value></property></configuration>
4. D:\hadoop-2.7.2\etc\hadoop\mapred-site.xml(复制 mapred-site.xml.template 重命名)
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.application.classpath</name><value>D:/hadoop-2.7.2/etc/hadoop,D:/hadoop-2.7.2/share/hadoop/common/*,D:/hadoop-2.7.2/share/hadoop/common/lib/*,D:/hadoop-2.7.2/share/hadoop/hdfs/*,D:/hadoop-2.7.2/share/hadoop/hdfs/lib/*,D:/hadoop-2.7.2/share/hadoop/mapreduce/*,D:/hadoop-2.7.2/share/hadoop/mapreduce/lib/*,D:/hadoop-2.7.2/share/hadoop/yarn/*,D:/hadoop-2.7.2/share/hadoop/yarn/lib/*</value></property></configuration>
5. D:\hadoop-2.7.2\etc\hadoop\yarn-site.xml(全部替换)
<?xml version="1.0"?><configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><property><name>yarn.nodemanager.local-dirs</name><value>file:///D:/hadoop-2.7.2/data/yarn/local</value></property><property><name>yarn.nodemanager.log-dirs</name><value>file:///D:/hadoop-2.7.2/data/yarn/logs</value></property></configuration>

五、创建必要目录(一次性执行)

mkdir D:\hadoop-2.7.2\data\namenode mkdir D:\hadoop-2.7.2\data\datanode mkdir D:\hadoop-2.7.2\data\tmp mkdir D:\hadoop-2.7.2\data\yarn\local mkdir D:\hadoop-2.7.2\data\yarn\logs

六、一键启动脚本(永久保存,以后每天双击)

新建文件D:\hadoop-2.7.2\一键启动Hadoop2.7.2.bat

@echo off echo ================================ echo Hadoop 2.7.2 Windows 一键启动 echo ================================ :: 强制使用 UTF-8 编码(关键!) chcp 65001 >nul :: 设置控制台标题 title Hadoop 2.7.x 一键启动(中文无乱码) cd /d D:\hadoop-2.7.2 :: 第一次运行请取消下面这行的注释(只执行一次) :: bin\hdfs namenode -format -force start "NameNode" cmd /k bin\hdfs namenode timeout /t 12 >nul start "DataNode" cmd /k bin\hdfs datanode timeout /t 8 >nul start "ResourceManager" cmd /k bin\yarn resourcemanager timeout /t 8 >nul start "NodeManager" cmd /k bin\yarn nodemanager echo. echo 全部启动成功! echo HDFS地址: http://localhost:50070 echo YARN地址: http://localhost:8088 echo. jps pause

七、验证成功(必须全部绿灯)

jps # 必须看到: # NameNode # DataNode # ResourceManager # NodeManager # 测试 HDFS hdfs dfs -mkdir /test hdfs dfs -put %windir%\win.ini /test/ hdfs dfs -cat /test/win.ini # 测试 MapReduce hadoop jar share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.2.jar pi 10 100

八、停止脚本(新建停止.bat)

@echo off taskkill /f /fi "windowtitle eq NameNode*" taskkill /f /fi "windowtitle eq DataNode*" taskkill /f /fi "windowtitle eq ResourceManager*" taskkill /f /fi "windowtitle eq NodeManager*" echo Hadoop 已全部关闭 pause

现在你拥有了 Windows 上最干净、最稳定的 Hadoop 2.7.2 + YARN 环境!

http://www.cnnetsun.cn/news/36335.html

相关文章:

  • 解锁GloVe词向量的实战指南:从零构建语义理解引擎
  • Headless Recorder终极实战指南:零基础快速掌握浏览器自动化脚本生成
  • 7个实战技巧:让你的无锁并发队列性能提升300%
  • ManageBooks:完整的SpringBoot图书管理系统解决方案
  • 如何利用 vscode-jest 插件提升你的测试开发效率
  • 3个核心技巧快速掌握Maestro无障碍自动化测试,让你的移动应用更包容
  • 如何快速构建dora-rs语音AI应用:新手完整指南
  • BetterTouchTool触控条预设终极指南:解锁MacBook Touch Bar的完整潜力
  • 测试日志分析与故障定位技巧:从噪声中捕捉信号
  • HNU软件安全测试模糊测试(改写Coverage类)
  • ESFT调试技巧完整指南:快速定位专家微调问题
  • 如何构建模块化RAG系统:Cognita架构解析与部署实践
  • (附源码) 基于springboot的美食分享系统-计算机毕设 37676
  • 办公 学习防窥人脸检测锁屏!设定时间离开自动锁屏再也不怕忘锁
  • 重构云端工作流:从单体到微服务的部署革命
  • 实习面试题-Redis 面试题
  • 深度学习作业10代码
  • 四叶菜矮砧密植:水肥一体化系统的铺设要点
  • Calendar容器系统深度解析:monthBody与monthContainer高级实战技巧
  • QuickJS嵌入式传感器数据处理引擎完整实战教程
  • 终极指南:5分钟快速上手KoNLPy韩语文本分析
  • Qwen2-VL终极微调指南:快速掌握视觉语言模型训练
  • F_Record绘画录制插件:一键安装与配置指南
  • Qwen2.5-VL-AWQ:320亿参数多模态模型如何重塑企业智能边界
  • Pock:终极MacBook Touch Bar管理器,让你的效率翻倍!
  • 终极指南:5个技巧用PyTorch3D轻松搞定3D渲染
  • 1、Python在Unix和Linux系统管理中的应用
  • 7天掌握Arkime YARA:从零构建威胁检测防线
  • MPV播放器播放进度自动保存:3分钟掌握断点续播全攻略
  • 6大技术突破:全面剖析MikroTik RouterOS 7.19.2 arm64版本性能升级