简介Hadoop 3.2.4安装包适合大数据开发人员、运维工程师以及正在学习分布式计算框架的读者能够弥补在自主部署和配置过程中缺乏完整权威文档、可执行脚本以及参考配置的不足。整个资源以压缩包形式提供共包含两千个文件压缩后大小约五百零六兆字节其中绝大多数为网页文档另外配套样式表、脚本、数据库脚本和配置文件等多种类型。网页文档与样式表构成一套可本地离线浏览的说明页面脚本多用于集群的启动、停止或日常管理配置文件和数据库脚本则与核心参数设置及元数据初始化相关便于读者结合场景进行修改验证。当前已有两百二十人学习下载适合在内网或离线环境中搭建Hadoop分布式集群时作为辅助材料。读者可以获得完整的文档页面、实用的命令行脚本以及典型的配置样例在安装部署、参数调优和故障排查时都能快速查阅整体目录结构清晰方便按主题检索。1. hadoop-3.2.4安装包先搞清楚你拿到的是什么如果你正在搜“hadoop-3.2.4安装包”大概率是两种情况要么在内网环境需要离线安装包要么想避开版本混乱直接拿一个稳定版跑起来。Hadoop 3.2.4是Apache Hadoop 3.x里口碑较好的一版修复了3.2.0和3.2.1的一批NameNode内存与RPC问题同时保留了对JDK8的完整兼容比3.3.x对老环境更友好。这篇我按自己实际部署的路径来讲拿到安装包之后怎么从零把它跑成伪分布式和真实三节点集群以及那些让你怀疑人生的报错到底怎么解决。适合正在搭大数据实验环境、做内网离线部署、或者被其他版本坑过想回退到3.2.4的工程师。注意区分官方二进制安装包和源码包下文所有步骤都基于Apache官方预编译的tar.gz安装包。2. 装前准备JDK版本、用户、SSH免密和目录规划2.1 JDK 1.8还是113.2.4的兼容边界Hadoop 3.2.4官方文档里写的Java要求是Java 8和Java 11都可以但我强烈建议生产环境用JDK8。原因不是3.2.4不支持11而是很多周边组件——比如Hive、Spark、Flume的某些老版本——对JDK11的兼容并不好。你单独装Hadoop没问题一旦后面接Hive或者SparkJDK版本冲突会浪费大量时间。安装JDK8时有一点要注意Hadoop的脚本会从JAVA_HOME去找java可执行文件不要只把Java装进系统默认路径就以为完事了。我用的是OpenJDK 1.8.0_292解压到/usr/local/jdk8然后在/etc/profile.d/hadoop.sh里统一写环境变量。这里有个血泪经验不要在~/.bashrc里写JAVA_HOME因为start-dfs.sh被root或hadoop用户执行时不一定加载你的用户级配置而/etc/profile.d/下的脚本在登录时必然生效。# /etc/profile.d/hadoop.sh export JAVA_HOME/usr/local/jdk8 export HADOOP_HOME/usr/local/hadoop-3.2.4 export PATH$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH这段配置的逻辑是先定义JAVA_HOME和HADOOP_HOME再把它们的bin和sbin目录加进PATH。sbin里装的是start-dfs.sh、stop-dfs.sh这类管理脚本bin里是hdfs、yarn这类客户端命令。配置完执行source /etc/profile.d/hadoop.sh然后分别验证java -version和hadoop version两个命令都能输出版本号才说明环境变量没白写。2.2 创建专用用户与目录别用root跑DataNode我见过很多新手直接拿root启动HadoopDataNode进程起来没几分钟就被系统杀掉或者HDFS目录权限错乱导致NameNode格式化后无法写入。Hadoop官方不建议用root运行守护进程原因很简单DataNode写数据时如果以root身份创建了block文件普通用户再通过HDFS访问时会出现权限不匹配而且HDFS自己的dfs.permissions检查和Linux文件权限叠加在一起排查起来非常绕。正确做法是单独建一个hadoop用户用来启动所有HDFS和YARN进程。同时规划好目录软件包放/usr/local数据目录放/data/hadoop日志放/data/hadoop/logs。这里要注意/data/hadoop必须chown hadoop:hadoop否则启动时DataNode报权限不足而日志里只会写“Permission denied”这种模棱两可的话。useradd -m -d /home/hadoop -s /bin/bash hadoop mkdir -p /data/hadoop /data/hadoop/logs /data/hadoop/tmp chown -R hadoop:hadoop /data/hadoop这三条命令做了四件事创建hadoop用户、建HDFS数据目录、建日志目录、建临时目录然后把整个目录树的所有权交给hadoop用户。后面所有start-dfs.sh和hdfs命令都用su - hadoop切过去执行。我一般还会顺手chmod 755 /data/hadoop避免其他用户无法遍历目录。2.3 SSH免密配置三行命令和验证方法不管是伪分布式还是真集群Hadoop的脚本都要通过SSH去连接各个节点执行进程启停。伪分布式只连本机集群模式要连所有DataNode所在的主机。如果没配免密start-dfs.sh会让你反复输密码集群规模一大就成了折磨。SSH免密的原理就是把自己的公钥放到目标机的authorized_keys里让SSH确认你“就是你自己”。ssh-keygen -t rsa -b 4096 -N -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ssh localhost第一条命令生成RSA密钥对-N 表示空口令否则SSH连接时会要求你输入私钥密码照样没法自动化。第二条命令把公钥追加到本机授权列表伪分布式这一步就够用了。第三条chmod 600是必须的SSH对authorized_keys的权限非常敏感权限过宽会直接忽略这个文件。最后ssh localhost验证如果第一次连接不再问密码就说明免密生效了。集群模式下把id_rsa.pub内容追加到每台机器的/home/hadoop/.ssh/authorized_keys同时要保证每台机器的~/.ssh目录属主是hadoop。3. 单机伪分布式部署用hadoop-3.2.4安装包跑起NameNode和DataNode3.1 解压与环境变量PATH、HADOOP_HOME、JAVA_HOME先明确伪分布式的概念所有Hadoop守护进程都跑在同一台机器上每个进程对应一个Java虚拟机它们通过本机网络端口通信。这种方式不解决任何性能问题但能让你把HDFS的完整流程走一遍是学习调参和排查问题的最小实验场。解压这一步有个容易翻车的地方有人下载了src后缀的源码包解压后没有bin/hadoop脚本就慌了。官方下载页面里hadoop-3.2.4.tar.gz才是预编译好的二进制安装包hadoop-3.2.4-src.tar.gz是源码两个大小差了一倍多。拿到tar.gz后先校验SHA-256再解压到/usr/local保留版本号目录名不要把它改成hadoop这种简洁名字。因为后面升级或者回退版本时软链接/usr/local/hadoop - hadoop-3.2.4可以快速切换而改掉版本目录名会让多个版本共存变得麻烦。cd /usr/local tar -zxvf /path/to/hadoop-3.2.4.tar.gz ln -s /usr/local/hadoop-3.2.4 /usr/local/hadoop chown -R hadoop:hadoop /usr/local/hadoop解压后用软链接而不是直接重命名是为了让HADOOP_HOME保持稳定。如果某天你要换成hadoop-3.3.6只需把软链接改到新目录配置和脚本不用动。chown这步别省虽然你在/etc/profile.d/hadoop.sh里已经把HADOOP_HOME指到软链接但进程运行时需要写日志到安装目录的logs子目录非属主用户通常会遇到“Permission denied”。3.2 修改core-site.xml和hdfs-site.xml最小可运行配置Hadoop的配置哲学是“默认值覆盖文件”。core-site.xml管全局参数hdfs-site.xml管HDFS特有参数。伪分布式要改的参数很少核心就三样NameNode的RPC地址、文件系统临时目录、副本数。先看core-site.xml。fs.defaultFS写成hdfs://localhost:9000这里的9000是NameNode对客户端提供RPC的端口不是Web界面端口。hadoop.tmp.dir必须指定否则默认用的/tmp/hadoop-${user}在系统重启后会被清空下次启动会碰到NameNode格式化和DataNode数据目录不匹配的问题。!-- core-site.xml -- configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property /configuration再看hdfs-site.xml。伪分布式里dfs.replication必须设为1因为你只有一台机器手头只有一个DataNode默认副本数3会让HDFS一直处于“副本不足”状态虽然不影响写入但Web界面上会亮红。dfs.namenode.name.dir和dfs.datanode.data.dir这两个参数强烈建议显式配置虽然默认路径是在hadoop.tmp.dir下推导出来的但把它写清楚日后迁移数据盘时只需改一处不用去查默认值推导规则。!-- hdfs-site.xml -- configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/data/hadoop/namenode/value /property property namedfs.datanode.data.dir/name value/data/hadoop/datanode/value /property /configuration这里的逻辑是NameNode把命名空间镜像存在dfs.namenode.name.dirDataNode把文件块存在dfs.datanode.data.dir。两个目录默认都在hadoop.tmp.dir底下但分开写的好处是你可以把NameNode的目录放到SSD盘把DataNode的目录放到大容量机械盘互不影响。改完配置文件后用hdfs namenode -check之类的命令可以做个快速校验不过最直接的方式还是先格式化再启动。3.3 格式化NameNode并启动首次启动的完整命令流格式化NameNode可能是整个Hadoop初始化中最有仪式感的一步但很多人对它的理解有偏差。hdfs namenode -format做的事情是在dfs.namenode.name.dir下生成current目录里面放VERSION文件和fsimage它并不会清空DataNode的数据目录。所以格式化只该做一次以后每次启动都不要重复格式化除非你确实想清空整个集群的元数据。格式化之前要确保/data/hadoop/namenode这个目录不存在或者为空。如果之前启动过但失败了格式化会报“NameNode is already formatted”或者“storage directory already exists”这种情况下最稳妥的做法是手动清空namenode和datanode下的所有内容再格式化。别嫌麻烦这是HDFS给所有人的一个“后悔药”数据不重要的时候删目录重新来过比研究怎么恢复快得多。su - hadoop hdfs namenode -format格式化成功后末尾会输出successfully formatted字样。然后启动HDFSstart-dfs.sh jpsstart-dfs.sh会依次启动本机的NameNode、DataNode和SecondaryNameNode。jps是JDK自带的小工具可以列出当前用户启动的Java进程你会看到三个进程名NameNode、DataNode、SecondaryNameNode。如果少了DataNode不要继续往下走先去排查原因多半是数据目录权限不对或者格式化前后的目录ID不一致。启动后验证HDFS是否能写。执行hdfs dfs -mkdir /test再执行hdfs dfs -put /etc/hosts /test/。如果没有报错用hdfs dfs -cat /test/hosts能看到文件内容说明HDFS的读写链路是通的。这时候再打开浏览器访问http://localhost:9870在Datanodes标签页里能看到一个live节点说明伪分布式部署已经成功。4. 分布式集群部署从安装包到三节点集群4.1 规划节点角色与workers文件伪分布式跑通只是第一步真实场景下你至少要有三台机器一个节点跑NameNode和ResourceManager另外两个节点跑DataNode和NodeManager。这里我以三节点为例主机名分别是node01、node02、node03其中node01是主节点node02和node03是从节点。Hadoop 3.x里控制DataNode启动的关键文件是etc/hadoop/workers在2.x时代它叫slaves3.2.4里如果你手工创建slaves文件脚本虽然还能认但日志里会打警告。所以直接改workers每行写一个从节点的主机名。主节点自己的主机名写在里面也可以这样主节点也启动一个DataNode一共三个DataNode节点和默认副本数3正好匹配。# etc/hadoop/workers node02 node03写这个文件的逻辑是start-dfs.sh会读取它然后通过SSH免密登录到每个主机执行hadoop-daemon.sh start datanode。所以文件里不要出现IP地址用主机名更清晰但前提是/etc/hosts里把三台机器的IP和主机名对应关系写对。我每次搭集群第一件事就是检查所有机器的/etc/hosts内容不一致会导致DataNode启动后连不上NameNode而报错信息往往是指向别的方向。4.2 分发安装包与配置同步集群环境的安装包不需要每台机器单独下载。最省事的做法是在node01上解压好并完成所有配置然后用rsync或scp把整个目录推到其他机器。注意要同时推两份内容一份是安装包目录一份是Java环境目录两边保持一致。我一般用rsync而不是scp因为rsync支持增量同步维护时如果改了一个配置文件重新同步比scp快得多。命令如下rsync -avz /usr/local/hadoop-3.2.4 hadoopnode02:/usr/local/ ssh node02 ln -s /usr/local/hadoop-3.2.4 /usr/local/hadoop先同步安装包再到目标机器上创建软链接。注意rsync的-a参数会保留文件属主和权限而Hadoop的启动脚本要求bin目录下的脚本有执行权限如果同步后发现hadoop命令提示“Permission denied”多半是源目录的属主不是hadoop或者你在同步时用了root导致权限全落到root名下。同步完成后还要把环境变量文件也分发过去。/etc/profile.d/hadoop.sh里JAVA_HOME的路径得保证在node02和node03上同样存在。如果Java版本不一致比如主节点用的JDK8从节点是JDK11集群启动时HDFS能通但YARN的Container可能会出现奇怪的序列化异常。scp /etc/profile.d/hadoop.sh node02:/etc/profile.d/ scp node02:/etc/hosts /tmp/hosts_node02/etc/hosts的分发最容易踩坑直接把主节点的/etc/hosts覆盖到其他节点没问题但反过来把从节点的文件同步回主节点就会把自身主机名改乱。所以这个文件要人工检查一遍确保每台机器上127.0.0.1 localhost在第一行之后才是各节点的真实IP映射。4.3 启动集群与验证jps、50070端口和文件上传集群的启动流程和伪分布式基本一致但有个顺序讲究第一次启动时先在主节点格式化NameNode再在每台机器上确保SSH免密可用最后执行start-dfs.sh。su - hadoop hdfs namenode -format start-dfs.sh start-yarn.shstart-dfs.sh启动的是HDFS相关进程start-yarn.sh启动的是YARN资源调度相关的进程。如果只做HDFS实验可以只跑前者。执行后在主节点跑jps应该看到NameNode、SecondaryNameNode、ResourceManager。在node02和node03跑jps应该看到DataNode和NodeManager。如果某台机器的DataNode没起来去它的logs/hadoop-hadoop-datanode-主机名.log末尾看原因不要在主节点空想。验证集群状态用hdfs dfsadmin -report这个命令会列出所有DataNode的存储容量、剩余空间、运行状态。如果看到Live datanodes (3)说明集群三个节点都在线。再上传一个文件测试hdfs dfs -mkdir /cluster_test hdfs dfs -put /usr/local/hadoop-3.2.4/README.txt /cluster_test/ hdfs fsck /cluster_test/README.txt -files -blockshdfs fsck会输出文件的完整块分布。在副本数为3的配置下每个block后面的replication3表示有三个副本分布在不同节点。如果只有两个说明有一台DataNode没注册成功或者网络隔离导致副本无法跨节点传输。这里注意fsck返回的所有行里只要没有CORRUPT字样就说明数据是健康的。Web界面验证也很重要。Hadoop 3.x的NameNode Web端口从50070换成了9870访问http://node01:9870在Datanodes页面看到三个节点都显示Live。如果只显示两个去检查从节点的防火墙是否放行了8020RPC和9864DataNode HTTP端口。我习惯在/etc/sysconfig/iptables或firewall-cmd里一次性放行9000/9870/9864/8088避免每次实验都被防火墙打断。5. hadoop-3.2.4安装包部署的常见坑与排查5.1 现象NameNode格式化后启动失败日志报Incompatible clusterIDs格式化完成start-dfs.sh执行后NameNode进程立刻退出日志里有一句java.io.IOException: Incompatible clusterIDs in ...让人以为是格式化损坏了。我排查过几次原因几乎都是同一个你做了多次格式化但DataNode的数据目录没有清干净。每次格式化的NameNode会生成新的clusterID而DataNode的current/VERSION文件里还存着第一次格式化时的旧clusterID两边对不上DataNode拒绝启动NameNode因为缺少DataNode心跳也会反复报错。解决方法是把NameNode和DataNode的所有数据目录都清空然后重新格式化再启动。具体命令rm -rf /data/hadoop/namenode/* /data/hadoop/datanode/* hdfs namenode -format start-dfs.sh这里有个操作习惯值得养成格式化之前先确认是否真的要推倒重来。如果只是修改了hdfs-site.xml里的某些参数比如改错副本数不需要重新格式化。只有当你动了dfs.namenode.name.dir或dfs.datanode.data.dir指向的路径时才该清空。记住这个规则能让你少踩一半的坑。5.2 现象DataNode起不来日志一直报Java.net.ConnectExceptionDataNode日志里反复出现ConnectException: Connection refused到node01:9000但NameNode明明在跑jps也有进程。这个坑在集群模式里特别常见。先别急着怀疑防火墙90%的情况是core-site.xml里的fs.defaultFS写的是hdfs://localhost:9000而DataNode机器读到的配置里localhost指它自己它连接自身端口当然什么都连不到。解决方法是把fs.defaultFS统一改成主节点的主机名也就是hdfs://node01:9000。同时检查所有机器的core-site.xml是否一致如果只有主节点改了从节点还在用localhost那就会出现诡异现象从节点上的客户端命令能跑但守护进程连不上主节点。改完之后重启HDFS进程我一般会加一个-shutdown参数让脚本干净退出。stop-dfs.sh # 修改 core-site.xml 后 start-dfs.sh注意Connection refused还有一种可能主节点防火墙禁掉了9000端口。但伪分布式的本机测试往往不触发这个所以一旦是跨节点访问才报错优先查防火墙。用telnet node01 9000在从节点上探一下通不通一目了然。5.3 现象start-dfs.sh后只有NameNode没有DataNode伪分布式和集群模式里都可能出现这个问题主节点jps能看到NameNode和SecondaryNameNode但再也找不到DataNode进程。先别怀疑配置去查日志。Hadoop进程不会无声无息消失日志里必须给你交代。常见原因之一是DataNode启动时发现数据目录的权限不对日志里写Permission denied。解决办法就是chown -R hadoop:hadoop /data/hadoop这个之前在准备阶段说过但不少人建完目录忘了执行。另一个原因是DataNode刚刚启动又被HDFS安全模式拦下日志里写Cannot write to block pool这种情况通常发生在NameNode还处于SafeMode时DataNode尝试注册。等几十秒让NameNode离开安全模式再执行hdfs dfsadmin -safemode leave然后手动拉起DataNode。hdfs dfsadmin -safemode leave hadoop-daemon.sh start datanodehadoop-daemon.sh是一个更底层的启动脚本它可以单独控制某个角色的进程适合验证单独的DataNode能否启动。如果它能启动说明配置没问题问题出在start-dfs.sh的批量调度上那就去检查workers文件是否有多余空行或IP地址。5.4 现象执行hdfs dfs命令报权限或Connection refused安装好集群后直接执行hdfs dfs -ls /结果要么是Permission denied要么是Connection refused。权限问题的根源通常是用root执行了命令而HDFS的超级用户是dfs.permalink默认是启动NameNode时的那个人。hdfs dfs -ls /是访问HDFS根目录如果你用root去访问HDFS会把它当成普通用户root但根目录的属主是hadoop自然被拒绝。解决方式很简单要么所有操作都用hadoop用户要么在hdfs-site.xml里把dfs.permissions.superusergroup设成包含root的组不过我不建议改这个。更隐蔽的坑是Connection refused你执行hdfs dfs时客户端会读取core-site.xml里的fs.defaultFS来确定连接哪个NameNode。如果某个节点上的配置文件还是初始值file:///那么hdfs dfs -ls会直接操作本地文件系统自然不会连接HDFS报错就变成了“No such file or directory”而不是网络错误。排查方法是在命令前加hdfs dfs -fs hdfs://node01:9000 -ls /如果这样能通说明是配置同步问题重新分发core-site.xml即可。5.5 现象JAVA_HOME明明设置了脚本还是找不到这个问题最让人无语你已经在/etc/profile.d/hadoop.sh里写了JAVA_HOME但执行start-dfs.sh时它告诉你JAVA_HOME is not set。原因在于Hadoop的启动脚本是个非交互式shell它不会主动加载/etc/profile.d/下的东西虽然它自己会用which java去探测但如果你装的是JDK8的RPM包探测到的路径可能是/usr/bin/java而这是一个指向/etc/alternatives/java的软链接脚本里对这类路径的解析容易出问题。最稳妥的办法是把$JAVA_HOME写进hadoop-env.sh这个文件位于安装包的etc/hadoop/目录下启动脚本一定会加载它。在里面显式声明# etc/hadoop/hadoop-env.sh export JAVA_HOME/usr/local/jdk8 export HADOOP_HOME/usr/local/hadoop export HADOOP_LOG_DIR/data/hadoop/logsHADOOP_LOG_DIR是我顺手写进去的它决定所有守护进程的日志输出位置。默认日志在安装目录的logs下但生产上建议放在独立数据盘这样重装系统或者换版本时日志不会丢。改完这个文件后执行hadoop-daemon.sh stop namenode再启动确认日志里的JAVA_HOME路径是你期望值。6. 安装后的验证与升级路径从3.2.4起步的实用技巧集群跑起来后第一步不是急着丢数据进去而是做三轮验证。第一轮是进程和端口验证jps能看到全部角色ss -lntp | grep 9000能看到NameNode RPC端口监听第二轮是读写验证用hdfs dfsadmin -report确认所有节点在线上传一个大于块大小128MB的文件用hdfs fsck看块分布第三轮是重启验证执行stop-all.sh再start-all.sh确认冷启动后DataNode能自动注册回NameNode这一步能暴露很多只在断电重启后出现的问题。之后可以考虑调一些常用参数。dfs.replication在3节点集群里保持3就行不需要改大dfs.blocksize如果以存储小文件为主可以改成64MB减少块数量但大文件场景保持128MB以上更好。NameNode堆内存是个关键点应该在hadoop-env.sh里设置HADOOP_NAMENODE_OPTS-Xms4g -Xmx4g否则默认只有1GB文件数过万后GC会变慢。设置完重启NameNode,然后用jstat -gc pid观察老年代占用如果持续超过70%,就该加内存了。升级方面3.2.4不是终点。如果未来要升到3.3.x不要直接换安装包覆盖目录正确路径是把新包解压到新目录拷贝老配置然后用hdfs dfsadmin -upgrade滚动升级。我自己的习惯是先在测试集群做一次完整升级演练记录每一步的消息状态再动生产集群。这三年我搭过几十套Hadoop环境最大的教训就是“格式化之前先备份元数据重启之前先看日志”。把这两条刻在脑子里能少走很多弯路。希望这些经验能帮到你。本文还有配套的精品资源点击获取
简介Hadoop 3.2.4安装包适合大数据开发人员、运维工程师以及正在学习分布式计算框架的读者能够弥补在自主部署和配置过程中缺乏完整权威文档、可执行脚本以及参考配置的不足。整个资源以压缩包形式提供共包含两千个文件压缩后大小约五百零六兆字节其中绝大多数为网页文档另外配套样式表、脚本、数据库脚本和配置文件等多种类型。网页文档与样式表构成一套可本地离线浏览的说明页面脚本多用于集群的启动、停止或日常管理配置文件和数据库脚本则与核心参数设置及元数据初始化相关便于读者结合场景进行修改验证。当前已有两百二十人学习下载适合在内网或离线环境中搭建Hadoop分布式集群时作为辅助材料。读者可以获得完整的文档页面、实用的命令行脚本以及典型的配置样例在安装部署、参数调优和故障排查时都能快速查阅整体目录结构清晰方便按主题检索。1. hadoop-3.2.4安装包先搞清楚你拿到的是什么如果你正在搜“hadoop-3.2.4安装包”大概率是两种情况要么在内网环境需要离线安装包要么想避开版本混乱直接拿一个稳定版跑起来。Hadoop 3.2.4是Apache Hadoop 3.x里口碑较好的一版修复了3.2.0和3.2.1的一批NameNode内存与RPC问题同时保留了对JDK8的完整兼容比3.3.x对老环境更友好。这篇我按自己实际部署的路径来讲拿到安装包之后怎么从零把它跑成伪分布式和真实三节点集群以及那些让你怀疑人生的报错到底怎么解决。适合正在搭大数据实验环境、做内网离线部署、或者被其他版本坑过想回退到3.2.4的工程师。注意区分官方二进制安装包和源码包下文所有步骤都基于Apache官方预编译的tar.gz安装包。2. 装前准备JDK版本、用户、SSH免密和目录规划2.1 JDK 1.8还是113.2.4的兼容边界Hadoop 3.2.4官方文档里写的Java要求是Java 8和Java 11都可以但我强烈建议生产环境用JDK8。原因不是3.2.4不支持11而是很多周边组件——比如Hive、Spark、Flume的某些老版本——对JDK11的兼容并不好。你单独装Hadoop没问题一旦后面接Hive或者SparkJDK版本冲突会浪费大量时间。安装JDK8时有一点要注意Hadoop的脚本会从JAVA_HOME去找java可执行文件不要只把Java装进系统默认路径就以为完事了。我用的是OpenJDK 1.8.0_292解压到/usr/local/jdk8然后在/etc/profile.d/hadoop.sh里统一写环境变量。这里有个血泪经验不要在~/.bashrc里写JAVA_HOME因为start-dfs.sh被root或hadoop用户执行时不一定加载你的用户级配置而/etc/profile.d/下的脚本在登录时必然生效。# /etc/profile.d/hadoop.sh export JAVA_HOME/usr/local/jdk8 export HADOOP_HOME/usr/local/hadoop-3.2.4 export PATH$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH这段配置的逻辑是先定义JAVA_HOME和HADOOP_HOME再把它们的bin和sbin目录加进PATH。sbin里装的是start-dfs.sh、stop-dfs.sh这类管理脚本bin里是hdfs、yarn这类客户端命令。配置完执行source /etc/profile.d/hadoop.sh然后分别验证java -version和hadoop version两个命令都能输出版本号才说明环境变量没白写。2.2 创建专用用户与目录别用root跑DataNode我见过很多新手直接拿root启动HadoopDataNode进程起来没几分钟就被系统杀掉或者HDFS目录权限错乱导致NameNode格式化后无法写入。Hadoop官方不建议用root运行守护进程原因很简单DataNode写数据时如果以root身份创建了block文件普通用户再通过HDFS访问时会出现权限不匹配而且HDFS自己的dfs.permissions检查和Linux文件权限叠加在一起排查起来非常绕。正确做法是单独建一个hadoop用户用来启动所有HDFS和YARN进程。同时规划好目录软件包放/usr/local数据目录放/data/hadoop日志放/data/hadoop/logs。这里要注意/data/hadoop必须chown hadoop:hadoop否则启动时DataNode报权限不足而日志里只会写“Permission denied”这种模棱两可的话。useradd -m -d /home/hadoop -s /bin/bash hadoop mkdir -p /data/hadoop /data/hadoop/logs /data/hadoop/tmp chown -R hadoop:hadoop /data/hadoop这三条命令做了四件事创建hadoop用户、建HDFS数据目录、建日志目录、建临时目录然后把整个目录树的所有权交给hadoop用户。后面所有start-dfs.sh和hdfs命令都用su - hadoop切过去执行。我一般还会顺手chmod 755 /data/hadoop避免其他用户无法遍历目录。2.3 SSH免密配置三行命令和验证方法不管是伪分布式还是真集群Hadoop的脚本都要通过SSH去连接各个节点执行进程启停。伪分布式只连本机集群模式要连所有DataNode所在的主机。如果没配免密start-dfs.sh会让你反复输密码集群规模一大就成了折磨。SSH免密的原理就是把自己的公钥放到目标机的authorized_keys里让SSH确认你“就是你自己”。ssh-keygen -t rsa -b 4096 -N -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ssh localhost第一条命令生成RSA密钥对-N 表示空口令否则SSH连接时会要求你输入私钥密码照样没法自动化。第二条命令把公钥追加到本机授权列表伪分布式这一步就够用了。第三条chmod 600是必须的SSH对authorized_keys的权限非常敏感权限过宽会直接忽略这个文件。最后ssh localhost验证如果第一次连接不再问密码就说明免密生效了。集群模式下把id_rsa.pub内容追加到每台机器的/home/hadoop/.ssh/authorized_keys同时要保证每台机器的~/.ssh目录属主是hadoop。3. 单机伪分布式部署用hadoop-3.2.4安装包跑起NameNode和DataNode3.1 解压与环境变量PATH、HADOOP_HOME、JAVA_HOME先明确伪分布式的概念所有Hadoop守护进程都跑在同一台机器上每个进程对应一个Java虚拟机它们通过本机网络端口通信。这种方式不解决任何性能问题但能让你把HDFS的完整流程走一遍是学习调参和排查问题的最小实验场。解压这一步有个容易翻车的地方有人下载了src后缀的源码包解压后没有bin/hadoop脚本就慌了。官方下载页面里hadoop-3.2.4.tar.gz才是预编译好的二进制安装包hadoop-3.2.4-src.tar.gz是源码两个大小差了一倍多。拿到tar.gz后先校验SHA-256再解压到/usr/local保留版本号目录名不要把它改成hadoop这种简洁名字。因为后面升级或者回退版本时软链接/usr/local/hadoop - hadoop-3.2.4可以快速切换而改掉版本目录名会让多个版本共存变得麻烦。cd /usr/local tar -zxvf /path/to/hadoop-3.2.4.tar.gz ln -s /usr/local/hadoop-3.2.4 /usr/local/hadoop chown -R hadoop:hadoop /usr/local/hadoop解压后用软链接而不是直接重命名是为了让HADOOP_HOME保持稳定。如果某天你要换成hadoop-3.3.6只需把软链接改到新目录配置和脚本不用动。chown这步别省虽然你在/etc/profile.d/hadoop.sh里已经把HADOOP_HOME指到软链接但进程运行时需要写日志到安装目录的logs子目录非属主用户通常会遇到“Permission denied”。3.2 修改core-site.xml和hdfs-site.xml最小可运行配置Hadoop的配置哲学是“默认值覆盖文件”。core-site.xml管全局参数hdfs-site.xml管HDFS特有参数。伪分布式要改的参数很少核心就三样NameNode的RPC地址、文件系统临时目录、副本数。先看core-site.xml。fs.defaultFS写成hdfs://localhost:9000这里的9000是NameNode对客户端提供RPC的端口不是Web界面端口。hadoop.tmp.dir必须指定否则默认用的/tmp/hadoop-${user}在系统重启后会被清空下次启动会碰到NameNode格式化和DataNode数据目录不匹配的问题。!-- core-site.xml -- configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property /configuration再看hdfs-site.xml。伪分布式里dfs.replication必须设为1因为你只有一台机器手头只有一个DataNode默认副本数3会让HDFS一直处于“副本不足”状态虽然不影响写入但Web界面上会亮红。dfs.namenode.name.dir和dfs.datanode.data.dir这两个参数强烈建议显式配置虽然默认路径是在hadoop.tmp.dir下推导出来的但把它写清楚日后迁移数据盘时只需改一处不用去查默认值推导规则。!-- hdfs-site.xml -- configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/data/hadoop/namenode/value /property property namedfs.datanode.data.dir/name value/data/hadoop/datanode/value /property /configuration这里的逻辑是NameNode把命名空间镜像存在dfs.namenode.name.dirDataNode把文件块存在dfs.datanode.data.dir。两个目录默认都在hadoop.tmp.dir底下但分开写的好处是你可以把NameNode的目录放到SSD盘把DataNode的目录放到大容量机械盘互不影响。改完配置文件后用hdfs namenode -check之类的命令可以做个快速校验不过最直接的方式还是先格式化再启动。3.3 格式化NameNode并启动首次启动的完整命令流格式化NameNode可能是整个Hadoop初始化中最有仪式感的一步但很多人对它的理解有偏差。hdfs namenode -format做的事情是在dfs.namenode.name.dir下生成current目录里面放VERSION文件和fsimage它并不会清空DataNode的数据目录。所以格式化只该做一次以后每次启动都不要重复格式化除非你确实想清空整个集群的元数据。格式化之前要确保/data/hadoop/namenode这个目录不存在或者为空。如果之前启动过但失败了格式化会报“NameNode is already formatted”或者“storage directory already exists”这种情况下最稳妥的做法是手动清空namenode和datanode下的所有内容再格式化。别嫌麻烦这是HDFS给所有人的一个“后悔药”数据不重要的时候删目录重新来过比研究怎么恢复快得多。su - hadoop hdfs namenode -format格式化成功后末尾会输出successfully formatted字样。然后启动HDFSstart-dfs.sh jpsstart-dfs.sh会依次启动本机的NameNode、DataNode和SecondaryNameNode。jps是JDK自带的小工具可以列出当前用户启动的Java进程你会看到三个进程名NameNode、DataNode、SecondaryNameNode。如果少了DataNode不要继续往下走先去排查原因多半是数据目录权限不对或者格式化前后的目录ID不一致。启动后验证HDFS是否能写。执行hdfs dfs -mkdir /test再执行hdfs dfs -put /etc/hosts /test/。如果没有报错用hdfs dfs -cat /test/hosts能看到文件内容说明HDFS的读写链路是通的。这时候再打开浏览器访问http://localhost:9870在Datanodes标签页里能看到一个live节点说明伪分布式部署已经成功。4. 分布式集群部署从安装包到三节点集群4.1 规划节点角色与workers文件伪分布式跑通只是第一步真实场景下你至少要有三台机器一个节点跑NameNode和ResourceManager另外两个节点跑DataNode和NodeManager。这里我以三节点为例主机名分别是node01、node02、node03其中node01是主节点node02和node03是从节点。Hadoop 3.x里控制DataNode启动的关键文件是etc/hadoop/workers在2.x时代它叫slaves3.2.4里如果你手工创建slaves文件脚本虽然还能认但日志里会打警告。所以直接改workers每行写一个从节点的主机名。主节点自己的主机名写在里面也可以这样主节点也启动一个DataNode一共三个DataNode节点和默认副本数3正好匹配。# etc/hadoop/workers node02 node03写这个文件的逻辑是start-dfs.sh会读取它然后通过SSH免密登录到每个主机执行hadoop-daemon.sh start datanode。所以文件里不要出现IP地址用主机名更清晰但前提是/etc/hosts里把三台机器的IP和主机名对应关系写对。我每次搭集群第一件事就是检查所有机器的/etc/hosts内容不一致会导致DataNode启动后连不上NameNode而报错信息往往是指向别的方向。4.2 分发安装包与配置同步集群环境的安装包不需要每台机器单独下载。最省事的做法是在node01上解压好并完成所有配置然后用rsync或scp把整个目录推到其他机器。注意要同时推两份内容一份是安装包目录一份是Java环境目录两边保持一致。我一般用rsync而不是scp因为rsync支持增量同步维护时如果改了一个配置文件重新同步比scp快得多。命令如下rsync -avz /usr/local/hadoop-3.2.4 hadoopnode02:/usr/local/ ssh node02 ln -s /usr/local/hadoop-3.2.4 /usr/local/hadoop先同步安装包再到目标机器上创建软链接。注意rsync的-a参数会保留文件属主和权限而Hadoop的启动脚本要求bin目录下的脚本有执行权限如果同步后发现hadoop命令提示“Permission denied”多半是源目录的属主不是hadoop或者你在同步时用了root导致权限全落到root名下。同步完成后还要把环境变量文件也分发过去。/etc/profile.d/hadoop.sh里JAVA_HOME的路径得保证在node02和node03上同样存在。如果Java版本不一致比如主节点用的JDK8从节点是JDK11集群启动时HDFS能通但YARN的Container可能会出现奇怪的序列化异常。scp /etc/profile.d/hadoop.sh node02:/etc/profile.d/ scp node02:/etc/hosts /tmp/hosts_node02/etc/hosts的分发最容易踩坑直接把主节点的/etc/hosts覆盖到其他节点没问题但反过来把从节点的文件同步回主节点就会把自身主机名改乱。所以这个文件要人工检查一遍确保每台机器上127.0.0.1 localhost在第一行之后才是各节点的真实IP映射。4.3 启动集群与验证jps、50070端口和文件上传集群的启动流程和伪分布式基本一致但有个顺序讲究第一次启动时先在主节点格式化NameNode再在每台机器上确保SSH免密可用最后执行start-dfs.sh。su - hadoop hdfs namenode -format start-dfs.sh start-yarn.shstart-dfs.sh启动的是HDFS相关进程start-yarn.sh启动的是YARN资源调度相关的进程。如果只做HDFS实验可以只跑前者。执行后在主节点跑jps应该看到NameNode、SecondaryNameNode、ResourceManager。在node02和node03跑jps应该看到DataNode和NodeManager。如果某台机器的DataNode没起来去它的logs/hadoop-hadoop-datanode-主机名.log末尾看原因不要在主节点空想。验证集群状态用hdfs dfsadmin -report这个命令会列出所有DataNode的存储容量、剩余空间、运行状态。如果看到Live datanodes (3)说明集群三个节点都在线。再上传一个文件测试hdfs dfs -mkdir /cluster_test hdfs dfs -put /usr/local/hadoop-3.2.4/README.txt /cluster_test/ hdfs fsck /cluster_test/README.txt -files -blockshdfs fsck会输出文件的完整块分布。在副本数为3的配置下每个block后面的replication3表示有三个副本分布在不同节点。如果只有两个说明有一台DataNode没注册成功或者网络隔离导致副本无法跨节点传输。这里注意fsck返回的所有行里只要没有CORRUPT字样就说明数据是健康的。Web界面验证也很重要。Hadoop 3.x的NameNode Web端口从50070换成了9870访问http://node01:9870在Datanodes页面看到三个节点都显示Live。如果只显示两个去检查从节点的防火墙是否放行了8020RPC和9864DataNode HTTP端口。我习惯在/etc/sysconfig/iptables或firewall-cmd里一次性放行9000/9870/9864/8088避免每次实验都被防火墙打断。5. hadoop-3.2.4安装包部署的常见坑与排查5.1 现象NameNode格式化后启动失败日志报Incompatible clusterIDs格式化完成start-dfs.sh执行后NameNode进程立刻退出日志里有一句java.io.IOException: Incompatible clusterIDs in ...让人以为是格式化损坏了。我排查过几次原因几乎都是同一个你做了多次格式化但DataNode的数据目录没有清干净。每次格式化的NameNode会生成新的clusterID而DataNode的current/VERSION文件里还存着第一次格式化时的旧clusterID两边对不上DataNode拒绝启动NameNode因为缺少DataNode心跳也会反复报错。解决方法是把NameNode和DataNode的所有数据目录都清空然后重新格式化再启动。具体命令rm -rf /data/hadoop/namenode/* /data/hadoop/datanode/* hdfs namenode -format start-dfs.sh这里有个操作习惯值得养成格式化之前先确认是否真的要推倒重来。如果只是修改了hdfs-site.xml里的某些参数比如改错副本数不需要重新格式化。只有当你动了dfs.namenode.name.dir或dfs.datanode.data.dir指向的路径时才该清空。记住这个规则能让你少踩一半的坑。5.2 现象DataNode起不来日志一直报Java.net.ConnectExceptionDataNode日志里反复出现ConnectException: Connection refused到node01:9000但NameNode明明在跑jps也有进程。这个坑在集群模式里特别常见。先别急着怀疑防火墙90%的情况是core-site.xml里的fs.defaultFS写的是hdfs://localhost:9000而DataNode机器读到的配置里localhost指它自己它连接自身端口当然什么都连不到。解决方法是把fs.defaultFS统一改成主节点的主机名也就是hdfs://node01:9000。同时检查所有机器的core-site.xml是否一致如果只有主节点改了从节点还在用localhost那就会出现诡异现象从节点上的客户端命令能跑但守护进程连不上主节点。改完之后重启HDFS进程我一般会加一个-shutdown参数让脚本干净退出。stop-dfs.sh # 修改 core-site.xml 后 start-dfs.sh注意Connection refused还有一种可能主节点防火墙禁掉了9000端口。但伪分布式的本机测试往往不触发这个所以一旦是跨节点访问才报错优先查防火墙。用telnet node01 9000在从节点上探一下通不通一目了然。5.3 现象start-dfs.sh后只有NameNode没有DataNode伪分布式和集群模式里都可能出现这个问题主节点jps能看到NameNode和SecondaryNameNode但再也找不到DataNode进程。先别怀疑配置去查日志。Hadoop进程不会无声无息消失日志里必须给你交代。常见原因之一是DataNode启动时发现数据目录的权限不对日志里写Permission denied。解决办法就是chown -R hadoop:hadoop /data/hadoop这个之前在准备阶段说过但不少人建完目录忘了执行。另一个原因是DataNode刚刚启动又被HDFS安全模式拦下日志里写Cannot write to block pool这种情况通常发生在NameNode还处于SafeMode时DataNode尝试注册。等几十秒让NameNode离开安全模式再执行hdfs dfsadmin -safemode leave然后手动拉起DataNode。hdfs dfsadmin -safemode leave hadoop-daemon.sh start datanodehadoop-daemon.sh是一个更底层的启动脚本它可以单独控制某个角色的进程适合验证单独的DataNode能否启动。如果它能启动说明配置没问题问题出在start-dfs.sh的批量调度上那就去检查workers文件是否有多余空行或IP地址。5.4 现象执行hdfs dfs命令报权限或Connection refused安装好集群后直接执行hdfs dfs -ls /结果要么是Permission denied要么是Connection refused。权限问题的根源通常是用root执行了命令而HDFS的超级用户是dfs.permalink默认是启动NameNode时的那个人。hdfs dfs -ls /是访问HDFS根目录如果你用root去访问HDFS会把它当成普通用户root但根目录的属主是hadoop自然被拒绝。解决方式很简单要么所有操作都用hadoop用户要么在hdfs-site.xml里把dfs.permissions.superusergroup设成包含root的组不过我不建议改这个。更隐蔽的坑是Connection refused你执行hdfs dfs时客户端会读取core-site.xml里的fs.defaultFS来确定连接哪个NameNode。如果某个节点上的配置文件还是初始值file:///那么hdfs dfs -ls会直接操作本地文件系统自然不会连接HDFS报错就变成了“No such file or directory”而不是网络错误。排查方法是在命令前加hdfs dfs -fs hdfs://node01:9000 -ls /如果这样能通说明是配置同步问题重新分发core-site.xml即可。5.5 现象JAVA_HOME明明设置了脚本还是找不到这个问题最让人无语你已经在/etc/profile.d/hadoop.sh里写了JAVA_HOME但执行start-dfs.sh时它告诉你JAVA_HOME is not set。原因在于Hadoop的启动脚本是个非交互式shell它不会主动加载/etc/profile.d/下的东西虽然它自己会用which java去探测但如果你装的是JDK8的RPM包探测到的路径可能是/usr/bin/java而这是一个指向/etc/alternatives/java的软链接脚本里对这类路径的解析容易出问题。最稳妥的办法是把$JAVA_HOME写进hadoop-env.sh这个文件位于安装包的etc/hadoop/目录下启动脚本一定会加载它。在里面显式声明# etc/hadoop/hadoop-env.sh export JAVA_HOME/usr/local/jdk8 export HADOOP_HOME/usr/local/hadoop export HADOOP_LOG_DIR/data/hadoop/logsHADOOP_LOG_DIR是我顺手写进去的它决定所有守护进程的日志输出位置。默认日志在安装目录的logs下但生产上建议放在独立数据盘这样重装系统或者换版本时日志不会丢。改完这个文件后执行hadoop-daemon.sh stop namenode再启动确认日志里的JAVA_HOME路径是你期望值。6. 安装后的验证与升级路径从3.2.4起步的实用技巧集群跑起来后第一步不是急着丢数据进去而是做三轮验证。第一轮是进程和端口验证jps能看到全部角色ss -lntp | grep 9000能看到NameNode RPC端口监听第二轮是读写验证用hdfs dfsadmin -report确认所有节点在线上传一个大于块大小128MB的文件用hdfs fsck看块分布第三轮是重启验证执行stop-all.sh再start-all.sh确认冷启动后DataNode能自动注册回NameNode这一步能暴露很多只在断电重启后出现的问题。之后可以考虑调一些常用参数。dfs.replication在3节点集群里保持3就行不需要改大dfs.blocksize如果以存储小文件为主可以改成64MB减少块数量但大文件场景保持128MB以上更好。NameNode堆内存是个关键点应该在hadoop-env.sh里设置HADOOP_NAMENODE_OPTS-Xms4g -Xmx4g否则默认只有1GB文件数过万后GC会变慢。设置完重启NameNode,然后用jstat -gc pid观察老年代占用如果持续超过70%,就该加内存了。升级方面3.2.4不是终点。如果未来要升到3.3.x不要直接换安装包覆盖目录正确路径是把新包解压到新目录拷贝老配置然后用hdfs dfsadmin -upgrade滚动升级。我自己的习惯是先在测试集群做一次完整升级演练记录每一步的消息状态再动生产集群。这三年我搭过几十套Hadoop环境最大的教训就是“格式化之前先备份元数据重启之前先看日志”。把这两条刻在脑子里能少走很多弯路。希望这些经验能帮到你。本文还有配套的精品资源点击获取
