Hadoop组件端口汇总
各组件版本
- Hadoop 3.3.0
- ZooKeeper 3.5.8
- HBase 2.2.6
- Hive 3.1.2
HDFS
节点 | 默认端口 | 配置项 | 用途说明 |
---|---|---|---|
NameNode | 9000 | hadoop/etc/hadoop/core-site.xml中的fs.defaultFS | 接收Client连接的RPC端口,用于获取文件系统metadata信息 |
NameNode | 9870 | hadoop/etc/hadoop/hdfs-site.xml中的dfs.namenode.http-address | http服务的端口 |
DataNode | 9866 | hadoop/etc/hadoop/hdfs-site.xml中的dfs.datanode.address | datanode服务端口,用于数据传输 |
DataNode | 9867 | hadoop/etc/hadoop/hdfs-site.xml中的dfs.datanode.ipc.address | datanode ipc服务的端口 |
DataNode | 9864 | hadoop/etc/hadoop/hdfs-site.xml中的dfs.datanode.http.address | datanode http服务的端口 |
SecondaryNameNode | 9868 | hadoop/etc/hadoop/hdfs-site.xml中的dfs.namenode.secondary.http-address | SecondaryNameNode的http服务的端口 |
目前开放端口:
NameNode:9000
DataNode:9866、9867
YARN
组件 | 节点 | 默认端口 | 配置项 | 用途说明 |
---|---|---|---|---|
YARN | JobHistoryServer | 10020 | hadoop/etc/hadoop/mapred-site.xml中的mapreduce.jobhistory.address | JobHistoryServer的IPC端口 |
YARN | JobHistoryServer | 19888 | hadoop/etc/hadoop/mapred-site.xml中的mapreduce.jobhistory.webapp.address | JobHistoryServer的Web UI端口 |
YARN | JobHistoryServer | 10033 | hadoop/etc/hadoop/mapred-site.xml中的mapreduce.jobhistory.admin.address | HistoryServer的admin端口 |
YARN | ResourceManager | 8030 | hadoop/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.scheduler.address | scheduler组件的IPC端口 |
YARN | ResourceManager | 8031 | hadoop/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.resource-tracker.address | IPC |
YARN | ResourceManager | 8032 | hadoop/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.address | RM的applications manager(ASM)端口 |
YARN | ResourceManager | 8033 | hadoop/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.admin.address | admin IPC |
YARN | ResourceManager | 8088 | hadoop/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.webapp.address | http服务端口 |
YARN | NodeManager | 8040 | hadoop/etc/hadoop/yarn-site.xml中的yarn.nodemanager.localizer.address | NM的localizer IPC |
YARN | NodeManager | 8042 | hadoop/etc/hadoop/yarn-site.xml中的yarn.nodemanager.webapp.address | http服务端口 |
YARN | NodeManager | 13562 | hadoop/etc/hadoop/mapred-site.xml中的mapreduce.shuffle.port | ShuffleHandler的运行端口 |
YARN | NodeManager | 随机端口(已统一改成13579) | hadoop/etc/hadoop/yarn-site.xml中的yarn.nodemanager.address | NM的container manager端口 |
目前开放端口:
JobHistoryServer :10020、10033
ResourceManager:8030、8031、8032、8033
NodeManager:8040、13562、13579
HBase
组件 | 节点 | 默认端口 | 配置项 | 用途说明 |
---|---|---|---|---|
HBase | HMaster | 16000 | hbase/conf/hbase-site.xml中的hbase.master.port | HMaster绑定的端口 |
HBase | HMaster | 16010 | hbase/conf/hbase-site.xml中的hbase.master.info.port | Http服务端口,访问HMaster的Web UI |
HBase | HRegionServer | 16020 | hbase/conf/hbase-site.xml中的hbase.regionserver.port | HRegionServer绑定的端口 |
HBase | HRegionServer | 16030 | hbase/conf/hbase-site.xml中的hbase.regionserver.info.port | Http服务端口,访问HRegionServer的Web UI |
目前开放端口:
HMaster:16000
HRegionServer:16020
ZooKeeper
组件 | 节点 | 默认端口 | 配置项 | 用途说明 |
---|---|---|---|---|
ZooKeeper | Server | 2181 | zookeeper/conf/zoo.cfg中的clientPort | 对客户端提供服务的端口 |
ZooKeeper | Server | 2888 | zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn] | Follower与集群中的 Leader交换信息的端口,只在Leader上监听该端口。(但是三个节点都要开,因为不知道重新选举后Leader会是谁) |
ZooKeeper | Server | 3888 | zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn] | 万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。 |
ZooKeeper | Server | 8080 | zookeeper/conf/zoo.cfg中的admin.serverPort | Zookeeper3.5的新特性,Zookeeper AdminServer默认使用8080端口 |
ZooKeeper | Server | 随机生成 | 参考1、参考2 | JMX端口,建议关闭,参考官方JMX文档 |
目前开放端口:
ALL:2181、2888、3888、8080
Hive
组件 | 节点 | 默认端口 | 配置项 | 用途说明 |
---|---|---|---|---|
Hive | HiveServer2 | 10000 | hive/conf/hive-site.xml中的hive.server2.thrift.port | 对客户端提供服务的TCP监听端口 |
Hive | HiveServer2 | 10002 | hive/conf/hive-site.xml中的hive.server2.webui.port | HiveServer2访问Web UI的端口 |
目前开放端口:10000、10002
目前进程
1 | [hadoop@cpu-node1 ~]$ jps |
参考
评论
TwikooWaline