Hadoop 常用端口号

Hadoop生态系统中各个组件运行时会使用不同的端口号进行通信，以下是一些常用的服务和它们的默认端口号：

  1. Hadoop HDFS (Hadoop Distributed File System)

    • NameNode:

      • Web UI：50070（Hadoop 2.x版本），9870（Hadoop 3.x版本）
      • IPC通信端口：8020（用于内部节点间通信）

    • DataNode：

      • 数据传输端口：50010（数据输出）、50020（数据输入）
      • 心跳与块报告端口：50075

  2. YARN (Yet Another Resource Negotiator)

    • ResourceManager (RM)：

      • Web UI：8088
      • IPC通信端口：8030（服务端口）、8031（客户端RPC端口）、8032（应用程序管理器端口）

    • NodeManager (NM)：

      • 接受来自ResourceManager的心跳请求：8041
      • 接收容器启动命令：8042
      • Web UI：8042

    • ApplicationMaster (AM)：

      • RPC端口由系统自动分配

  3. MapReduce JobHistory Server

    • Web UI：19888（Hadoop 2.x版本）

  4. Hadoop HttpFS

    • Web UI: 14000

  5. ZooKeeper

    • 默认端口：2181（ZooKeeper服务器之间的选举、同步以及客户端连接）

请注意，这些是Hadoop组件的标准默认端口，实际部署过程中可以根据需要在配置文件中修改。同时，不同版本的Hadoop可能对某些端口有所调整，请以具体部署环境的实际配置为准。