Hive学习

9.2 Hive系统架构

Hive执行引擎可以是MapReduce、Tez或Spark，这里只介绍MapReduce作为执行引擎时的Hive工作原理。主要包括下面两个内容：

当用户向 Hive 输入一段命令或查询时， Hive 需要与 Hadoop 交互工作来完成该操作：

Ø 驱动模块接收该命令或查询编译器

Ø 对该命令或查询进行解析编译

Ø 由优化器对该命令或查询进行优化计算

Ø 该命令或查询通过执行器进行执行

几点说明：

当启动 MapReduce 程序时， Hive 本身是不会生成 MapReduce 算法程序的

需要通过一个表示“ Job 执行计划”的 XML 文件驱动执行内置的、原生的 Mapper 和 Reducer 模块

Hive 通过和 JobTracker 通信来初始化 MapReduce 任务，不必直接部署在 JobTracker 所在的管理节点上执行

通常在大型集群上，会有专门的网关机来部署 Hive 工具。网关机的作用主要是远程操作和管理节点上的 JobTracker 通信来执行任务

数据文件通常存储在 HDFS 上， HDFS 由名称节点管理