Doris: Multi Catalog 多源数据目录

文章目录

前言
一、基本概念 :
- 目前能支持以下数据源：
- - JDBC 外部表
二、基本操作
三、元数据更新
四、JDBC Catalog
- 4.1 上传mysql驱动包
- 4.2 创建mysql catalog
总结

前言

Doris 是一个高性能的分析型数据库，它能够处理大规模的数据存储和分析任务。Doris 的 Catalog 是其核心组件之一，负责存储和管理元数据。

一、基本概念 :

多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。

目前能支持以下数据源：

1、Hive Metastore：可以访问包括 Hive、Iceberg、Hudi 在内的数据表，也可对接兼容 Hive Metastore 的数据源，如阿里云的 DataLake Formation，同时支持 HDFS 和对象存储上的数据访问。
2、Elasticsearch：访问 ES 数据源。
3、JDBC：支持通过 JDBC 访问 MySQL 数据源。

JDBC 外部表

在过去版本中，Apache Doris 提供了 ODBC 外部表的方式来访问 MySQL、Oracle、SQL Server、PostgreSQL 等数据源，但由于 ODBC 驱动版本问题可能造成系统的不稳定。相对于 ODBC，JDBC 接口更为统一且支持数据库众多，因此在 1.2.0 版本中我们实现了 JDBC 外部表以替换原有的 ODBC 外部表。在新版本中，用户可以通过 JDBC 连接支持 JDBC 协议的外部数据源，
当前已适配的数据源包括：
MySQL
PostgreSQL
Oracle
SQLServer
ClickHouse
更多数据源的适配已经在规划之中，原则上任何支持 JDBC 协议访问的数据库均能通过 JDBC 外部表的方式来访问。而之前的 ODBC 外部表功能将会在后续的某个版本中移除，还请尽量切换到 JDBC 外表功能。

二、基本操作

2.1 查看 catalog

show catalogs;

show catalogs

//模糊查询catalog
SHOW CATALOGS LIKE '%56%'
//查询该catalog下有哪些实例(库)
show databases from jdbc_oracle_zqxk40;
//查询该实例(库)下有哪些表
show tables from jdbc_oracle_zqxk40.`C##YUNZHENGDATA`;
//查询oracle远程表的数据
select * from jdbc_oracle_zqxk40.`C##YUNZHENGDATA`.BIAO1_QUANLIANGCHE limit 10;

2.2 新增catalog

CREATE CATALOG `jdbc_oracle_zqxk40` PROPERTIES ( 
                "type" = "jdbc", 
                "user" = "C##YUNZHENGDATA", 
                "password" = "xxx", 
                "jdbc_url" = "jdbc:oracle:thin:@//172.0.0.1:1521/ORCLCDB", 
                "driver_url" = "ojdbc6-11.2.0.3.jar", 
                "driver_class" = "oracle.jdbc.driver.OracleDriver"
            );

2.3 切换 catalog

switch catalog_name;

切换后，可以直接通过 SHOW DATABASES，USE DB 等命令查看和切换对应 Catalog 中的 Database。Doris 会自动通过 Catalog 中的 Database 和 Table。用户可以像使用 Internal Catalog 一样，对 External Catalog 中的数据进行查看和访问。

当前，Doris 只支持对 External Catalog 中的数据进行只读访问。

2.4 删除 catalog

DROP CATALOG IF EXISTS jdbc_oracle_56_dlyz_clear;

2.5 查看catalog创建信息

show create catalog jdbc_oracle_56_dlyz_clear;

三、元数据更新

默认情况下，外部数据源的元数据变动，如创建、删除表，加减列等操作，不会同步给 Doris。
用户可以通过以下几种方式刷新元数据。

3.1手动刷新

用户需要通过 REFRESH CATALOG catalog_name;命令手动刷新元数据。

3.2定时刷新

在创建catalog时，在properties 中指定刷新时间参数metadata_refresh_interval_sec ，以秒为单位，若在创建catalog时设置了该参数，FE 的master节点会根据参数值定时刷新该catalog。目前支持三种类型
hms：Hive MetaStore
es：Elasticsearch
jdbc：数据库访问的标准接口(JDBC)

3.3自动刷新

自动刷新目前仅支持 Hive Catalog。该特性在 fe.conf 中有如下参数：

enable_hms_events_incremental_sync: 是否开启元数据自动增量同步功能,默认关闭。
hms_events_polling_interval_ms: 读取 event 的间隔时间，默认值为 10000，单位：毫秒。
hms_events_batch_size_per_rpc: 每次读取 event 的最大数量，默认值为 500。

四、JDBC Catalog

JDBC Catalog 通过标准 JDBC 协议，连接其他数据源。连接后，Doris 会自动同步数据源下的 Database 和 Table 的元数据，以便快速访问这些外部数据。

4.1 上传mysql驱动包

需将 Jar 包预先存放在 FE 和 BE 部署目录的 jdbc_drivers/ 目录下。系统会自动在这个目录下寻找。该目录的位置，也可以由 fe.conf 和 be.conf 中的 jdbc_drivers_dir 配置修改。
修改fe和be配置文件，指定jdbc_drivers_dir目录。

4.2 创建mysql catalog

####mysql 8
CREATE CATALOG jdbc_mysql_233_8 PROPERTIES (
    "type"="jdbc",
    "user"="root",
    "password"="123456",
    "jdbc_url" = "jdbc:mysql://192.168.110.233:3307/demo",
    "driver_url" = "mysql-connector-java-8.0.30.jar",
    "driver_class" = "com.mysql.cj.jdbc.Driver"
)

####mysql 5
CREATE CATALOG jdbc_mysql_233_5  PROPERTIES (
    "type"="jdbc",
    "user"="root",
    "password"="123456",
    "jdbc_url" = "jdbc:mysql://192.168.110.233:3306/demo",
    "driver_url" = "mysql-connector-java-5.1.47.jar",
    "driver_class" = "com.mysql.jdbc.Driver"
)

总结

如果此篇文章有帮助到您, 希望打大佬们能关注、点赞、收藏、评论支持一波，非常感谢大家！
如果有不对的地方请指正!!!

参考1
参考2