Debezium Adapter

Debezium Adapter 可以利用第三方 Debezium 工具來接收資料庫的資料變更事件。由於 Debezium 會將資料庫變更事件推送到 Kafka,此資料源適配器會從 Kafka 接收事件,並解析 Debezium 的事件格式。

快速安裝

若要安裝 Debezium Adapter,可以準備一個部署容器的 YAML 檔案(adapter.yaml)包括所有的相關設定,如下:

然後執行以下命令:

docker-compose -f adapter.yaml up -d

組態參數設定

若要設定 Debezium 資料源適配器(Adapter),可以藉由代入環境變數(Environment Variable)來達成,以下將對適配器所支援的組態參數進行詳細說明。

本文件的參數方法

為了讓參數更容易被描述和說明,本文件將以簡化的方式表示各個參數,實際上所有所有環境變數皆以以下方式呈現:
GRAVITY_ADAPTER_DEBEZIUM_ + ❮參數名稱❯
而參數名稱因為分類,所有的字元「 . 」在環境變數上都將替換成字元「 _ 」表示,例如當我們說參數為 GRAVITY.HOST 時,實際的環境變數為 GRAVITY_ADAPTER_DEBEZIUM_GRAVITY_HOST。

GRAVITY 資料節點的連線資訊和參數

這裡是所有關於 GRAVITY 的相關參數,用於讓資料源適配器連接上資料節點,並註冊成為合法的資料輸入源。

參數 資料型態 預設值 說明
GRAVITY.HOST 字串 目標 GRAVITY 之主機位置
GRAVITY.PORT 整數 目標 GRAVITY 主機之埠號
GRAVITY.DOMAIN 字串 gravity 指定資料節點服務的 Domain
ADAPTER.ADAPTER_ID 字串 debezium_adapter 指定資料源適配器在資料節點上的唯一識別 ID
ADAPTER.ADAPTER_NAME 字串 Debezium Adapter 指定資料源適配器的顯示名稱

資料來源設定

資料源適配器可以指定多個資料庫的來源,透過設定 GRAVITY_ADAPTER_DEBEZIUM_SOURCE_SETTINGS 環境變數,可以指定要訂閱的來源資料庫和資料表。資料源適配器會依據設定,從指定的來源獲取資料,然後輸入到 GRAVITY 資料節點。

以下設定格式用於設定多個資料源連線和訂閱資訊:

每個 Debezium 來源可以設定的屬性(Property)說明如下:

來源屬性 資料型態 預設值 說明
host 字串 來源之主機完整位置(例:127.0.0.1:31563)
configs 物件 Debezium 支援相關參數設定
kafka.hosts 字串 Kafka 的連線資訊
tables 物件 指定要接收的資料表清單

來源資料表的設定屬性如下:

屬性 資料型態 預設值 說明
events.snapshot 字串 自定義初始化載入事件的名稱
events.create 字串 自定義建立事件的名稱
events.update 字串 自定義變更事件的名稱
events.delete 字串 自定義刪除事件的名稱