Kafka

Kafka Exporter 用於接收 GRAVITY 資料節點的資料，並即時推送至 Kafka 訊息佇列系統。

快速安裝

若要安裝 Kafka Exporter，可以準備一個部署容器的 YAML 檔案（exporter.yaml）包括所有的相關設定，如下：

然後執行以下命令：

docker-compose -f exporter.yaml up -d

組態參數設定

若要設定 Kafka 資料輸出器（Exporter），可以藉由代入環境變數（Environment Variable）來達成，以下將對輸出器所支援的組態參數進行詳細說明。

本文件的參數方法

為了讓參數更容易被描述和說明，本文件將以簡化的方式表示各個參數，實際上所有所有環境變數皆以以下方式呈現：

GRAVITY_EXPORTER_KAFKA_ + ❮參數名稱❯

而參數名稱因為分類，所有的字元「 . 」在環境變數上都將替換成字元「 _ 」表示，例如當我們說參數為 GRAVITY.HOST 時，實際的環境變數為 GRAVITY_EXPORTER_KAFKA_GRAVITY_HOST。

GRAVITY 資料節點的連線資訊和參數

這裡是所有關於 GRAVITY 的相關參數，用於讓資料輸出器連接上資料節點，並註冊成為合法的資料接收端。

參數	資料型態	預設值	說明
GRAVITY.HOST	字串		目標 GRAVITY 之完整連線資訊（172.17.0.1:4222）
GRAVITY.DOMAIN	字串	gravity	指定目標 GRAVITY 資料節點之 Domain
SUBSCRIBER.SUBSCRIBER_ID	字串	kafka_exporter	指定資料輸出器在資料節點上的唯一識別 ID
SUBSCRIBER.SUBSCRIBER_NAME	字串	Kafka Transmitter	指定資料輸出器的顯示名稱

目標 Kafka 連線資訊

這裡是所有關於 Kafka 的參數，用於讓資料輸出器連接上目標 Kaka 主機。

參數	資料型態	預設值	說明
KAFKA.HOST	字串		目標 Kafka Cluster 完整連線資訊（以逗號隔開，如：172.17.0.1:9092,172.17.0.1:9093,172.17.0.1:9094）

進階設定

這裡是所有關於資料輸出器的進階設定。

參數	資料型態	預設值	說明
SUBSCRIBER.VERBOSE	布林值	false	是否顯示完整除錯訊息
SUBSCRIBER.PIPELINE_START	整數	0	指定接收範圍的起始管線，不得大於最終管線的數值。通常資料節點會將資料做分區處理，分為多個管線進行推送，我們可以指定要接收特定範圍的管線資料，實現資料分片（Sharding）或部分資料處理的需求。
SUBSCRIBER.PIPELINE_END	整數	-1	指定接受範圍的最終管線，若設定 -1 為起始管線之後的所有管線。
INITIAL_LOAD.ENABLED	布林值	true	是否啟用初始載入機制
INITIAL_LOAD.OMITTED_COUNT	整數	100000	指定與資料節點落差筆數。當因為系統異常、網路異常而導致資料落差過大時，會以初始化載入機制（Initial Load）重新輸出。

資料訂閱規則設定

GRAVITY 資料節點有多個資料集可供訂閱，透過設定 GRAVITY_EXPORTER_KAFKA_SUBSCRIPTION_SETTINGS 環境變數，可以指定要訂閱的資料集名稱。資料輸出器會依據設定，從指定的資料集（Collection）中獲取資料，然後寫入到目標 Kafka 的 Topic。

以下設定格式用於表示資料集和對應 Topic 的關係：

多 Topic 發送

一個資料集的事件可以發送到多個不同的 Topic，滿足一些終端應用程式的需求。