谷咕云计算

分散式、高吞吐量、高可擴充套件性的訊息服務，100%相容開源 Apache Kafka 0.9-2.8

訊息佇列 CKafka 版（TDMQ for CKafka）是一個分散式、高吞吐量、高可擴充套件性的訊息系統，100%相容開源 Kafka API 0.9至2.8版本。CKafka 基於釋出/訂閱模式，透過訊息解耦，使生產者和消費者非同步互動，無需彼此等待。CKafka 具有高可用、資料壓縮、同時支援離線和即時資料處理等優點，適用於日誌壓縮收集、監控資料聚合、流式資料整合等場景。

應用場景

1、訊息佇列 CKafka 版 結合大資料套件 EMR，構建完整的日誌分析系統。首先透過部署在客戶端的 agent 進行日誌採集，並將資料聚合到訊息佇列 CKafka 版，之後通過後端的大資料套件如 Spark 等進行資料的多次計算消費，並且對原始日誌進行清理，落盤儲存或進行圖形化展示。

2、

訊息佇列 CKafka 版 結合流計算 SCS , 用於即時/離線資料處理及異常檢測，滿足不同場景需要：

• 對即時資料進行分析和展示，並做異常檢測，快速系統問題。
• 消費歷史資料進行落盤儲存和離線分析，對資料進行二次加工，生成趨勢報表等。

3、訊息佇列 CKafka 版 結合無伺服器雲函式 SCF , 可用於日誌消費處理、微服務以及大資料分析等場景。同時支援自定義資料處理，滿足不同場景下的訊息轉儲需求。

4、

CKafka 聯結器可應用在需要進行資料上報的場景。如手機 App 的操作行為分析、前端頁面的 Bug 日誌上報、業務資料的上報等等。一般情況下，這些上報的資料都需要轉儲到下游的儲存分析系統裡面進行處理（如 Elasticsearch，HDFS 等）。在常規操作中，我們需要搭建 Server、購買儲存系統、並在中間自定義程式碼進行資料接收、處理、轉儲等。流程繁瑣，長期系統維護成本高。

CKafka 聯結器旨在用 SaaS 化的思路解決這個問題，目標是透過如下兩步：介面配置、SDK 上報，完成整個鏈路的搭建，並基於 Serverless 理念，以按量計費，彈性伸縮，無需預估容量等方式，簡化客戶的研發投入成本和實際的使用成本。

5、

CKafka 聯結器支援基於 CDC(Change Data Capture)機制訂閱多款資料庫的變更資料。如訂閱MySQL 的 Binlog，MongoDB 的 Change Stream，PostgreSQL 的行級的資料變更(Row-level Change)，SQL Server 的行級的資料變更(Row-level Change)等。例如，在實際業務使用過程當中，業務經常需要訂閱 MySQL 的 Binlog 日誌，獲取 MySQL 的變更記錄(Insert、Update、Delete、DDL、DML 等)，並針對這些資料進行對應的業務邏輯處理，如查詢、故障恢復、分析等。

在預設情況下，客戶往往需要自定義搭建基於 CDC 的訂閱元件如（Canal、Debezium、Flink CDC 等）來完成對資料庫的資料訂閱。而在搭建、運維這些訂閱元件的過程中，人力投入成本較高，需要搭建配套的監控體系，保證訂閱元件的穩定執行。

基於此種情況，CKafka 聯結器提供 SaaS 化的元件，透過介面配置化的完成資料的訂閱、處理、轉儲等整個流程。

6、