教程簡介:
FlinkCDC是Flink社區開發的組件,搭配Flink流批一體數據計算引擎,能夠實現采集計算一體化,更加方便項目的需求開發和后續維護。
FlinkCDC 1.x帶來了Flink通過監控數據庫的Binlog,實時獲取數據庫動態變化數據,FlinkCDC 2.x帶來了無鎖全量同步,但都需要開發代碼完成同步數據功能。FlinkCDC 3.0形成了自己的框架,只需要一個配置信息,無須開發代碼即可實現數據同步,同時還能獲取元數據變更,即數據庫中添加字段之后,下游Sink端會自動同步變更元數據,無須重啟就可以做到同步表變更。
本套教程理論與實踐相結合,從FlinkCDC的基本使用入手,分別講解了DataStream和FlinkSQL兩種方式,充分調研FlinkCDC 3.0,給出了更優化的解決方案,并結合源碼深入分析了其核心原理。教程附贈全套視頻、代碼、文檔及資料。
-------------------------------------------
教程目錄:
01.FlinkCDC教程簡介
02.FlinkCDC-3.0-內容介紹
03.FlinkCDC-3.0-簡介(CDC是什么)
04.FlinkCDC-3.0-簡介(CDC的種類)
05.FlinkCDC-3.0-簡介(FlinkCDC)
06.FlinkCDC-3.0-案例實操(數據準備)
07.FlinkCDC-3.0-案例實操(創建項目&導入依賴)
08.FlinkCDC-3.0-案例實操(DataStream方式讀取 代碼編寫)
09.FlinkCDC-3.0-案例實操(DataStream方式讀取 代碼測試1)
10.FlinkCDC-3.0-案例實操(DataStream方式讀取 代碼測試2)
11.FlinkCDC-3.0-案例實操(DataStream方式讀取 代碼測試3)
12.FlinkCDC-3.0-案例實操(FlinkSQL方式讀取 代碼編寫&測試)
13.FlinkCDC-3.0-案例實操(MySQL到Doris 環境準備)
14.FlinkCDC-3.0-案例實操(MySQL到Doris 同步變更 測試)
15.FlinkCDC-3.0-案例實操(MySQL到Doris 路由變更 測試)