教程簡(jiǎn)介:
FlinkCDC是Flink社區開(kāi)發(fā)的組件,搭配Flink流批一體數據計算引擎,能夠實(shí)現采集計算一體化,更加方便項目的需求開(kāi)發(fā)和后續維護。
FlinkCDC 1.x帶來(lái)了Flink通過(guò)監控數據庫的Binlog,實(shí)時(shí)獲取數據庫動(dòng)態(tài)變化數據,FlinkCDC 2.x帶來(lái)了無(wú)鎖全量同步,但都需要開(kāi)發(fā)代碼完成同步數據功能。FlinkCDC 3.0形成了自己的框架,只需要一個(gè)配置信息,無(wú)須開(kāi)發(fā)代碼即可實(shí)現數據同步,同時(shí)還能獲取元數據變更,即數據庫中添加字段之后,下游Sink端會(huì )自動(dòng)同步變更元數據,無(wú)須重啟就可以做到同步表變更。
本套教程理論與實(shí)踐相結合,從FlinkCDC的基本使用入手,分別講解了DataStream和FlinkSQL兩種方式,充分調研FlinkCDC 3.0,給出了更優(yōu)化的解決方案,并結合源碼深入分析了其核心原理。教程附贈全套視頻、代碼、文檔及資料。
-------------------------------------------
教程目錄:
01.FlinkCDC教程簡(jiǎn)介
02.FlinkCDC-3.0-內容介紹
03.FlinkCDC-3.0-簡(jiǎn)介(CDC是什么)
04.FlinkCDC-3.0-簡(jiǎn)介(CDC的種類(lèi))
05.FlinkCDC-3.0-簡(jiǎn)介(FlinkCDC)
06.FlinkCDC-3.0-案例實(shí)操(數據準備)
07.FlinkCDC-3.0-案例實(shí)操(創(chuàng )建項目&導入依賴(lài))
08.FlinkCDC-3.0-案例實(shí)操(DataStream方式讀取 代碼編寫(xiě))
09.FlinkCDC-3.0-案例實(shí)操(DataStream方式讀取 代碼測試1)
10.FlinkCDC-3.0-案例實(shí)操(DataStream方式讀取 代碼測試2)
11.FlinkCDC-3.0-案例實(shí)操(DataStream方式讀取 代碼測試3)
12.FlinkCDC-3.0-案例實(shí)操(FlinkSQL方式讀取 代碼編寫(xiě)&測試)
13.FlinkCDC-3.0-案例實(shí)操(MySQL到Doris 環(huán)境準備)
14.FlinkCDC-3.0-案例實(shí)操(MySQL到Doris 同步變更 測試)
15.FlinkCDC-3.0-案例實(shí)操(MySQL到Doris 路由變更 測試)