課程介紹

在當今電商行業(yè)競爭激烈的環(huán)境下，數(shù)據(jù)實時處理與分析成為企業(yè)取得成功的關鍵因素之一。實時處理領域，F(xiàn)link被普遍認為是下一代大數(shù)據(jù)流計算引擎，本項目基于Flink實現(xiàn)電商實時數(shù)倉，利用Flink強大的功能，實時采集、處理和存儲電商業(yè)務中的海量數(shù)據(jù)，并為企業(yè)提供了全面、深入的數(shù)據(jù)分析能力。

教程通過思路分析、畫圖演示、代碼開發(fā)等多維方式，對數(shù)倉的構架過程及整體實現(xiàn)進行了詳細的講解。相較于實時數(shù)倉項目4.0，升級了項目架構設計和各個軟件的版本，并采用GitFlow任務流的形式對整體項目進行版本控制，使用StreamPark對項目進行部署和監(jiān)控。

項目采用的軟件及版本：Flink 1.17.1、Hadoop 3.3.4、Flume 1.10.1、Zookeeper 3.7.1、Kafka 3.6.1、Maxwell 1.29.2、Redis 6.0.8、HBase 2.4.11、Doris 2.1.0、StreamPark 2.1.4、FlinkCDC 2.4.2、MySQL 8.0.31等。