IT小白向大數據領(lǐng)域邁進(jìn)
掌握實(shí)用技能
增長(cháng)經(jīng)驗
搭建完善的項目
接觸廣泛技術(shù)面
學(xué)習前沿技術(shù)
突破職業(yè)瓶頸
掌握核心技能
Linux、Hadoop
Java、Hive
Flume、Kafka
等基礎框架
熟練使用Doris
充分掌握Doris概念與構建流程
熟練應用數倉建模理論
熟練掌握Doris與其他大數據框架的集成
采用當前大廠(chǎng)非常流行的Doris框架,實(shí)現統一數倉架構;
多方參考大廠(chǎng)數倉分層體系,合理數據分層,降低數據耦合度,提高數據分析效率,降低數據計算成本。
采用SeaTunnel監控業(yè)務(wù)數據變動(dòng)情況,做到實(shí)時(shí)準確的采集變動(dòng)數據。
采用SeaTunnel采集用戶(hù)行為日志數據,實(shí)時(shí)同步到Doris;
ODS層、DWD層、DIM層、DWS層和ADS層之間采用Doris+ DolphinScheduler框架10分鐘調度一次處理,真正做到統一數倉。
采用FineBI對結果數據進(jìn)行多圖表、儀表盤(pán)可視化展示;
分析總結項目搭建過(guò)程中遇到的問(wèn)題,增加開(kāi)發(fā)經(jīng)驗,提升實(shí)戰問(wèn)題解決能力。