<small id="qwgk2"></small>

<tfoot id="qwgk2"></tfoot>

電商Flink實(shí)時(shí)數倉項目

本實(shí)時(shí)數據倉庫項目是參考字節跳動(dòng)、拼多多等眾多互聯(lián)網(wǎng)大廠(chǎng)的實(shí)時(shí)數倉項目的經(jīng)典架構之后研發(fā)推出的，采用了當前主流的實(shí)時(shí)數據流處理框架Flink作為主要計算引擎。與尚硅谷的離線(xiàn)數據倉庫項目可以無(wú)縫對接，同樣引入了海量的真實(shí)點(diǎn)擊數據和業(yè)務(wù)數據，真正實(shí)現流批一體。
在項目開(kāi)發(fā)過(guò)程中，本項目使用AI智能輔助構建項目架構、輔助優(yōu)化代碼邏輯，詳解AI使用技巧，幫助學(xué)員快速提升AI驅動(dòng)力。
通過(guò)對這兩個(gè)項目的學(xué)習，學(xué)員可以說(shuō)真正掌握了大數據領(lǐng)域的兩把利劍。通過(guò)學(xué)習本項目掌握多種實(shí)時(shí)處理的關(guān)鍵技能，短時(shí)間內快速增長(cháng)開(kāi)發(fā)經(jīng)驗，全面滿(mǎn)足企業(yè)對實(shí)時(shí)開(kāi)發(fā)的要求。

適學(xué)人群

小白人群

渴望技術(shù)轉型
轉換行業(yè)的IT小白
高校畢業(yè)生

有一定技術(shù)基礎
希望增長(cháng)經(jīng)驗
接觸更廣技術(shù)面
IT從業(yè)者

從事一定年限技術(shù)開(kāi)發(fā)
目標突破自我
學(xué)習大數據技術(shù)
突破職業(yè)瓶頸
大數據從業(yè)者

從事大數據開(kāi)發(fā)工作
深耕離線(xiàn)計算
期待轉型實(shí)時(shí)開(kāi)發(fā)崗位
要求課程基礎

Linux、Flink
Java、ClickHouse
Redis、Kafka
等基礎框架

學(xué)習收獲

深入了解實(shí)時(shí)計算在大數據開(kāi)發(fā)中的重要地位深入了解實(shí)時(shí)數據倉庫的建模理論

靈活應用Flink的的流式計算技術(shù)，靈活掌握自定義函數、狀態(tài)編程、CDC、CEP、Flink SQL等技術(shù)

多種技術(shù)框架協(xié)調配合、靈活應用，徹底了解HBase、Redis、ClickHouse等在實(shí)時(shí)計算中的應用

將實(shí)時(shí)數據倉庫與離線(xiàn)數據倉庫真正融為一體，融會(huì )貫通整個(gè)大數據開(kāi)發(fā)的關(guān)鍵技術(shù)

數倉建模Flink計算Flink CEP可視化展示項目上線(xiàn)部署性能優(yōu)化安全監控

技術(shù)點(diǎn)

使用HBase+Phoenix的組合存儲DIM層維度數據，大大提高響應速度；
項目涵蓋5大類(lèi)用戶(hù)行為日志數據、34張真實(shí)開(kāi)發(fā)場(chǎng)景下的業(yè)務(wù)數據表、幾十個(gè)Flink實(shí)時(shí)計算任務(wù)、上百個(gè)實(shí)時(shí)計算指標、上萬(wàn)行實(shí)時(shí)開(kāi)發(fā)代碼；
參照大廠(chǎng)實(shí)際數倉建模理論，分層構建實(shí)時(shí)數據倉庫，ODS層、DIM層、DWD層、DWS層、ADS層，分層計算，數據分流，提高效率，降低耦合度；
使用Flink CDC結合MySQL動(dòng)態(tài)配置表，動(dòng)態(tài)獲取維度表配置，實(shí)現數據動(dòng)態(tài)自動(dòng)分流；
使用FlinkCEP技術(shù)實(shí)現不同用戶(hù)行為模式的識別；
結合鍵控狀態(tài)KeyedState的狀態(tài)編程實(shí)現數據去重，計算去重類(lèi)指標；
提供針對多種場(chǎng)景的雙流Join解決方案，深入分析各種解決方案的優(yōu)劣，培養問(wèn)題解決能力；
對各種指標計算需求提供Flink的Table API和Flink SQL兩種解決方案，滿(mǎn)足不同企業(yè)開(kāi)發(fā)需求，培養多角度開(kāi)發(fā)能力；

采用Redis進(jìn)行旁路緩存，提高響應速度，并使用Flink提供的異步IO進(jìn)行優(yōu)化；
采用ClickHouse實(shí)現最終寬表數據的存儲，大大提高數據查詢(xún)效率，并為用戶(hù)提供即席查詢(xún)、可視化報表展示的多樣可能性；
采用SpringBoot編寫(xiě)數據展示接口對接Sugar實(shí)現數據可視化大屏展示，熟練掌握數據展示接口的編寫(xiě)流程；
基于企業(yè)級的海量數據分析任務(wù)，對CPU配置、內存分配、并行度配置、CheckPoint等方面進(jìn)行廣泛的性能調優(yōu)；
詳細講解生產(chǎn)環(huán)境中會(huì )產(chǎn)生的反壓?jiǎn)?wèn)題，對反壓原因、反壓定位、反壓處理進(jìn)行詳細分解；
多角度分析大數據分析中常見(jiàn)的數據傾斜問(wèn)題，提供詳盡的問(wèn)題定位策略和多種解決方案；
詳細講解生產(chǎn)環(huán)境中常見(jiàn)的故障：非法配置異常、Java 堆空間異常、直接緩沖存儲器異常、元空間異常、網(wǎng)絡(luò )緩沖區數量不足、超出容器內存異常、Checkpoint 失敗、Checkpoint 慢、Kafka動(dòng)態(tài)發(fā)現分區、Watermark不更新、依賴(lài)沖突、超出文件描述符限制、臟數據導致數據轉發(fā)失敗等，令學(xué)員在短時(shí)間內掌握生產(chǎn)環(huán)境中常見(jiàn)到、難解決的開(kāi)發(fā)難題，迅速增長(cháng)經(jīng)驗，提升能力。