IT小白向大數據領(lǐng)域邁進(jìn)
掌握實(shí)用技能
增長(cháng)經(jīng)驗
搭建完善的項目
接觸廣泛技術(shù)面
學(xué)習前沿技術(shù)
突破職業(yè)瓶頸
掌握核心技能
Linux、Hadoop
Java、Hive
Flume、Kafka
等基礎框架
深入了解金融審批業(yè)務(wù)流程
學(xué)會(huì )構建金融行業(yè)的數據處理平臺
充分掌握多種大數據技術(shù)框架的協(xié)調應用
熟練應用數倉建模理論
包含數十個(gè)Shell腳本,涉及若干業(yè)務(wù)數據原始表格及幾十張金融審批大數據表格和幾十個(gè)金融審批統計指標。
根據完整的數倉建模體系,提出實(shí)踐性強的數倉搭建理論過(guò)程,進(jìn)行建模流程分析。
參考多方大廠(chǎng)的數倉分層體系,合理數倉分層,降低數據的耦合度,提高數據分析效率,同時(shí)降低數據計算成本。
采用實(shí)戰式數據模擬策略,模擬生成金融審批行業(yè)的原始業(yè)務(wù)員數據,針對真實(shí)數據執行數據采集工作。
采用流行數據采集框架DataX采集業(yè)務(wù)數據,提供詳細配置文件及腳本解讀,掌握更多腳本編寫(xiě)技巧。
采用Maxwell監控業(yè)務(wù)數據變動(dòng)情況,做到更實(shí)時(shí)更準確的變動(dòng)數據采集。
進(jìn)行真實(shí)數據ETL實(shí)操,掌握如何對原始數據進(jìn)行清洗、脫敏、數據分類(lèi)和整合。
基于業(yè)務(wù)總線(xiàn)矩陣構建數據倉庫DWD層,完成周期型快照事實(shí)表和累積型快照事實(shí)表的搭建和數據裝載。
基于業(yè)務(wù)總線(xiàn)矩陣構建數據倉庫DIM層。
基于指標體系分析構建DWS層,將相同粒度、統計周期的派生指標整合統計為寬表,提高計算結果復用性。
安裝部署DolphinScheduler,實(shí)現數據倉庫搭建全流程定時(shí)自動(dòng)化調度以及故障自動(dòng)郵件告警。
采用SuperSet對調度采集至RDBMS數據庫中的結果數據進(jìn)行多圖表、儀表盤(pán)可視化展示。
針對企業(yè)級數據倉庫的海量數據計算業(yè)務(wù),進(jìn)行全面的性能調優(yōu),包括CPU配置、內存分配、任務(wù)提交和任務(wù)執行計劃等方面。