渴望技術(shù)轉型
轉換行業(yè)的IT小白
增長(cháng)經(jīng)驗
搭建完善的項目
接觸廣泛技術(shù)面
渴望了解新技術(shù)、新行業(yè)
有興趣了解數據分析
學(xué)習前沿技術(shù)
突破職業(yè)瓶頸
掌握核心技能
Linux、Hadoop
Java、Hive
Flume、Kafka
等基礎框架
全面了解廣告行業(yè)運營(yíng)流程
充分熟悉廣告行業(yè)指標體系
熟練掌握異常流量清洗過(guò)程
熟悉掌握數據倉庫技術(shù)框架
充分掌握FineBI數據分析工具
充分調研各大廠(chǎng)數倉建模體系,以阿里巴巴的數據倉庫建模理論為最終藍本,搭建實(shí)用且貼近生產(chǎn)實(shí)際的數倉建模體系;
應用建模理論,提出可實(shí)踐性強的數倉搭建理論過(guò)程,數據調研→明確數據域→構建業(yè)務(wù)總線(xiàn)矩陣→維度模型設計→明確統計指標→匯總模型設計→分層構建數倉;
多方參考大廠(chǎng)數倉分層體系,合理數據分層,降低數據耦合度,提高數據分析效率,降低數據計算成本;
實(shí)戰式數據模擬策略,真實(shí)廣告流量監測業(yè)務(wù)場(chǎng)景,模擬生成全面的原始數據,針對真實(shí)數據進(jìn)行分析統計;
采用Flume采集廣告監測日志,適配組件全面調研,給出詳細貼近實(shí)戰的配置文件,自定義采集組件,解決時(shí)間戳零點(diǎn)漂移,優(yōu)化小文件存儲帶來(lái)問(wèn)題,提供更多實(shí)戰經(jīng)驗;
采用流行數據采集框架DataX采集業(yè)務(wù)數據,提供詳細配置文件及腳本解讀,掌握更多腳本編寫(xiě)技巧;
真實(shí)數據ETL實(shí)操,結合Hive自定義函數,涵蓋對原始廣告日志數據的清洗、轉換以及遺產(chǎn)廣告流量的識別;
使用高性能OLAP數據庫ClickHouse實(shí)現低延時(shí)即席查詢(xún);
使用FineBI工具實(shí)現自助報表分析,具備鉆取、聯(lián)動(dòng)、篩選等交互功能。
安裝部署受各大廠(chǎng)歡迎的DolphinScheduler工作流調度系統,實(shí)現數據倉庫搭建全流程定時(shí)自動(dòng)化調度以及故障自動(dòng)郵件告警;