項目包含數十個(gè) Shell 腳本、多個(gè)傳感器日志數據和數十個(gè)統計指標。

深入研究各大企業(yè)的數據倉庫建模體系，并以阿里巴巴的數據倉庫建模理論作為基準，構建實(shí)用、貼近實(shí)際生產(chǎn)且具有廣泛應用性的數據倉庫建模體系。

根據建模理論，提出強實(shí)踐性的數據倉庫搭建理論過(guò)程，包括數據調研、明確數據域、構建業(yè)務(wù)總線(xiàn)矩陣、維度模型設計、明確統計指標、匯總模型設計和分層構建數據倉庫。

參考大型企業(yè)的數據倉庫分層體系，合理劃分數據層次，降低數據耦合度，提高數據分析效率并降低數據計算成本。

采用實(shí)戰式數據模擬策略，生成全面的原始數據，并針對實(shí)際數據進(jìn)行數據采集。

使用 Flume 收集傳感器日志數據，深入研究適配組件，提供詳細的實(shí)戰配置文件，自定義采集組件，解決時(shí)間戳漂移和優(yōu)化小文件存儲問(wèn)題，分享更多實(shí)戰經(jīng)驗。

采用當前流行的數據采集框架 DataX 收集業(yè)務(wù)數據，提供詳細的配置文件和腳本解讀，掌握更多腳本編寫(xiě)技巧。

真實(shí)數據ETL實(shí)踐，學(xué)會(huì )對原始數據進(jìn)行清洗、脫敏、數據分類(lèi)和整合。

基于業(yè)務(wù)總線(xiàn)矩陣，構建數據倉庫的DWD層，完成事務(wù)型事實(shí)表、周期型事實(shí)表和累積快照事實(shí)表的搭建與數據裝載。