該項目涉及數十個(gè)Shell腳本、若干業(yè)務(wù)數據表格和數十張保險大數據表格，以及幾十個(gè)保險業(yè)務(wù)統計指標。

基于數倉建模理論，該項目執行完整的數倉搭建過(guò)程，包括數據調研、明確數據域、構建業(yè)務(wù)總線(xiàn)矩陣、設計維度模型、明確統計指標、設計匯總模型以及分層構建數倉。

數倉分層合理化，降低了數據之間的耦合度，提高了數據分析效率，同時(shí)也降低了數據計算成本。

該項目采用實(shí)戰式數據模擬策略，模擬生成全面的原始數據，并進(jìn)行了真實(shí)數據采集工作。

采用了流行數據采集框架DataX采集業(yè)務(wù)數據，并提供詳細的配置文件和腳本解讀，以幫助掌握更多的腳本編寫(xiě)技巧。

該項目使用Maxwell監控業(yè)務(wù)數據變動(dòng)情況，實(shí)現了更實(shí)時(shí)、更準確的數據采集，靈活使用Maxwell框架，全面掌握使用技巧。