熟悉Linux、Hadoop、Hive、Flume、Kafka
Spark、Springboot、Flink、Vue等基礎框架
以一個(gè)數據平臺的搭建為切入點(diǎn),了解數據治理的相關(guān)業(yè)務(wù)知識
通過(guò)獲取Hive元數據,實(shí)現元數據的查詢(xún)、血緣查詢(xún)、數據治理等等
深度了解DolphinScheduler,實(shí)現對數倉的調度管理 ,并整合其底層數據實(shí)現一定的數據治理和質(zhì)量監控
深度了解StreamX, 實(shí)現實(shí)時(shí)數倉的調度管理
學(xué)習數據質(zhì)量監控的設計與實(shí)現
學(xué)習以評分績(jì)效方式對數據治理各個(gè)方便的管控
采集并分析Hive元數據;
DolphinScheduler的使用及底層元數據整合;
StreamX的使用及底層元數據整合;
Neo4j實(shí)現數倉血緣管理;
利用Debezium實(shí)現接多種數據源的采集;
利用Presto實(shí)現即席查詢(xún);
設計并實(shí)現自定義數據質(zhì)量監控;
設計并實(shí)現動(dòng)態(tài)數據治理評分;
對接多種預警平臺,包括企業(yè)號、微信、語(yǔ)言通話(huà);
通過(guò)Vue.js 和 Echarts實(shí)現可視化及圖表展示。