沒(méi)有接觸過(guò)互聯(lián)網(wǎng)行業(yè)
渴望技術(shù)轉型
轉換行業(yè)的IT小白
學(xué)習過(guò)一定的編程理論
希望提升經(jīng)驗
接觸更廣技術(shù)面
從事一定年限技術(shù)開(kāi)發(fā)
目標突破自我
學(xué)習大數據技術(shù)
突破職業(yè)瓶頸
從事大數據開(kāi)發(fā)工作
希望了解更多
大數據開(kāi)發(fā)技術(shù)
接觸更多實(shí)時(shí)分析架構
Linux、Spark、Scala
ElasticSearch、Redis
Kafka等基礎框架
全面掌握Scala語(yǔ)言開(kāi)發(fā)Spark的實(shí)時(shí)計算任務(wù)的開(kāi)發(fā)技巧；
充分了解使用不同的CDC框架，如Canal和Maxwell，采集MySQL變動(dòng)數據以及數據采集結構和數據分析方法；
掌握如何使用SparkStreaming和Kafka實(shí)現實(shí)時(shí)數據倉庫的分層數據管理，提高數據復用性，提高指標分析效率；
充分掌握使用SparkStreaming的實(shí)時(shí)計算開(kāi)發(fā)技巧和任務(wù)部署策略；
掌握ElasticSearch與SparkStreaming和SpringBoot的無(wú)縫對接技術(shù)，掌握SpringBoot編寫(xiě)數據展示接口，對數據進(jìn)行可視化大屏展示。
通過(guò)SparkStreaming解決了實(shí)時(shí)計算中常見(jiàn)的精確一次性消費問(wèn)題；
分別采用Canal和Maxwell作為MySQL的變動(dòng)數據采集工具，實(shí)時(shí)采集數據并發(fā)送至消息隊列Kafka中；
使用Scala語(yǔ)言開(kāi)發(fā)SparkStreaming的實(shí)時(shí)計算程序，利用高階函數抽象提取雙流join、維度關(guān)聯(lián)、精確一次性消費的工具類(lèi)，解決實(shí)時(shí)計算中的常見(jiàn)難題；
利用SpringBoot開(kāi)發(fā)數據可視化展示接口，熟練掌握接口編寫(xiě)流程。
利用SparkStreaming的廣播變量編寫(xiě)實(shí)時(shí)計算代碼優(yōu)化計算流程，提高計算效率；
項目覆蓋多種電商源數據、多種大數據分析框架配合使用、數十個(gè)實(shí)時(shí)數據分析指標，全程使用Scala語(yǔ)言作為SparkStreaming開(kāi)發(fā)語(yǔ)言，超過(guò)6000行代碼；
采用Redis存儲臨時(shí)性計算數據、采用ElasticSearch存儲明細數據、采用Kibana配置可視化分析，對接多種大數據分析框架，靈活組合應用，增加開(kāi)發(fā)經(jīng)驗；
地址：北京市昌平區宏福科技園2號樓3層（北京基地）
深圳市寶安區西部硅谷大廈B座A區一層（深圳基地）
上海市松江區谷陽(yáng)北路166號大江商廈4層（上海基地）
武漢市東湖高新區天頤科技園C棟3層（武漢基地）
西安市雁塔區和發(fā)智能大廈B座3層（西安基地）
成都市成華區北辰星拱青創(chuàng )園綜合樓2層（成都基地）
