沒有接觸過互聯(lián)網(wǎng)行業(yè)
渴望技術(shù)轉(zhuǎn)型
轉(zhuǎn)換行業(yè)的IT小白
學(xué)習(xí)過一定的編程理論
希望提升經(jīng)驗
接觸更廣技術(shù)面
從事一定年限技術(shù)開發(fā)
目標(biāo)突破自我
學(xué)習(xí)大數(shù)據(jù)技術(shù)
突破職業(yè)瓶頸
從事大數(shù)據(jù)開發(fā)工作
希望了解更多
大數(shù)據(jù)開發(fā)技術(shù)
接觸更多實時分析架構(gòu)
Linux、Spark、Scala
ElasticSearch、Redis
Kafka等基礎(chǔ)框架
全面掌握Scala語言開發(fā)Spark的實時計算任務(wù)的開發(fā)技巧;
充分了解使用不同的CDC框架,如Canal和Maxwell,采集MySQL變動數(shù)據(jù)以及數(shù)據(jù)采集結(jié)構(gòu)和數(shù)據(jù)分析方法;
掌握如何使用SparkStreaming和Kafka實現(xiàn)實時數(shù)據(jù)倉庫的分層數(shù)據(jù)管理,提高數(shù)據(jù)復(fù)用性,提高指標(biāo)分析效率;
充分掌握使用SparkStreaming的實時計算開發(fā)技巧和任務(wù)部署策略;
掌握ElasticSearch與SparkStreaming和SpringBoot的無縫對接技術(shù),掌握SpringBoot編寫數(shù)據(jù)展示接口,對數(shù)據(jù)進行可視化大屏展示。
通過SparkStreaming解決了實時計算中常見的精確一次性消費問題;
分別采用Canal和Maxwell作為MySQL的變動數(shù)據(jù)采集工具,實時采集數(shù)據(jù)并發(fā)送至消息隊列Kafka中;
使用Scala語言開發(fā)SparkStreaming的實時計算程序,利用高階函數(shù)抽象提取雙流join、維度關(guān)聯(lián)、精確一次性消費的工具類,解決實時計算中的常見難題;
利用SpringBoot開發(fā)數(shù)據(jù)可視化展示接口,熟練掌握接口編寫流程。
利用SparkStreaming的廣播變量編寫實時計算代碼優(yōu)化計算流程,提高計算效率;
項目覆蓋多種電商源數(shù)據(jù)、多種大數(shù)據(jù)分析框架配合使用、數(shù)十個實時數(shù)據(jù)分析指標(biāo),全程使用Scala語言作為SparkStreaming開發(fā)語言,超過6000行代碼;
采用Redis存儲臨時性計算數(shù)據(jù)、采用ElasticSearch存儲明細(xì)數(shù)據(jù)、采用Kibana配置可視化分析,對接多種大數(shù)據(jù)分析框架,靈活組合應(yīng)用,增加開發(fā)經(jīng)驗;