Spark實(shí)時(shí)項(xiàng)目

本Spark實(shí)時(shí)項(xiàng)目依托企業(yè)級(jí)真實(shí)的實(shí)時(shí)數(shù)據(jù)分析環(huán)境，對(duì)目前互聯(lián)網(wǎng)大廠中常見(jiàn)的實(shí)時(shí)分析場(chǎng)景提出了一套全面實(shí)用的技術(shù)解決方案。本項(xiàng)目以Spark為核心技術(shù)引擎，并聯(lián)合使用了多種大數(shù)據(jù)流行計(jì)算框架，例如Kafka、Canal、Maxwell、ElasticSearch、Redis、Kibana等。為應(yīng)對(duì)不同的流式數(shù)據(jù)采集場(chǎng)景，本項(xiàng)目給出了多種MySQL變動(dòng)數(shù)據(jù)采集方案，并給出詳盡的框架安裝部署過(guò)程和代碼解讀流程。本項(xiàng)目全程使用SparkStreaming作為實(shí)時(shí)計(jì)算引擎，使用Scala作為開(kāi)發(fā)語(yǔ)言，簡(jiǎn)潔高效，貼近Spark開(kāi)發(fā)背景。通過(guò)本項(xiàng)目的學(xué)習(xí)，學(xué)員可以徹底掌握Spark這一流行計(jì)算引擎的實(shí)時(shí)計(jì)算功能，并解決了與其余多種大數(shù)據(jù)分析框架的兼容性，為學(xué)員增添了更多的實(shí)時(shí)計(jì)算開(kāi)發(fā)經(jīng)驗(yàn)。

適學(xué)人群

小白人群

沒(méi)有接觸過(guò)互聯(lián)網(wǎng)行業(yè)
渴望技術(shù)轉(zhuǎn)型
轉(zhuǎn)換行業(yè)的IT小白
高校畢業(yè)生

學(xué)習(xí)過(guò)一定的編程理論
希望提升經(jīng)驗(yàn)
接觸更廣技術(shù)面
IT從業(yè)者

從事一定年限技術(shù)開(kāi)發(fā)
目標(biāo)突破自我
學(xué)習(xí)大數(shù)據(jù)技術(shù)
突破職業(yè)瓶頸
大數(shù)據(jù)從業(yè)者

從事大數(shù)據(jù)開(kāi)發(fā)工作
希望了解更多
大數(shù)據(jù)開(kāi)發(fā)技術(shù)
接觸更多實(shí)時(shí)分析架構(gòu)
要求課程基礎(chǔ)

Linux、Spark、Scala
ElasticSearch、Redis
Kafka等基礎(chǔ)框架

學(xué)習(xí)收獲

全面掌握Scala語(yǔ)言開(kāi)發(fā)Spark的實(shí)時(shí)計(jì)算任務(wù)的開(kāi)發(fā)技巧；

充分了解使用不同的CDC框架，如Canal和Maxwell，采集MySQL變動(dòng)數(shù)據(jù)以及數(shù)據(jù)采集結(jié)構(gòu)和數(shù)據(jù)分析方法；

掌握如何使用SparkStreaming和Kafka實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的分層數(shù)據(jù)管理，提高數(shù)據(jù)復(fù)用性，提高指標(biāo)分析效率；

充分掌握使用SparkStreaming的實(shí)時(shí)計(jì)算開(kāi)發(fā)技巧和任務(wù)部署策略；

掌握ElasticSearch與SparkStreaming和SpringBoot的無(wú)縫對(duì)接技術(shù)，掌握SpringBoot編寫數(shù)據(jù)展示接口，對(duì)數(shù)據(jù)進(jìn)行可視化大屏展示。

技術(shù)點(diǎn)

通過(guò)SparkStreaming解決了實(shí)時(shí)計(jì)算中常見(jiàn)的精確一次性消費(fèi)問(wèn)題；
分別采用Canal和Maxwell作為MySQL的變動(dòng)數(shù)據(jù)采集工具，實(shí)時(shí)采集數(shù)據(jù)并發(fā)送至消息隊(duì)列Kafka中；
使用Scala語(yǔ)言開(kāi)發(fā)SparkStreaming的實(shí)時(shí)計(jì)算程序，利用高階函數(shù)抽象提取雙流join、維度關(guān)聯(lián)、精確一次性消費(fèi)的工具類，解決實(shí)時(shí)計(jì)算中的常見(jiàn)難題；
利用SpringBoot開(kāi)發(fā)數(shù)據(jù)可視化展示接口，熟練掌握接口編寫流程。

利用SparkStreaming的廣播變量編寫實(shí)時(shí)計(jì)算代碼優(yōu)化計(jì)算流程，提高計(jì)算效率；
項(xiàng)目覆蓋多種電商源數(shù)據(jù)、多種大數(shù)據(jù)分析框架配合使用、數(shù)十個(gè)實(shí)時(shí)數(shù)據(jù)分析指標(biāo)，全程使用Scala語(yǔ)言作為SparkStreaming開(kāi)發(fā)語(yǔ)言，超過(guò)6000行代碼；
采用Redis存儲(chǔ)臨時(shí)性計(jì)算數(shù)據(jù)、采用ElasticSearch存儲(chǔ)明細(xì)數(shù)據(jù)、采用Kibana配置可視化分析，對(duì)接多種大數(shù)據(jù)分析框架，靈活組合應(yīng)用，增加開(kāi)發(fā)經(jīng)驗(yàn)；

Spark實(shí)時(shí)項(xiàng)目

小白人群

高校畢業(yè)生

IT從業(yè)者

大數(shù)據(jù)從業(yè)者

要求課程基礎(chǔ)