電商項目（實時處理）

課程介紹

項目為使用Spark Streaming技術開發(fā)的大數(shù)據(jù)實時處理平臺，主要用于互聯(lián)網(wǎng)電商企業(yè)對各種用戶行為進行復雜的分析，將統(tǒng)計分析的結果以接口或圖形化的方式展示出來，輔助產(chǎn)品經(jīng)理、數(shù)據(jù)分析師以及管理人員分析現(xiàn)有產(chǎn)品的情況，并根據(jù)用戶行為分析結果持續(xù)改進產(chǎn)品的設計，以及調(diào)整公司的戰(zhàn)略和業(yè)務，最終達成用大數(shù)據(jù)技術幫助公司提升業(yè)績、營業(yè)額以及市場占有率的目標。

視頻總時長50小時+，附贈各種教輔資料，含筆記、代碼、資料、工具等。通過本套項目講解視頻學習，可掌握企業(yè)中使用Spark Streaming進行實時計算的完整流程，并掌握整個環(huán)節(jié)中涉及的各類框架技術，例如高可用的大數(shù)據(jù)采集框架、高并發(fā)的分布式消息隊列、基于內(nèi)存的高吞吐實時計算技術、海量存儲、毫秒級查詢的數(shù)據(jù)庫等。

內(nèi)容特點：
1、企業(yè)級大數(shù)據(jù)項目開發(fā)流程貫穿每個業(yè)務模塊的講解，囊括需求分析、方案設計、數(shù)據(jù)設計、編碼實現(xiàn)、測試以及性能調(diào)優(yōu)等環(huán)節(jié)，廣泛還原真實大數(shù)據(jù)項目的開發(fā)流程，對實時業(yè)務中涉及的雙流Join以及Kafka精準一次性消費的問題進行了細致的講解；

2、使用SpringBoot對用戶行為數(shù)據(jù)進行采集；

3、通過Canal和Maxwell對業(yè)務數(shù)據(jù)庫進行采集；

4、將數(shù)據(jù)采集到分布式消息隊列Kafka，并在Kafka中進行分層處理，主要分為ODS、DWD、DWS、ADS層；

5、使用當前最火爆的Spark Streaming搭建高吞吐的數(shù)據(jù)實時處理模塊；

6、選用ElasticSearch和ClickHouse作為最終的實時數(shù)據(jù)處理結果的存儲位置，并從中獲取數(shù)據(jù)進行展示，進一步降低響應時間對數(shù)據(jù)進行分析；

7、可視化展示使用ElasticSearch+Kibnana、自定義數(shù)據(jù)接口+可視化項目以及阿里巴巴的DataV進行可視化展示。

適合人群：
有Scala編程基礎，項目使用Scala語言進行開發(fā)；
了解Spark編程；
熟悉常用的技術框架，如Kafka、HBase等（相關技術教程可通過尚硅谷官網(wǎng)免費獲?。?。