電商離線數(shù)倉項(xiàng)目

項(xiàng)目涵蓋40多個(gè)Shell腳本，5大類用戶行為日志數(shù)據(jù)，34張業(yè)務(wù)數(shù)據(jù)原始表格，100多張電商大數(shù)據(jù)表格，100多個(gè)電商統(tǒng)計(jì)指標(biāo)；

充分調(diào)研各大廠數(shù)倉建模體系，以阿里巴巴的數(shù)據(jù)倉庫建模理論為最終藍(lán)本，搭建實(shí)用且貼近生產(chǎn)實(shí)際的數(shù)倉建模體系；

應(yīng)用建模理論，提出可實(shí)踐性強(qiáng)的數(shù)倉搭建理論過程，數(shù)據(jù)調(diào)研 → 明確數(shù)據(jù)域 → 構(gòu)建業(yè)務(wù)總線矩陣 → 維度模型設(shè)計(jì) → 明確統(tǒng)計(jì)指標(biāo) → 匯總模型設(shè)計(jì) → 分層構(gòu)建數(shù)倉；

多方參考大廠數(shù)倉分層體系，合理數(shù)據(jù)分層，降低數(shù)據(jù)耦合度，提高數(shù)據(jù)分析效率，降低數(shù)據(jù)計(jì)算成本；

基于五大主題指標(biāo)，分析統(tǒng)計(jì)100余個(gè)指標(biāo)，構(gòu)建ADS層；

采用Flume采集用戶行為日志數(shù)據(jù)，適配組件廣泛調(diào)研，給出詳細(xì)貼近實(shí)戰(zhàn)的配置文件，自定義采集組件，解決時(shí)間戳零點(diǎn)漂移，優(yōu)化小文件存儲(chǔ)帶來問題，提供更多實(shí)戰(zhàn)經(jīng)驗(yàn)；

采用流行數(shù)據(jù)采集框架DataX采集業(yè)務(wù)數(shù)據(jù)，提供詳細(xì)配置文件及腳本解讀，掌握更多腳本編寫技巧；

安裝部署受各大廠歡迎的DolphinScheduler工作流調(diào)度系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)倉庫搭建全流程定時(shí)自動(dòng)化調(diào)度以及故障自動(dòng)郵件告警；