金融審批實時數(shù)倉項目
金融審批實時數(shù)倉項目共分三大部分：實時數(shù)倉架構(gòu)介紹、數(shù)倉模型搭建、Sugar可視化大屏展示。金融審批實時數(shù)倉項目延續(xù)了離線數(shù)倉的業(yè)務邏輯，以金融租賃業(yè)務線為主題，從審批流程一直到設備租賃，完整地對金融租賃業(yè)務進行了各個流程的實時數(shù)據(jù)分析。
項目以金融審批采集項目為前置基礎(chǔ)，使用采集項目中搭建的虛擬機環(huán)境，讀取采集項目實時監(jiān)控的業(yè)務數(shù)據(jù)，對數(shù)據(jù)進行實時的分析計算，最終得到指標需求結(jié)果，寫出到Doris之后，使用Sugar進行可視化展示。
項目使用的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Phoenix、Redis、Doris、Sugar等。整套教程通過精煉的業(yè)務體系邏輯，幫助學習者快速掌握實時數(shù)倉所使用的技術(shù)手段。
教程目錄
01.金融審批實時數(shù)倉課程介紹
02.采集平臺內(nèi)容回顧
03.金融審批實時數(shù)倉搭建概念介紹
04.金融審批實時數(shù)倉基礎(chǔ)架構(gòu)介紹
05.金融審批實時數(shù)倉具體開發(fā)層級介紹
06.數(shù)倉建模ER模型介紹
07.數(shù)倉建模ER模型三范式介紹
08.數(shù)倉建模維度模型介紹
09.維度建模事實表簡單概述
10.維度建模事務型事實表介紹
11.維度建模周期快照事實表
12.維度建模累積快照事實表
13.維度建模維度表設計流程
14.維度表設計規(guī)范化和反規(guī)范化
15.維度表設計維度變化的選擇
16.維度表設計多值維度和多值屬性
17.數(shù)倉分層規(guī)劃介紹
18.數(shù)倉構(gòu)建流程簡單介紹
19.數(shù)倉構(gòu)建數(shù)據(jù)調(diào)研
20.數(shù)倉構(gòu)建明確數(shù)據(jù)域
21.數(shù)倉構(gòu)建業(yè)務總線矩陣和維度模型設計
22.數(shù)倉構(gòu)建指標分析和匯總模型設計
23.IDEA環(huán)境準備
24.Flink的環(huán)境準備
25.HBase的環(huán)境部署
26.Redis的環(huán)境部署
27.Doris的FE部署
28.Doris的BE集群安裝部署
29.Doris的BE集群bug解決
30.實時數(shù)倉ODS層開發(fā)
31.DIM_動態(tài)拆分維度表原理介紹
32.DIM_動態(tài)拆分維度表整體流程介紹
33.DIM_FlinkCDC的基礎(chǔ)介紹
34.DIM_FlinkCDC的使用演示
35.DIM_Flink讀取Kafka數(shù)據(jù)
36.DIM_整體流程介紹及封裝創(chuàng)建環(huán)境方法
37.DIM_工具類讀取Topic_db原始數(shù)據(jù)
38.DIM_讀取MySQL配置表數(shù)據(jù)
39.DIM_HBase創(chuàng)建關(guān)閉連接方法封裝
40.DIM_HBase創(chuàng)建表格的代碼實現(xiàn)
41.DIM_完成HBase創(chuàng)建表格的流程
42.DIM_合并兩條流的數(shù)據(jù)確定處理方法
43.DIM_處理合并流數(shù)據(jù)的核心方法編寫
44.DIM_初始化配置數(shù)據(jù)解決主流數(shù)據(jù)過早到的問題
45.DIM_寫出數(shù)據(jù)函數(shù)結(jié)構(gòu)編寫
46.DIM_HBase刪除寫入數(shù)據(jù)方法編寫
47.DIM_數(shù)據(jù)寫出演示
48.DWD_整體流程介紹
49.DWD_讀取業(yè)務數(shù)據(jù)篩選業(yè)務表格
50.DWD_按照授信id進行分組
51.DWD_動態(tài)分流數(shù)據(jù)狀態(tài)介紹
52.DWD_完成數(shù)據(jù)分流的結(jié)構(gòu)介紹
53.DWD_審批三種狀態(tài)的數(shù)據(jù)處理
54.DWD_添加批復狀態(tài)補全審批通過的信息
55.DWD_審批通過與新增授信合同制作數(shù)據(jù)先后問題
56.DWD_審批拒絕和審批取消的數(shù)據(jù)處理方式
57.DWD_批復數(shù)據(jù)后到的處理方式
58.DWD_授信表數(shù)據(jù)后到的處理編寫
59.DWD_審批域數(shù)據(jù)寫出到對應的Kafka主題
60.DWD_授信域數(shù)據(jù)分流寫出到對應的Kafka主題
61.DWD_合并合同制作及合同表數(shù)據(jù)流
62.DWD_分流處理租賃域數(shù)據(jù)架構(gòu)
63.DWD_完成租賃域數(shù)據(jù)分流
64.DWD_租賃域數(shù)據(jù)寫出
65.DWD_數(shù)據(jù)測試及bug解決
66.DWS_審批通過各行業(yè)各方向各信審經(jīng)辦窗口統(tǒng)計結(jié)構(gòu)介紹
67.DWS_審批通過聚合讀取數(shù)據(jù)及類型轉(zhuǎn)換
68.DWS_審批通過數(shù)據(jù)分組開窗聚合
69.DWS_使用泛型異步讀取DIM層數(shù)據(jù)介紹
70.DWS_HBase的異步連接及讀取數(shù)據(jù)架構(gòu)介紹
71.DWS_實現(xiàn)三級行業(yè)名稱和二級行業(yè)id的維度關(guān)聯(lián)
72.DWS_使用Redis實現(xiàn)旁路緩存優(yōu)化
73.DWS_完成全部的維度關(guān)聯(lián)
74.DWS_自定義工具將Bean轉(zhuǎn)JsonString
75.DWS_自定義注解過濾不需要的屬性
76.DWS_將窗口聚合數(shù)據(jù)寫出到Doris中
77.DWS_審批取消各維度窗口聚合代碼編寫
78.DWS_審批取消業(yè)務關(guān)聯(lián)維度數(shù)據(jù)及寫出到Doris
79.DWS_審批拒絕窗口匯總聚合
80.DWS_信審經(jīng)辦審批通過的窗口聚合數(shù)據(jù)
81.DWS_信審經(jīng)辦業(yè)務員審批通過數(shù)據(jù)寫出
82.DWS_信審經(jīng)辦粒度審批取消窗口匯總
83.DWS_信審經(jīng)辦粒度拒絕窗口匯總
84.DWS_授信新增窗口匯總
85.DWS_授信占用窗口匯總
86.DWS_合同制作窗口匯總
87.DWS_合同簽約各窗口匯總
88.DWS_合同起租各窗口匯總
89.可視化_Sugar使用方式介紹
90.可視化_數(shù)據(jù)接口的結(jié)構(gòu)介紹
91.可視化_內(nèi)網(wǎng)穿透介紹
92.可視化_漸變色各方向?qū)徟ㄟ^圖形可視化展示
