金融審批實(shí)時(shí)數(shù)倉(cāng)項(xiàng)目
金融審批實(shí)時(shí)數(shù)倉(cāng)項(xiàng)目共分三大部分：實(shí)時(shí)數(shù)倉(cāng)架構(gòu)介紹、數(shù)倉(cāng)模型搭建、Sugar可視化大屏展示。金融審批實(shí)時(shí)數(shù)倉(cāng)項(xiàng)目延續(xù)了離線數(shù)倉(cāng)的業(yè)務(wù)邏輯，以金融租賃業(yè)務(wù)線為主題，從審批流程一直到設(shè)備租賃，完整地對(duì)金融租賃業(yè)務(wù)進(jìn)行了各個(gè)流程的實(shí)時(shí)數(shù)據(jù)分析。
項(xiàng)目以金融審批采集項(xiàng)目為前置基礎(chǔ)，使用采集項(xiàng)目中搭建的虛擬機(jī)環(huán)境，讀取采集項(xiàng)目實(shí)時(shí)監(jiān)控的業(yè)務(wù)數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析計(jì)算，最終得到指標(biāo)需求結(jié)果，寫出到Doris之后，使用Sugar進(jìn)行可視化展示。
項(xiàng)目使用的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Phoenix、Redis、Doris、Sugar等。整套教程通過(guò)精煉的業(yè)務(wù)體系邏輯，幫助學(xué)習(xí)者快速掌握實(shí)時(shí)數(shù)倉(cāng)所使用的技術(shù)手段。
教程目錄
01.金融審批實(shí)時(shí)數(shù)倉(cāng)課程介紹
02.采集平臺(tái)內(nèi)容回顧
03.金融審批實(shí)時(shí)數(shù)倉(cāng)搭建概念介紹
04.金融審批實(shí)時(shí)數(shù)倉(cāng)基礎(chǔ)架構(gòu)介紹
05.金融審批實(shí)時(shí)數(shù)倉(cāng)具體開發(fā)層級(jí)介紹
06.數(shù)倉(cāng)建模ER模型介紹
07.數(shù)倉(cāng)建模ER模型三范式介紹
08.數(shù)倉(cāng)建模維度模型介紹
09.維度建模事實(shí)表簡(jiǎn)單概述
10.維度建模事務(wù)型事實(shí)表介紹
11.維度建模周期快照事實(shí)表
12.維度建模累積快照事實(shí)表
13.維度建模維度表設(shè)計(jì)流程
14.維度表設(shè)計(jì)規(guī)范化和反規(guī)范化
15.維度表設(shè)計(jì)維度變化的選擇
16.維度表設(shè)計(jì)多值維度和多值屬性
17.數(shù)倉(cāng)分層規(guī)劃介紹
18.數(shù)倉(cāng)構(gòu)建流程簡(jiǎn)單介紹
19.數(shù)倉(cāng)構(gòu)建數(shù)據(jù)調(diào)研
20.數(shù)倉(cāng)構(gòu)建明確數(shù)據(jù)域
21.數(shù)倉(cāng)構(gòu)建業(yè)務(wù)總線矩陣和維度模型設(shè)計(jì)
22.數(shù)倉(cāng)構(gòu)建指標(biāo)分析和匯總模型設(shè)計(jì)
23.IDEA環(huán)境準(zhǔn)備
24.Flink的環(huán)境準(zhǔn)備
25.HBase的環(huán)境部署
26.Redis的環(huán)境部署
27.Doris的FE部署
28.Doris的BE集群安裝部署
29.Doris的BE集群bug解決
30.實(shí)時(shí)數(shù)倉(cāng)ODS層開發(fā)
31.DIM_動(dòng)態(tài)拆分維度表原理介紹
32.DIM_動(dòng)態(tài)拆分維度表整體流程介紹
33.DIM_FlinkCDC的基礎(chǔ)介紹
34.DIM_FlinkCDC的使用演示
35.DIM_Flink讀取Kafka數(shù)據(jù)
36.DIM_整體流程介紹及封裝創(chuàng)建環(huán)境方法
37.DIM_工具類讀取Topic_db原始數(shù)據(jù)
38.DIM_讀取MySQL配置表數(shù)據(jù)
39.DIM_HBase創(chuàng)建關(guān)閉連接方法封裝
40.DIM_HBase創(chuàng)建表格的代碼實(shí)現(xiàn)
41.DIM_完成HBase創(chuàng)建表格的流程
42.DIM_合并兩條流的數(shù)據(jù)確定處理方法
43.DIM_處理合并流數(shù)據(jù)的核心方法編寫
44.DIM_初始化配置數(shù)據(jù)解決主流數(shù)據(jù)過(guò)早到的問(wèn)題
45.DIM_寫出數(shù)據(jù)函數(shù)結(jié)構(gòu)編寫
46.DIM_HBase刪除寫入數(shù)據(jù)方法編寫
47.DIM_數(shù)據(jù)寫出演示
48.DWD_整體流程介紹
49.DWD_讀取業(yè)務(wù)數(shù)據(jù)篩選業(yè)務(wù)表格
50.DWD_按照授信id進(jìn)行分組
51.DWD_動(dòng)態(tài)分流數(shù)據(jù)狀態(tài)介紹
52.DWD_完成數(shù)據(jù)分流的結(jié)構(gòu)介紹
53.DWD_審批三種狀態(tài)的數(shù)據(jù)處理
54.DWD_添加批復(fù)狀態(tài)補(bǔ)全審批通過(guò)的信息
55.DWD_審批通過(guò)與新增授信合同制作數(shù)據(jù)先后問(wèn)題
56.DWD_審批拒絕和審批取消的數(shù)據(jù)處理方式
57.DWD_批復(fù)數(shù)據(jù)后到的處理方式
58.DWD_授信表數(shù)據(jù)后到的處理編寫
59.DWD_審批域數(shù)據(jù)寫出到對(duì)應(yīng)的Kafka主題
60.DWD_授信域數(shù)據(jù)分流寫出到對(duì)應(yīng)的Kafka主題
61.DWD_合并合同制作及合同表數(shù)據(jù)流
62.DWD_分流處理租賃域數(shù)據(jù)架構(gòu)
63.DWD_完成租賃域數(shù)據(jù)分流
64.DWD_租賃域數(shù)據(jù)寫出
65.DWD_數(shù)據(jù)測(cè)試及bug解決
66.DWS_審批通過(guò)各行業(yè)各方向各信審經(jīng)辦窗口統(tǒng)計(jì)結(jié)構(gòu)介紹
67.DWS_審批通過(guò)聚合讀取數(shù)據(jù)及類型轉(zhuǎn)換
68.DWS_審批通過(guò)數(shù)據(jù)分組開窗聚合
69.DWS_使用泛型異步讀取DIM層數(shù)據(jù)介紹
70.DWS_HBase的異步連接及讀取數(shù)據(jù)架構(gòu)介紹
71.DWS_實(shí)現(xiàn)三級(jí)行業(yè)名稱和二級(jí)行業(yè)id的維度關(guān)聯(lián)
72.DWS_使用Redis實(shí)現(xiàn)旁路緩存優(yōu)化
73.DWS_完成全部的維度關(guān)聯(lián)
74.DWS_自定義工具將Bean轉(zhuǎn)JsonString
75.DWS_自定義注解過(guò)濾不需要的屬性
76.DWS_將窗口聚合數(shù)據(jù)寫出到Doris中
77.DWS_審批取消各維度窗口聚合代碼編寫
78.DWS_審批取消業(yè)務(wù)關(guān)聯(lián)維度數(shù)據(jù)及寫出到Doris
79.DWS_審批拒絕窗口匯總聚合
80.DWS_信審經(jīng)辦審批通過(guò)的窗口聚合數(shù)據(jù)
81.DWS_信審經(jīng)辦業(yè)務(wù)員審批通過(guò)數(shù)據(jù)寫出
82.DWS_信審經(jīng)辦粒度審批取消窗口匯總
83.DWS_信審經(jīng)辦粒度拒絕窗口匯總
84.DWS_授信新增窗口匯總
85.DWS_授信占用窗口匯總
86.DWS_合同制作窗口匯總
87.DWS_合同簽約各窗口匯總
88.DWS_合同起租各窗口匯總
89.可視化_Sugar使用方式介紹
90.可視化_數(shù)據(jù)接口的結(jié)構(gòu)介紹
91.可視化_內(nèi)網(wǎng)穿透介紹
92.可視化_漸變色各方向?qū)徟ㄟ^(guò)圖形可視化展示
