尚硅谷線上問診離線數(shù)倉項目
本套項目教程以線上問診為基礎(chǔ)業(yè)務(wù)，真實還原了線上問診平臺對于用戶數(shù)據(jù)的分析和統(tǒng)計，并以大屏展示的方法呈現(xiàn)數(shù)據(jù)分析的結(jié)果。
項目共分四大部分：數(shù)倉建模原理介紹、數(shù)倉模型搭建、DolphinScheduler全流程調(diào)度、SuperSet可視化大屏展示，以線上問診采集項目為前置基礎(chǔ)，使用線上問診采集項目的基礎(chǔ)架構(gòu)，將數(shù)據(jù)導(dǎo)入數(shù)倉中，對數(shù)據(jù)進行系統(tǒng)化的分析計算，最終得到指標(biāo)需求結(jié)果。
項目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Flink-CDC、Datax、DolphinScheduler、SuperSet等。通過本套視頻教程的學(xué)習(xí)，你將徹底了解數(shù)倉建模理論體系，深入認識線上問診平臺的業(yè)務(wù)理論體系！
教程目錄
001.數(shù)據(jù)采集課程內(nèi)容介紹
002.數(shù)據(jù)倉庫的概念
003.數(shù)據(jù)倉庫的架構(gòu)
004.項目需求分析
005.技術(shù)選型
006.系統(tǒng)數(shù)據(jù)流程設(shè)計
007.框架版本的選擇
008.服務(wù)器的選型
009.集群規(guī)模
010.集群規(guī)模設(shè)計
011.業(yè)務(wù)數(shù)據(jù)說明
012.虛擬機安裝配置
013.集群分發(fā)腳本
014.安裝JDK
015.環(huán)境變量配置說明
016.查看進程腳本
017.安裝Hadoop-配置集群
018.安裝Hadoop-配置歷史服務(wù)器
019.Hadoop群起腳本
020.HDFS存儲多目錄
021.集群數(shù)據(jù)均衡
022.Hadoop參數(shù)調(diào)優(yōu)
023.安裝ZooKeeper
024.ZooKeeper啟動腳本
025.ZooKeeper常用指令
026.安裝Kafka
027.Kafka群起腳本
028.Kafka常用指令-topic相關(guān)
029.Kafka常用指令-生產(chǎn)者和消費者相關(guān)
030.Flume安裝與項目經(jīng)驗
031.安裝MySQL
032.模擬生成數(shù)據(jù)
033.客戶端連接異常問題
034.Maxwell簡介
035.MySQL原理
036.安裝Maxwell
037.Maxwell啟動腳本
038.Maxwell數(shù)據(jù)同步
039.同步策略
040.數(shù)據(jù)同步工具
041.DataX簡介和框架設(shè)計
042.DataX運行流程
043.DataX調(diào)度思路
044.DataX與Sqoop的對比
045.DataX安裝
046.將數(shù)據(jù)從MySQL導(dǎo)入到HDFS-TableMode模式
047.將數(shù)據(jù)從MySQL導(dǎo)入到HDFS-QuerySQL模式
048.DataX傳參
049.將數(shù)據(jù)從HDFS導(dǎo)入到MySQL
050.DataX優(yōu)化
051.DataX配置文件生成
052.全量表數(shù)據(jù)同步腳本
053.Flume配置01
054.Flume配置02
055.增量表首日同步
056.Flume啟動停止腳本
057.安裝Hive
058.在線就診數(shù)倉項目簡介
059.數(shù)倉的概念
060.數(shù)倉架構(gòu)
061.建模的意義
062.ER模型
063.維度模型
064.事實表介紹
065.事務(wù)型事實表概述
066.事務(wù)型事實表的設(shè)計流程
067.事務(wù)型事實表的不足
068.事務(wù)型事實表的不足
069.周期型快照事實表的概念
070.周期型快照事實表設(shè)計與事實類型
071.累積型快照事實表
072.維度表設(shè)計
073.規(guī)范化與反規(guī)范化
074.全量快照維度表
075.拉鏈表
076.多值維度
077.多值屬性
078.數(shù)據(jù)倉庫的分層
079.數(shù)倉的構(gòu)建流程
080.數(shù)據(jù)調(diào)研
081.明確數(shù)據(jù)域
082.業(yè)務(wù)總線矩陣
083.明確統(tǒng)計指標(biāo)
084.維度模型與匯總模型設(shè)計
085.Hive引擎簡介
086.Hive on Spark兼容性說明
087.搭建Hive on Spark
088.ApplicationMaster資源比例調(diào)整
089.DataGrip使用
090.模擬產(chǎn)生數(shù)據(jù)
091.Hive常見問題和解決方案
092.ODS層設(shè)計要點
093.全量表建表
094.復(fù)雜數(shù)據(jù)類型回顧
095.Json數(shù)據(jù)建表
096.增量表建表
097.ODS數(shù)據(jù)加載腳本
098.維度表建模理論回顧
099.DIM層設(shè)計要點
100.醫(yī)生維度表建表
101.醫(yī)生維度表數(shù)據(jù)加載
102.醫(yī)院維度表建表和數(shù)據(jù)加載
103.藥品維度表建表和數(shù)據(jù)加載
104.患者維度表建表和數(shù)據(jù)加載
105.用戶維度表建表和數(shù)據(jù)加載
106.DIM層數(shù)據(jù)加載腳本
107.事實表建模理論回顧
108.DWD層設(shè)計要點
109.問診事務(wù)型事實表建表
110.問診事實表首日數(shù)據(jù)加載
111.問診事實表每日數(shù)據(jù)加載
112.問診支付成功事實表建表和首日加載
113.問診支付成功事實表每日數(shù)據(jù)加載
114.處方開單事實表建表和首日數(shù)據(jù)加載
115.處方開單事實表每日數(shù)據(jù)加載
116.處方支付成功事實表建表和首日數(shù)據(jù)加載
117.處方支付成功事實表每日數(shù)據(jù)加載
118.醫(yī)生注冊事實表建表和首日數(shù)據(jù)加載
119.醫(yī)生注冊事實表每日數(shù)據(jù)加載
120.用戶注冊事實表建表和數(shù)據(jù)加載
121.患者登記事實表建表和數(shù)據(jù)加載
122.用戶評價事實表建表和數(shù)據(jù)加載
123.DWD首日數(shù)據(jù)加載腳本
124.DWD每日數(shù)據(jù)加載腳本
125.DWS設(shè)計要點
126.醫(yī)院患者性別年齡段問診最近1日匯總表
127.醫(yī)院患者性別年齡段問診支付成功最近1日匯總表
128.醫(yī)院患者性別年齡段處方開單最近1日匯總表
129.醫(yī)院患者性別年齡段處方開單支付成功最近1日匯總表
130.醫(yī)生粒度問診最近1日匯總表
131.DWS 1d首日數(shù)據(jù)加載腳本
132.DWS 1d每日數(shù)據(jù)加載腳本
133.交易域醫(yī)院患者性別年齡段粒度問診最近n日匯總表
134.交易域醫(yī)院患者性別年齡段粒度問診支付成功最近n日匯總表
135.交易域醫(yī)院患者性別年齡段粒度處方開單最近n日匯總表
136.交易域醫(yī)院患者性別年齡段粒度處方開單支付成功最近n日匯總表
137.交易域醫(yī)生粒度問診最近n日匯總表
138.DWS nd數(shù)據(jù)加載腳本
139.交易域醫(yī)生粒度問診歷史至今匯總表
140.互動域醫(yī)院用戶粒度用戶評價歷史至今匯總表
141.互動域醫(yī)院粒度用戶評價歷史至今匯總表
142.DWS td首日數(shù)據(jù)加載腳本
143.DWS td每日數(shù)據(jù)加載腳本
144.ADS層設(shè)計要點
145.交易綜合統(tǒng)計
146.各醫(yī)院交易統(tǒng)計
147.各性別患者交易統(tǒng)計
148.各年齡段患者交易統(tǒng)計
149.醫(yī)生變動統(tǒng)計
150.用戶變動統(tǒng)計
151.評價綜合統(tǒng)計
152.各醫(yī)院評價統(tǒng)計
153.ADS數(shù)據(jù)加載腳本
154.MySQL建庫建表
155.將數(shù)據(jù)從HDFS導(dǎo)入到MySQL演示
156.生成DataX配置文件
157.ADS導(dǎo)數(shù)據(jù)到MySQL腳本
158.DolphinScheduler簡介
159.DolphinScheduler部署說明
160.安裝DolphinScheduler
161.安全中心配置
162.定義工作流與執(zhí)行工作流
163.定時調(diào)度
164.局部參數(shù)
165.全局參數(shù)
166.參數(shù)傳遞
167.參數(shù)的優(yōu)先級
168.內(nèi)置參數(shù)
169.引用依賴資源
170.告警通知
171.失敗重試
172.生成新數(shù)據(jù)
173.數(shù)倉工作流調(diào)度
174.Superset簡介
175.安裝Superset
176.Superset啟動腳本
177.Superset可視化
178.教程總結(jié)
