大連大數(shù)據(jù)培訓(xùn)

階段一：走進(jìn)大數(shù)據(jù)

第1周 學(xué)好大數(shù)據(jù)先攻克Linux

在步入大數(shù)據(jù)殿堂之前，先帶領(lǐng)大家快速掌握大數(shù)據(jù)的必備技能：Linux的操作使用，為后面學(xué)習(xí)大數(shù)據(jù)技術(shù)打下堅(jiān)實(shí)基礎(chǔ)。

課程安排：

1、掌握Linux虛擬機(jī)的安裝和配置

2、使用ScecureCRT連接Linux虛擬機(jī)

3、掌握Linux中常見(jiàn)高級(jí)命令(vi、wc、sort、date、jps、kill等命令)的使用

4、掌握Linux中三劍客(grep、sed、awk)的常見(jiàn)用法

5、掌握Linux的高級(jí)配置(ip、hostname、防火墻)

6、掌握Shell腳本的開(kāi)發(fā)

7、掌握Shell中變量、循環(huán)和判斷的使用

8、掌握Shell中的擴(kuò)展內(nèi)容

9、掌握Linux中crontab定時(shí)器的使用

10、了解認(rèn)識(shí)什么是大數(shù)據(jù)

11、大數(shù)據(jù)產(chǎn)生的背景

12、大數(shù)據(jù)的4V特征

13、大數(shù)據(jù)的行業(yè)應(yīng)用

第2周 大數(shù)據(jù)起源之初識(shí)Hadoop

Hadoop是大數(shù)據(jù)學(xué)習(xí)大數(shù)據(jù)必經(jīng)之路，本周帶領(lǐng)大家了解Hadoop，以及Hadoop集群的安裝部署。

課程安排：

1、什么是Hadoop

2、Hadoop發(fā)行版介紹

3、Hadoop版本演變歷史

4、Ha*****.x的細(xì)節(jié)優(yōu)化

5、Hadoop三大核心組件介紹

6、偽分布集群安裝部署

7、分布式集群安裝部署

8、Hadoop的客戶(hù)端節(jié)點(diǎn)

第3周 Hadoop之HDFS的使用

通過(guò)生活場(chǎng)景"小明租房"案例引入HDFS核心架構(gòu)，掌握HDFS的常見(jiàn)Shell操作以及Java代碼操作，對(duì)以后實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)打下基礎(chǔ)。

課程安排：

1、生活場(chǎng)景引入："小明租房"案例一步一步引入Hadoop中的分布式存儲(chǔ)架構(gòu)

2、HDFS的Shell介紹

3、HDFS的常見(jiàn)Shell操作

4、HDFS案例實(shí)操

5、Java代碼操作HDFS

第4周 Hadoop之HDFS核心進(jìn)程剖析

通過(guò)對(duì)HDFS中核心進(jìn)程N(yùn)ameNode、SecondaryNameNode、DataNode進(jìn)行詳細(xì)分析，幫助大家更好的理解HDFS的底層原理

課程安排：

1、NameNode介紹

2、NameNode深入

3、SecondaryNameNode介紹

4、DataNode介紹

5、HDFS的回收站

6、HDFS的安全模式詳解

7、實(shí)戰(zhàn)：定時(shí)上傳數(shù)據(jù)至HDFS

8、HDFS的高可用和高擴(kuò)展機(jī)制分析

第5周 Hadoop之初識(shí)MR

通過(guò)"計(jì)算撲克牌中的黑桃個(gè)數(shù)"案例引入MapReduce的思想，詳細(xì)分析了MapReduce的執(zhí)行流程，并且通過(guò)開(kāi)發(fā)WordCount案例加深理解。

課程安排：

1、MapReduce介紹

2、 MapReduce執(zhí)行原理

3、實(shí)戰(zhàn)：WordCount案例圖解

4、實(shí)戰(zhàn)：WordCount案例開(kāi)發(fā)

5、MapReduce任務(wù)日志查看

6、停止Hadoop集群中的任務(wù)

7、MapReduce程序擴(kuò)展

階段二：PB級(jí)離線(xiàn)數(shù)據(jù)計(jì)算分析方案

第6周 拿來(lái)就用的企業(yè)級(jí)解決方案

詳細(xì)分析了小文件的解決方案、數(shù)據(jù)傾斜的解決方案、YARN調(diào)度器的使用、以及Hadoop在CDH和HDP中的使用。

課程安排：

1、小文件問(wèn)題之SequenceFile

2、小文件問(wèn)題之MapFile

3、案例：小文件存儲(chǔ)和計(jì)算

4、 數(shù)據(jù)傾斜問(wèn)題分析

5、數(shù)據(jù)傾斜案例實(shí)戰(zhàn)

6、YARN的基本情況介紹

7、YARN中的調(diào)度器分析

8、案例：YARN多資源隊(duì)列配置和使用

9、Hadoop官方文檔使用指北

10、Hadoop在CDH中的使用

11、Hadoop在HDP中的使用

第7周 Flume從0到高手一站式養(yǎng)成記

Flume是一個(gè)分布式、高可靠、高可用的系統(tǒng)，能夠有效的收集、聚合、移動(dòng)大量的日志數(shù)據(jù)，在數(shù)據(jù)采集領(lǐng)域，屬于中流砥柱，在這里通過(guò)原理、實(shí)戰(zhàn)、監(jiān)控、優(yōu)化等層面對(duì)Flume進(jìn)行學(xué)習(xí)。

課程安排：

1、快速了解Flume

2、Flume的三大核心組件

3、Flume安裝部署

4、Flume的Hello World

5、案例：采集文件內(nèi)容上傳至HDFS

6、Flume高級(jí)組件之Source Interceptors

7、Flume高級(jí)組件之Channel Selectors

8、Flume高級(jí)組件之Sink Processors

9、各種自定義組件

10、Flume優(yōu)化

11、Flume進(jìn)程監(jiān)控

第8周 數(shù)據(jù)倉(cāng)庫(kù)Hive從入門(mén)到小牛

頻繁的開(kāi)發(fā)MapReduce是非常繁瑣的，并且很多業(yè)務(wù)人員是不懂代碼的，如何讓他們也可以很方便的操作HDFS中的海量數(shù)據(jù)呢？Hive的橫空出世，解決了這一難題。

課程安排：

1、快速了解Hive

2、數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別

3、Hive安裝部署

4、Hive使用方式之命令行方式

5、Hive使用方式之JDBC方式

6、Set命令的使用

7、Hive的日志配置

8、Hive中數(shù)據(jù)庫(kù)的操作

9、Hive中表的操作

10、Hive中數(shù)據(jù)類(lèi)型的應(yīng)用

11、Hive表類(lèi)型之內(nèi)部表+外部表

12、Hive表類(lèi)型之內(nèi)部分區(qū)表

13、Hive表類(lèi)型之外部分區(qū)表

14、Hive表類(lèi)型之桶表+視圖

15、Hive數(shù)據(jù)處理綜合案例

16、Hive高級(jí)函數(shù)之分組排序取TopN

17、Hive高級(jí)函數(shù)之行轉(zhuǎn)列

18、Hive高級(jí)函數(shù)之列轉(zhuǎn)行

19、Hive的排序函數(shù)

20、Hive的分組和去重函數(shù)

21、一個(gè)SQL語(yǔ)句分析

22、Hive的Web工具-HUE

階段三：Spark+綜合項(xiàng)目：電商數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)與實(shí)戰(zhàn)

第9周 7天極速掌握Scala語(yǔ)言

Scala的函數(shù)式編程受到很多框架的青睞，例如Kafka、Spark、Flink等框架都是使用Scala作為底層源碼開(kāi)發(fā)語(yǔ)言，下面就帶著大家7天極速掌握Scala語(yǔ)言。

課程安排：

1、快速了解Scala

2、Scala環(huán)境安裝配置

3、Scala中的變量和數(shù)據(jù)類(lèi)型

4、Scala中的表達(dá)式和循環(huán)

5、Scala集合體系之Set+List+Map

6、Scala中的Array和Tuple

7、Scala中函數(shù)的使用

8、Scala面向?qū)ο笾?lèi)的使用

9、Scala面向?qū)ο笾畬?duì)象和伴生對(duì)象

10、Scala面向?qū)ο笾產(chǎn)pply和main的使用

11、Scala面向?qū)ο笾涌诘氖褂?/p>

12、Scala函數(shù)式編程之匿名函數(shù)和高階函數(shù)的使用

13、Scala高級(jí)特性之模式匹配和隱式轉(zhuǎn)換

第10周 Spark快速上手

Spark是目前企業(yè)中應(yīng)用廣泛的計(jì)算引擎，盤(pán)它！實(shí)際案例詳細(xì)分析Spark中的Transformation算子和Action算子使用，RDD持久化，共享變量使用，通過(guò)一個(gè)綜合案例加深理解。

課程安排：

1、快速了解Spark

2、Spark 集群安裝部署(Standalone+ON YARN)

3、Spark工作原理分析

4、什么是RDD

5、Spark架構(gòu)原理

6、Spark項(xiàng)目開(kāi)發(fā)環(huán)境配置

7、WordCount代碼開(kāi)發(fā)(Java+Scala)

8、Spark任務(wù)的三種提交方式

9、Spark開(kāi)啟historyServer服務(wù)

10、創(chuàng)建RDD的三種方式

11、Transformation和Action介紹

12、Transformation操作開(kāi)發(fā)實(shí)戰(zhàn)

13、Action操作開(kāi)發(fā)實(shí)戰(zhàn)

14、RDD持久化原理

15、RDD持久化開(kāi)發(fā)實(shí)戰(zhàn)

16、共享變量之Broadcast Variable的使用

17、共享變量之Accumulator的使用

18、案例實(shí)戰(zhàn)：TopN主播統(tǒng)計(jì)

19、面試題

第11周 Spark性能優(yōu)化的道與術(shù)

通過(guò)對(duì)Spark中的寬依賴(lài)、窄依賴(lài)、Stage、Shuffle機(jī)制進(jìn)行詳細(xì)分析，加深對(duì)Spark的理解，以及對(duì)Spark中的checkpoint機(jī)制通過(guò)源碼層面進(jìn)行深度剖析。

課程安排：

1、寬依賴(lài)和窄依賴(lài)

2、Stage的理解

3、Spark任務(wù)的三種提交模式

4、Shuffle介紹

5、三種Shuffle機(jī)制分析

6、checkpoint概述

7、checkpoint和持久化的區(qū)別

8、checkpoint代碼開(kāi)發(fā)和執(zhí)行分析

9、checkpoint源碼分析之寫(xiě)操作和讀操作

10、Spark程序性能優(yōu)化分析

11、高性能序列化類(lèi)庫(kù)Kryo的使用

12、持久化或者checkpoint

13、JVM垃圾回收調(diào)憂(yōu)

14、提高并行度

15、數(shù)據(jù)本地化

16、算子優(yōu)化

17、SparkSql快速上手使用

18、實(shí)戰(zhàn)：SparkSQL實(shí)現(xiàn)TopN主播統(tǒng)計(jì)

第12周 綜合項(xiàng)目：電商數(shù)據(jù)倉(cāng)庫(kù)之用戶(hù)行為數(shù)倉(cāng)

整合各個(gè)業(yè)務(wù)線(xiàn)數(shù)據(jù)，為各個(gè)業(yè)務(wù)系統(tǒng)提供統(tǒng)一&規(guī)范的數(shù)據(jù)出口。通過(guò)對(duì)項(xiàng)目的由來(lái)，需求、技術(shù)進(jìn)行分析和選型，實(shí)現(xiàn)用戶(hù)行為數(shù)據(jù)數(shù)倉(cāng)開(kāi)發(fā)。

課程安排：

1、項(xiàng)目效果展示

2、項(xiàng)目的由來(lái)

3、什么是數(shù)據(jù)倉(cāng)庫(kù)

4、數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)知識(shí)

5、數(shù)據(jù)倉(cāng)庫(kù)分層

6、典型數(shù)倉(cāng)系統(tǒng)架構(gòu)分析

7、技術(shù)選型

8、整體架構(gòu)設(shè)計(jì)

9、服務(wù)器資源規(guī)劃

10、生成用戶(hù)行為數(shù)據(jù)【客戶(hù)端數(shù)據(jù)】

11、生成商品訂單相關(guān)數(shù)據(jù)【服務(wù)端數(shù)據(jù)】

12、采集用戶(hù)行為數(shù)據(jù)【客戶(hù)端數(shù)據(jù)】

13、Sqoop安裝部署

14、Sqoop之?dāng)?shù)據(jù)導(dǎo)入功能

15、Sqoop之?dāng)?shù)據(jù)導(dǎo)出功能

16、采集商品訂單相關(guān)數(shù)據(jù)【服務(wù)端數(shù)據(jù)】

17、用戶(hù)行為數(shù)據(jù)數(shù)倉(cāng)開(kāi)發(fā)之ods層開(kāi)發(fā)

18、用戶(hù)行為數(shù)據(jù)數(shù)倉(cāng)開(kāi)發(fā)之ods層腳本抽取

19、用戶(hù)行為數(shù)據(jù)數(shù)倉(cāng)開(kāi)發(fā)之dwd層開(kāi)發(fā)

20、用戶(hù)行為數(shù)據(jù)數(shù)倉(cāng)開(kāi)發(fā)之dwd層腳本抽取

21、用戶(hù)行為數(shù)據(jù)數(shù)倉(cāng)需求分析

22、用戶(hù)行為數(shù)據(jù)數(shù)倉(cāng)需求開(kāi)發(fā)

23、用戶(hù)行為數(shù)據(jù)數(shù)倉(cāng)表和任務(wù)腳本總結(jié)

第13周 綜合項(xiàng)目：電商數(shù)據(jù)倉(cāng)庫(kù)之商品訂單數(shù)倉(cāng)

基于商品訂單數(shù)據(jù)開(kāi)發(fā)數(shù)倉(cāng)，詳細(xì)分析了拉鏈表的由來(lái)和具體實(shí)現(xiàn)。使用數(shù)據(jù)可視化工具Zepplin實(shí)現(xiàn)數(shù)據(jù)展現(xiàn)，使用Azkaban調(diào)度器實(shí)現(xiàn)任務(wù)依賴(lài)調(diào)度。

課程安排：

1、商品訂單數(shù)據(jù)數(shù)倉(cāng)開(kāi)發(fā)之ods層和dwd層

2、商品訂單數(shù)據(jù)數(shù)倉(cāng)需求分析與開(kāi)發(fā)

3、什么是拉鏈表

4、如何制作拉鏈表

5、【實(shí)戰(zhàn)】基于訂單表的拉鏈表實(shí)現(xiàn)

6、拉鏈表的性能問(wèn)題分析

7、商品訂單數(shù)據(jù)數(shù)倉(cāng)表和任務(wù)腳本總結(jié)

8、數(shù)據(jù)可視化之Zepplin的安裝部署和參數(shù)配置

9、數(shù)據(jù)可視化之Zepplin的使用

10、任務(wù)調(diào)度之Crontab調(diào)度器的使用

11、任務(wù)調(diào)度之Azkaban的安裝部署

12、任務(wù)調(diào)度之Azkaban提交獨(dú)立任務(wù)

13、任務(wù)調(diào)度之Azkaban提交依賴(lài)任務(wù)

14、任務(wù)調(diào)度之在數(shù)倉(cāng)中使用Azkaban

15、項(xiàng)目?jī)?yōu)化

階段四：高頻實(shí)時(shí)數(shù)據(jù)處理方案

第14周 消息隊(duì)列之Kafka從入門(mén)到小牛

Kafka是一個(gè)支持高吞吐、持久性、分布式的消息隊(duì)列，非常適合海量數(shù)據(jù)的實(shí)時(shí)生產(chǎn)和消費(fèi)，詳細(xì)分析了Kafka的核心原理、代碼實(shí)戰(zhàn)、性能優(yōu)化，以及Kafka的企業(yè)級(jí)應(yīng)用。

課程安排：

1、什么是消息隊(duì)列

2、什么是Kafka

3、Zookeeper安裝部署之單機(jī)模式和集群模式

4、 Kafka安裝部署之單機(jī)模式和集群模式

5、Kafka中的生產(chǎn)者和消費(fèi)者

6、案例：QQ群聊天

7、Broker擴(kuò)展內(nèi)容

8、Producer擴(kuò)展內(nèi)容

9、Consumer擴(kuò)展內(nèi)容

10、Topic+Partition+Message擴(kuò)展內(nèi)容

11、Kafka中的存儲(chǔ)策略

12、Kafka中的容錯(cuò)機(jī)制

13、Java代碼實(shí)現(xiàn)生產(chǎn)者代碼

14、Java代碼實(shí)現(xiàn)消費(fèi)者代碼

15、消費(fèi)者代碼擴(kuò)展

16、Consumer消費(fèi)Offset查詢(xún)

17、Consumer消費(fèi)順序

18、Kafka的三種語(yǔ)義

19、Kafka參數(shù)調(diào)憂(yōu)之JVM參數(shù)調(diào)憂(yōu)

20、Kafka參數(shù)調(diào)憂(yōu)之Replication參數(shù)調(diào)憂(yōu)

21、Kafka參數(shù)調(diào)憂(yōu)之Log參數(shù)調(diào)憂(yōu)

22、Kafka Topic命名小技巧

23、Kafka集群監(jiān)控管理工具(CMAK)

24、實(shí)戰(zhàn)：Flume集成Kafka

25、實(shí)戰(zhàn)：Kafka集群平滑升級(jí)

第15周 極速上手內(nèi)存數(shù)據(jù)庫(kù)Redis

Redis是一種面向鍵值對(duì)的NoSQL內(nèi)存數(shù)據(jù)庫(kù)，可以滿(mǎn)足我們對(duì)海量數(shù)據(jù)的讀寫(xiě)需求，在這里我們學(xué)習(xí)Redis中的五種常用數(shù)據(jù)類(lèi)型以及Redis中的一些高級(jí)特性，達(dá)到快速上手使用。

課程安排：

1、快速了解Redis

2、Redis的安裝部署

3、Redis基礎(chǔ)命令

4、Redis多數(shù)據(jù)庫(kù)特性

5、Redis常用數(shù)據(jù)類(lèi)型之String

6、Redis常用數(shù)據(jù)類(lèi)型之Hash

7、Redis常用數(shù)據(jù)類(lèi)型之List

8、Redis常用數(shù)據(jù)類(lèi)型之Set

9、Redis常用數(shù)據(jù)類(lèi)型之Sorted Set

10、案例：存儲(chǔ)高一班的學(xué)員信息

11、Java代碼操作Redis之單連接

12、Java代碼操作Redis之連接池

13、提取RedisUtils工具類(lèi)

14、Redis高級(jí)特性之expire

15、Redis高級(jí)特性之pipeline

16、Redis高級(jí)特性之info

17、Redis持久化之RDB

18、Redis持久化之AOF

19、Redis的安全策略

20、Redis監(jiān)控命令-monitor

21、Redis架構(gòu)演進(jìn)過(guò)程

第16周 Flink快速上手篇

快速了解Flink的基本原理和核心特點(diǎn)，掌握Flink中流數(shù)據(jù)和批數(shù)據(jù)的編程思路和代碼實(shí)戰(zhàn)，F(xiàn)link中Standalone集群、ON YARN集群的安裝部署，以及Flink中核心API的使用。

課程安排：

1、快速了解Flink

2、Flink Streaming程序開(kāi)發(fā)

3、Flink Batch程序開(kāi)發(fā)

4、Flink Standalone集群安裝部署

5、Flink ON YARN的第1種方式

6、Flink ON YARN的第2種方式

7、向集群中提交Flink任務(wù)

8、Flink核心API介紹

9、DataStream API之DataSource

10、DataStream API之Transformation

11、DataStream API之分區(qū)規(guī)則介紹

12、DataStream API之分區(qū)規(guī)則的使用

13、DataStream API之DataSink

14、DataSet API之DataSource

15、DataSet API之Transformation

16、DataSet API之DataSink

17、Table API 和 SQL介紹

18、創(chuàng)建TableEnvironment對(duì)象

19、TableAPI和SQL的使用

20、使用DataStream創(chuàng)建表

21、使用DataSet創(chuàng)建表

22、將表轉(zhuǎn)換成DataStream

22、將表轉(zhuǎn)換成DataSet

第17周 Flink高級(jí)進(jìn)階之路

詳細(xì)剖析Window和Time的使用，Watermark的實(shí)戰(zhàn)應(yīng)用，并行度的設(shè)置，Kafka Connector的具體應(yīng)用，以及SparkStreaming的特性和使用。

課程安排：

1、Window的概念和類(lèi)型

2、TimeWindow的使用

3、CountWindow的使用

4、自定義Window的使用

5、Window中的增量聚合和全量聚合

6、Flink中的Time

7、Watermark的分析

8、開(kāi)發(fā)Watermark代碼

9、通過(guò)數(shù)據(jù)跟蹤觀察Watermark

10、Watermark+EventTime處理亂序數(shù)據(jù)

11、延遲數(shù)據(jù)的三種處理方式

12、在多并行度下的Watermark應(yīng)用

13、Watermark案例總結(jié)

14、并行度介紹及四種設(shè)置方式

15、并行度案例分析

16、KafkaConsumer的使用

17、KafkaConsumer消費(fèi)策略設(shè)置

18、KafkaConsumer的容錯(cuò)

19、KafkaProducer的使用

20、KafkaProducer的容錯(cuò)

21、SparkStreaming的WordCount程序開(kāi)發(fā)

22、SparkStreaming整合Kafka

階段五：綜合項(xiàng)目：三度關(guān)系推薦系統(tǒng)+數(shù)據(jù)中臺(tái)

第18周 直播平臺(tái)三度關(guān)系推薦V1.0

構(gòu)建直播平臺(tái)用戶(hù)三度關(guān)系推薦系統(tǒng)，詳細(xì)分析數(shù)據(jù)采集/數(shù)據(jù)分發(fā)/數(shù)據(jù)存儲(chǔ)/數(shù)據(jù)計(jì)算/數(shù)據(jù)展現(xiàn)等功能，完整復(fù)現(xiàn)互聯(lián)網(wǎng)企業(yè)大數(shù)據(jù)項(xiàng)目從0~1，從1~N的開(kāi)發(fā)過(guò)程。

課程安排：

1、項(xiàng)目介紹

2、項(xiàng)目需求分析

3、技術(shù)選型

4、整體架構(gòu)設(shè)計(jì)

5、Neo4j快速上手使用

6、數(shù)據(jù)采集架構(gòu)詳細(xì)分析

7、數(shù)據(jù)來(lái)源分析

8、模擬產(chǎn)生數(shù)據(jù)

9、數(shù)據(jù)采集聚合

10、數(shù)據(jù)分發(fā)

11、數(shù)據(jù)落盤(pán)

12、數(shù)據(jù)計(jì)算核心指標(biāo)詳細(xì)分析與實(shí)現(xiàn)

13、三度關(guān)系推薦頁(yè)面數(shù)據(jù)接入

14、三度關(guān)系推薦流程演示

15、項(xiàng)目代碼雙語(yǔ)支持

16、項(xiàng)目總結(jié)

第19周 直播平臺(tái)三度關(guān)系推薦V2.0

分析V1.0架構(gòu)存在的問(wèn)題及弊端，重新設(shè)計(jì)整體架構(gòu)方案，進(jìn)行迭代優(yōu)化，基于新的架構(gòu)方案重新實(shí)現(xiàn)核心功能代碼，開(kāi)發(fā)數(shù)據(jù)接口，優(yōu)化數(shù)據(jù)傳輸邏輯，提高數(shù)據(jù)安全性。

課程安排：

1、現(xiàn)有V1.0技術(shù)架構(gòu)分析

2、V2.0技術(shù)架構(gòu)設(shè)計(jì)

3、數(shù)據(jù)計(jì)算核心指標(biāo)詳細(xì)分析

4、歷史粉絲關(guān)注數(shù)據(jù)初始化

5、實(shí)時(shí)維護(hù)粉絲關(guān)注數(shù)據(jù)

6、每天定時(shí)更新主播等級(jí)

7、每天定時(shí)更新用戶(hù)活躍時(shí)間

8、每周一計(jì)算一月主播視頻評(píng)級(jí)

9、每周一計(jì)算一月主播視頻評(píng)級(jí)

10、三度關(guān)系列表數(shù)據(jù)導(dǎo)出到Redis

11、數(shù)據(jù)接口定義與開(kāi)發(fā)

12、項(xiàng)目代碼雙語(yǔ)支持

13、項(xiàng)目總結(jié)

第20周 數(shù)據(jù)中臺(tái)大屏

掌握一線(xiàn)互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)中臺(tái)構(gòu)建流程，了解巨頭企業(yè)的項(xiàng)目架構(gòu)，理解巨型項(xiàng)目的思想，掌握數(shù)據(jù)中臺(tái)之?dāng)?shù)據(jù)加工總線(xiàn)子系統(tǒng)的底層實(shí)現(xiàn)。

課程安排：

1、什么是中臺(tái)

2、中臺(tái)化主要解決的問(wèn)題

3、中臺(tái)的延伸

4、什么是數(shù)據(jù)中臺(tái)

5、數(shù)據(jù)中臺(tái)演進(jìn)的四個(gè)階段

6、數(shù)據(jù)中臺(tái)需要具備三大能力

7、企業(yè)級(jí)數(shù)據(jù)中臺(tái)架構(gòu)分析

9、目前大數(shù)據(jù)領(lǐng)域?qū)崟r(shí)計(jì)算的現(xiàn)狀

10、數(shù)據(jù)中臺(tái)之?dāng)?shù)據(jù)加工總線(xiàn)介紹

11、數(shù)據(jù)加工總線(xiàn)架構(gòu)圖分析

12、開(kāi)發(fā)數(shù)據(jù)加工總線(xiàn)計(jì)算引擎(基于SparkSQL)

13、開(kāi)發(fā)數(shù)據(jù)加工總線(xiàn)計(jì)算引擎(基于FlinkSQL)

14、掌握如何在流式SQL中調(diào)用HTTP接口

15、支持流式SQL中的自定義函數(shù)返回多列字段