天津大數(shù)據(jù)開發(fā)工程師課程

大數(shù)據(jù)開發(fā)工程師課程簡(jiǎn)介

對(duì)于“大數(shù)據(jù)”（Big data），研究機(jī)構(gòu)Gartner給出了這樣的定義：“大數(shù)據(jù)”是需要 新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。麥肯錫全球研究所給出的定義是：一種規(guī)大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。

大數(shù)據(jù)時(shí)代的出現(xiàn)，未來30年將對(duì)計(jì)劃經(jīng)濟(jì)和市場(chǎng)經(jīng)濟(jì)進(jìn)行重新定義。在大數(shù)據(jù)時(shí)代，人類獲得數(shù)據(jù)能力遠(yuǎn)遠(yuǎn)超過大家想象，我們對(duì)世界的<br>認(rèn)識(shí)要提升到新 的高度。在國(guó)內(nèi)，普通大數(shù)據(jù)開發(fā)工程師的基本崗位薪資起步即10000元/月，一般入職薪資13000元/月 左右，2年以上工作經(jīng)驗(yàn)的大數(shù)據(jù)開發(fā)工程師薪資高達(dá)30000元/月以上。

課程特色：

1.完備且標(biāo)準(zhǔn)的大數(shù)據(jù)技術(shù)教程使你零基礎(chǔ)掌握大數(shù)據(jù)核心技術(shù)。

2.大數(shù)據(jù)*前沿分布式計(jì)算技術(shù)Spark的精講。

3.以企業(yè)實(shí)際項(xiàng)目為案例，掌握大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)的全面知識(shí)。

課程簡(jiǎn)介：

第一階段：大數(shù)據(jù)基礎(chǔ)之Java入門

第1章：Oracle數(shù)據(jù)庫(kù)

第二章：java8編程入門

第三章：java8面向?qū)ο?/p>

第四章：java8高級(jí)編程

第五章：深入java虛擬機(jī)

第六章：java業(yè)務(wù)分析設(shè)計(jì)實(shí)例

第二階段：大數(shù)據(jù)基礎(chǔ)之Linux知識(shí)

第*章：虛擬機(jī)知識(shí)

第二章：Linux shell基礎(chǔ)命令

第三階段：大數(shù)據(jù)入門（技術(shù)和思想上入門）

第1章：大數(shù)據(jù)介紹

第二章：Zookeeper

第三章：分布式存儲(chǔ)HDFS

第四章：分布式計(jì)算MapReduce

第五章：分布式資源管理Yarn

第四階段：大數(shù)據(jù)高效存儲(chǔ)之Hbase

第1章：Hbase應(yīng)用實(shí)戰(zhàn)

第二章：Hbase運(yùn)維相關(guān)

第五階段：Scala語(yǔ)言學(xué)習(xí)

第1章：認(rèn)識(shí)Scala

第二章：十二步體驗(yàn)Scala

第三章：Scala面向?qū)ο缶幊袒A(chǔ)

第四章：Scala函數(shù)式編程基礎(chǔ)

第五章：模式匹配

第六章：隱式系統(tǒng)

第七章：類型系統(tǒng)

第八章：集合框架

第六階段：大數(shù)據(jù)高效計(jì)算之Spark

第1章：正確理解Spark

第二章：Spark Core 之 RDD API

第三章：Spark Core之正確提交Spark應(yīng)用

第四章：Spark Core之Schedulers On Driver

第五章：Spark SQL的前世今生以及未來

第六章：玩轉(zhuǎn)Spark SQL

第七章：Spark Streaming編程模型

第八章：Spark Streaming性能與穩(wěn)定

第九章：Spark Streaming容錯(cuò)與語(yǔ)義

第十章：Flume Kafka Spark Streaming

第七階段：大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建

第1章：Spark SQL with Hive

第二章：Hive

第三章：Impala

第四章：Sqoop

第五章：CDH安裝

第六章：Data Warehouse

最終階段：職業(yè)規(guī)劃，多種類型的大數(shù)據(jù)崗位，將根據(jù)學(xué)員所擅長(zhǎng)的方向進(jìn)行選擇，并安排就業(yè)。

大數(shù)據(jù)數(shù)據(jù)分析方向

大數(shù)據(jù)清洗師

薪資：15K-20K

技能：1、掌握大數(shù)據(jù)平臺(tái)中常用數(shù)據(jù)采集、抽取、整理方法； 

2、數(shù)據(jù)Python、Scala、SQL等語(yǔ)言，能夠?qū)?shù)據(jù)按照需求進(jìn)行轉(zhuǎn)換；

大數(shù)據(jù)分析師

薪資：25K-45K

技能：1、掌握大數(shù)據(jù)平臺(tái)數(shù)據(jù)分析方法，掌握Python、Scala、SQL等語(yǔ)言 

2、熟悉常用的機(jī)器學(xué)習(xí)算法，處理各種類型復(fù)雜數(shù)據(jù)，能從數(shù)據(jù)中提取有價(jià)值信息；

大數(shù)據(jù)科學(xué)家

薪資：50K 

技能：1、掌握統(tǒng)計(jì)、概率、線性代數(shù)等數(shù)學(xué)理論； 

2、掌握機(jī)器學(xué)習(xí)算法，熟悉業(yè)務(wù)和數(shù)據(jù)，針對(duì)數(shù)據(jù)建立模型； 

3、掌握Scala、Python等開發(fā)語(yǔ)言，熟悉在大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)挖掘； 

4、掌握大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)，熟悉數(shù)據(jù)的ETL過程，熟悉業(yè)務(wù)數(shù)據(jù)；

大數(shù)據(jù)應(yīng)用開發(fā)方向

大數(shù)據(jù)開發(fā)工程師

薪資：20K-30K

技能：1、掌握Python、Java、Scala等開發(fā)語(yǔ)言，能夠按照需求開發(fā)大數(shù)據(jù)平臺(tái)組件應(yīng)用

高級(jí)開發(fā)工程師

薪資：25K-45K

技能：1、具備良好的Hadoop生態(tài)系統(tǒng)的技術(shù)基礎(chǔ)，熟悉業(yè)務(wù)和數(shù)據(jù)，根據(jù)不同業(yè)務(wù)特性設(shè)計(jì)架構(gòu)，對(duì)整個(gè)公司的數(shù)據(jù)中心架構(gòu)進(jìn)行審視和優(yōu)化改善； 

2、熟悉數(shù)據(jù)中心安全策略；

組件代碼提交者

薪資：45K 

技能：1、成為Hadoop生態(tài)系統(tǒng)組件代碼提交者（Commitor），對(duì)組件的發(fā)展方向具有影響；

大數(shù)據(jù)運(yùn)維管理方向

大數(shù)據(jù)運(yùn)維工程師

薪資：15K-20K

技能：1、掌握基本的Linux命令，會(huì)配置基礎(chǔ)服務(wù)；搭建Hadoop集群，日常管理、監(jiān)控和維護(hù)；

高級(jí)運(yùn)維工程師

薪資：18K-25K

技能：1、掌握Shell、Python等開發(fā)語(yǔ)言，具備運(yùn)行腳本語(yǔ)言自動(dòng)化集群部署、管理和監(jiān)控能力； 

2、高效的維護(hù)企業(yè)數(shù)據(jù)中心，有效分隔來自不同數(shù)據(jù)部門的需求；掌握Hadoop常用組件的安裝、優(yōu)化；

大數(shù)據(jù)架構(gòu)師

薪資：20K-30K

技能：1、具備良好的Hadoop生態(tài)系統(tǒng)的技術(shù)基礎(chǔ)，熟悉業(yè)務(wù)和數(shù)據(jù)，根據(jù)不同業(yè)務(wù)特性設(shè)計(jì)架構(gòu)，對(duì)整個(gè)公司的數(shù)據(jù)中心架構(gòu)進(jìn)行審視和優(yōu)化改善； 

2、熟悉數(shù)據(jù)中心安全策略；