请询价
適合對象:對嵌入式開發(fā)培訓,計算機技術培訓等有興趣學習的學員
開設課程校區(qū):廣州校區(qū)
Hadoop 作為開源的云計算平臺,為大數據處理提供了一整套解決方案,應用非常廣泛。Hadoop 作為一個 平臺框架,包括了如何存儲海量數據,如何處理海量數據,以及相應的數據庫、數據倉庫、數據流處理、數 據分析和挖掘算法庫等等。本次培訓作為知識儲備,主要講解目前應用數據和大數據平臺的數據同步工作以 及了解大數據理論體系結構, 應用 Hadoop 2.0 的大數據框架結構,文本文件與 Hadoop/Hive/Sqoop 數據 遷,Hadoop 的思想、原理,以及重要技術等相關知識。
第一天
一、Hadoop 的基本框架 :
大數據時代面臨的問題 ;當前解決大數據的技術方案 ;Hadoop 架構和云計算 ;Hadoop 簡史及安裝部署 ;Hadoop 設計理念和生態(tài)系統
二、HDFS 分布式文件系統:海量數據存儲的搖籃
HDFS 的設計目標 、HDFS 的基本架構 、 NameNode 名稱節(jié)點 、 SecondaryNameNode 第二名稱節(jié)點 、 DataNode 數據節(jié)點 、HDFS 的存儲模型 數據塊存儲 、 元數據存儲(空間鏡像與編輯日志) 、多副本存儲 多副本放置策略 多數據節(jié)點管理機制與交互過程 文件系統操作與管理 讀文件過程 寫文件過程(數據流管道) 數據完整性機制 數據校驗和 數據完整性掃描線程 元數據備份與合并 數據可靠性設計 安全模式(數據塊與節(jié)點映射關系管理) 心跳檢測機制(節(jié)點失效管理) 租約機制(多線程并發(fā)控制) 其它 HDFS 的安全機制 負載均衡 文件壓縮 操作接口與編程接口 HDFS Shell HDFS Commands 演練:HDFS 文件操作命令
三、MapReduce 分布式計算系統:海量數據處理的利器
MapReduce 的三層設計理念 、分布治之的設計思想(Map 與 Reduce) 、數據處理引擎(編程模型) 、 運行時環(huán)境(任務調度與執(zhí)行) 、MapReduce 的基本架構 、JobTracker 作業(yè)跟蹤器 、TaskTracker 任務跟蹤器 MapReduce 與 HDFS 的部署關系
四、Yarn:平臺
Yarn 平臺的搭建 、 Yarn 實例的運行 、Yarn 應用的監(jiān)控
全面的IT服務提供商—中睿信息是一家專業(yè)的IT服務提供商,致力于解決企業(yè)信息化所遇到的棘手問題。公司與微軟(Microsoft)、甲骨文(Oracle)、思科(Cisco)、Pearson VUE等全球著名IT廠商建立長期的合作伙伴關系,業(yè)務涵蓋企業(yè)IT架構與應用服務、軟件研發(fā)顧問咨詢服務、數據庫服務、高級IT技術培訓、軟件項目研發(fā)、解決方案實施和就業(yè)培訓。公司擁有優(yōu)秀的技術團隊,掌握國際前沿技術,采用標準化的服務體系,為客戶高效、穩(wěn)定的IT運營提供強有力支撐,提升企業(yè)核心競爭力。服務客戶遍及各種行業(yè),包括金融、通訊、制造業(yè)、政府、企事業(yè)單位。目前,中睿作為華南區(qū)實力強的IT服務商,已成為客戶優(yōu)秀IT服務商的優(yōu)選,并與上百家客戶建立了長期、多贏的戰(zhàn)略性合作。