Hadoop与Spark大数据架构专题

教练：刘老师

某知名咨询公司 云平台系统架构师

毕业于⼤连理⼯⼤学
简介:
精通开源的⼤数据⽣态技术和架构，Hadoop、Hive、Hbase、 Spark、Flink等开源技术栈。
有10年左右基于⼤数据解决⽅案平台、数据架构、数据中台、数据治理、数据分析和挖掘的⼤型数据湖和数
据中台项⽬架构实施经验,
⽬前任职国内知名咨询公司，先后服务于北京⼤学软件研究所、阿⾥巴巴、Teradata,实施过基于开源⼤数据技术
栈的数据湖解决⽅案和实施、湖仓⼀体架构咨询和实施、数据中台的咨询和设施
最近主要项⽬介绍:
某移动⼤数据平台架构设计和设施 (Hadoop、Spark)
四⼤⾏之⼀的数据湖咨询和实施
某⼤型商业银⾏数据中台咨询
某银⾏基于开源⼤数据技术栈数据中台的咨询和实施
某航空公司数据平台流批⼀体解决⽅案和实施
特长:
在⼤数据架构、开发、运维和优化、数据集成、 数据湖(Data Lake)、数据建模、数据挖掘/机器学习、数据
中台等⽅⾯有丰富经 验。

主题

内容

大数据架构概述

1.1大数据层级架构及各层软件设计要求，包括数据收集、存储、计算框、应用
1.2 Hadoop生态系统概述以及版本演化，并给出版本选择建议。
1.3 Spark生态系统概述及其特点，并与Hadoop对比

数据收集系统Flume与Sqoop

2.1使用flume和sqoop两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle等）中的数据导入Hadoop中进行分析和挖掘

大数据存储系统HDFS与HBase

3.1 与HDFS1.0进行对比介绍2.0原理、特性与基本架构（快照、缓存、异构存储）。
3.2 HBase原理，基本架构与案例分析
3.3 HBase应用场景、原理和架构，典型应用案例（互联网、银行）

集群资源管理与调度系统

4.1 介绍YARN应用场景、基本架构与资源调度

Zookeeper部署及典型应用

5.1 介绍Zookeeper是什么，基本原理及在应用

大数据计算平台

介绍主流的三大类大数据计算框架，分别是批处理、交互式计算和流式计算框架，并选取当下主流的开源实现进行介绍。
6.1 批处理计算框架
6.1.1 MapReduce2.0基本原理与架构、程序编写（使用java、C++、php语言）
6.1.2 数据分析系统Hive与Pig应用与比较，如何使用其中的海量数据
6.1.3 Spark计算框架，背景及应用案例
6.2 交互式计算框架，Impala和presto应用场景，基本架构和典型应用案例
6.3 流式/实时计算框架，storm、SparkStreaming基本架构特点，及应用案例

数据挖掘与机器学习库

7.1 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。