Hadoop开发、运维和调优实战

教练：刘老师

某知名咨询公司 云平台系统架构师

毕业于⼤连理⼯⼤学
简介:
精通开源的⼤数据⽣态技术和架构，Hadoop、Hive、Hbase、 Spark、Flink等开源技术栈。
有10年左右基于⼤数据解决⽅案平台、数据架构、数据中台、数据治理、数据分析和挖掘的⼤型数据湖和数
据中台项⽬架构实施经验,
⽬前任职国内知名咨询公司，先后服务于北京⼤学软件研究所、阿⾥巴巴、Teradata,实施过基于开源⼤数据技术
栈的数据湖解决⽅案和实施、湖仓⼀体架构咨询和实施、数据中台的咨询和设施
最近主要项⽬介绍:
某移动⼤数据平台架构设计和设施 (Hadoop、Spark)
四⼤⾏之⼀的数据湖咨询和实施
某⼤型商业银⾏数据中台咨询
某银⾏基于开源⼤数据技术栈数据中台的咨询和实施
某航空公司数据平台流批⼀体解决⽅案和实施
特长:
在⼤数据架构、开发、运维和优化、数据集成、 数据湖(Data Lake)、数据建模、数据挖掘/机器学习、数据
中台等⽅⾯有丰富经 验。

主题

内容

Hadoop的来源和动机

1.传统大规模系统存在的问题n2.Hadoop概述n3.Hadoop分布式文件系统 n4.MapReduce工作原理 n5.Hadoop集群剖析n6.Hadoop生态系统对一种新的解决方案的需求n7.Hadoop的行业应用案例分析n8.Hadoop在云计算和大数据的位置和关系

Hadoop集群规划

1.Hadoop 集群内存要求nØ Namenode的机器配置nØ Datanode的机器配置nØ SNN的机器配置n2.Hadoop集群磁盘分区n3.集群和网络拓扑要求n4.集群软件的端口配置

Hadoop简介和生态系统介绍

1.传统大规模数据分析存在的问题n2.Hadoop概述n3.Hadoop与分布式文件系统 n4.Hadoop生态系统n5.Hadoop的行业应用案例分析n6.Hadoop在云计算和大数据的位置和关系n7.Hadoop版本介绍n8.Hadoop与Google FS的关系n9.Hadoop在国内的使用情况和未来

Hadoop安装和主要配置文件介绍

1.Hadoop安装所需软件介绍n2.Hadoop单机安装n3.Hadoop伪分布式安装n4.Hadoop完全分布式安装n5.Hadoop三个节点安装的配置介绍n6.Hahoop多节点ssh配置n7.Hadoop格式化详解n8.Hadoop核心配置文件介绍n9.核心配置文件core-site.xmln10.HDFS配置文件hdfs-site.xmln11.Mapreduce配置文件mapred-site.xmln12.master文件配置详解n13.slave文件配置详解n14.Hadoop启动和停止方法一n—start-all.sh详解n—stop-all.sh详解n15.Hadoop的启动和停止方法二n—hadoop-deamon.sh详解n16.Hadoop安装的常见错误介绍和解决方案n17.使用自带的wordcount和pi测试集群安装是否成功n18.使用Streaming来测试集群安装是否成功

Hadoop组件介绍

1.Hadoop NameNode 介绍n2.Hadoop SecondaryNameNode 介绍n3.Hadoop DataNode 介绍n4.Hadoop JobTracker 介绍n5.Hadoop TaskTracker 介绍

Hadoop的HDFS模块

1.HDFS架构介绍n2.HDFS原理介绍n3.NameNode功能详解n4.DataNode功能详解n5.SecondaryNameNode功能详解n6.HSFD的fsimage和editslog详解n7.HDFS的block详解n8.HDFS的block的备份策略n9.Hadoop的机架感知配置n10.HDFS的shell命令介绍n11.HDFS的thrift server服务介绍n12.HDFS的API接口介绍n13.HDFS的权限详解n14.Hadoop的客服端接入案例

MapReducer入门和高级开发实战

1.Mapreduce原理n2.MapReduce流程n3.剖析一个MapReduce程序n4.Mapper和Reducer抽象类详解n5.Mapreduce的最小驱动类n6.MapReduce自带的类型n7.自定义Writables和WritableComparablesn8.Mapreduce的输入InputFormatsn9.MapReduce的输出OutputFormatsn10.自定义InputFormatn11.自定义InputSPlitsn12.自定义RecorderReadern13.Combiner详解n14.Partitioner详解n15.DistributeFileSystem详解n16.Hadoop Tools工具介绍n17.Counter计数器详解n18.自定义Counter计数器n19.基于Hadoop二次开发实战n20.MapReduce的优化n21.Map和Reduce的个数设置n22.Hadoop小文件优化n23.任务调度n24.默认的任务调度n25.公平任务调度n26.能力任务调度n27.使用 Hadoop MapReduce Streaming 编程n28.MapReduce的单元测试

Hive的使用和实战

1.Hive和Pig基础n2.Hive、Impala和presto的比较 n3.Hive的作用和原理说明n4.Hadoop仓库和传统数据仓库的协作关系n5.Hadoop/Hive仓库数据数据流n6.Hive 部署和安装n7.Hive Cli 的基本用法n8.Hive的server启动n9.HQL基本语法n10.Hive的加载数据本地加载和HDFS加载n11.Hive的partition详解n12.Hive的存储方式详解n13.RCFILE、TEXTFILE和SEQUEUEFILEn14.Hive的UDF和UDAFn15.Hive的transform详解n16.Hive的JDBC连接

Hbase使用

1.Hbase原理n2.Hmaster详解n3.RegionServer详解n4.Zookeeper介绍n5. Hbase安装n6.Hbase逻辑视图介绍n7.Hbase物理视图介绍n8.Hbase的二级索引介绍n9.Hbase 的DDL和DMLn10.Hbase表的设计案例n11.Hbase的import功能介绍n12.MapReduce操作Hbasen13.Hbase的 thrift Server介绍n14.Hbase 的API介绍n15.Hbase案例分析

Hadoop安全和性能优化

1.Hadoop的可伸缩性应用n2.Hadoop的线性伸缩性n3. Hadoop的最佳实战n4.Map/Reduce性能测试n5.HDFS的性能测试n6.Hadoop企业级架构n7.Hadoop的安全实战n8.Hadoop的运维知识总结

Hadoop集群配置介绍和维护

1.Hadoop集群的部署要点n2.NameNode和SecondaryNameNode和JobTracker机器的配置要求n3.dataNode与tasktracker机器的配置要求n4.Hadoop集群管理的工具介绍n5.Ganglia和nigos监控Hadoop集群介绍n6.Ambri介绍n7.添加和删除节点演示n8.Namenode的单点解决方案n9.NameNode的NFS备份介绍n10.集群所有dataNode挂掉的故障介绍n11.集群NameNode的fsimage丢掉恢复方法n12.Hadoop集群维护的注意点

Sqoop介绍

1.Sqoop是什么n2.Sqoop安装n3.Sqoop把mysql数据导入HDFSn4.Sqoop把HDFS数据导入Mysqln5.Sqoop吧Mysql数据导入Hiven6.Sqoop吧Mysql数据导入Hive分区