课程简介
hadoop前世今生
hadoop四大模块
hdfs引入
hdfs系统架构与组件功能
YARN四大组件
YARN引入案例
YARN执行流程
YARN组件作用
MapReduce执行流程
Hadoop生态系统
环境准备
单机环境
伪分布式(一)
伪分布式(二)
分布式环境准备
ntp服务器同步时间
Hadoop分布式配置
SSH免密码登录及启动Hadoop
MapReduce案例运行及指标说明
聚合日志
历史服务器
Hadoop深入课程简介
NameNode数据存储
DataNode数据存储及副本策略
DataNode与NameNode通信
SecondaryNameNode执行流程
HDFS写入流程
HDFS读取流程
安全模式
HDFS命令行操作(一)
HDFS命令行操作(二)
HDFS管理命令
HDFS Java API
获取FileSystem
创建目录
创建文件
上传文件
获取文件或目录的元数据信息
下载文件
删除文件
YARN三种调度器
Capacity Scheduler配置
Capacity Scheduler运行
Fair Scheduler配置
Fair Scheduler运行
YARN资源隔离
MapReduce执行流程
WordCount案例(一)
WordCount案例(二)
windows单机环境运行案例
windows远程调用运行
打jar包放到hadoop集群运行
InputFormat功能及子类
生成sequenceFile文件
sequenceFileInputFormat使用
sequcenFileInputFormat运行
InputSplit原理
InputFormat功能分析
reduce个数
OutputFormat功能及子类
Partitioner分区器
Shuffle整体流程
Shuffle写入流程
Shuffle读取流程 |
技术巴巴 ( 鄂ICP备14015590号-5 )
GMT+8, 2020-12-27 10:28 , Processed in 0.023875 second(s), 22 queries .
Powered by Discuz! X3.4
© 2001-2013 Comsenz Inc.