Emerk's blog

机架感知（副本放置策略）

官网地址：

Rack Awareness

HDFS Architecture

Hadoop HDFS架构

HDFS主要由3个组件构成：NameNode, DataNode, SecondaryNameNode。
HDFS是以master/slave模式运行的，通常NameNode, SecondaryNameNode运行在master节点，DataNode运行在slave节点。

Hadoop Shuffle机制 Shuffle过程

Hadoop 数据切片 MapTask并行度

Yarn 调度流程

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。