Capacity调度器源码解析
 浏览 21  

大数据

Capacity调度器源码解析

简介 源码解析 Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedulingProperties，里面会初始化
阅读更多
router启动详解
 浏览 150  

大数据

router启动详解

简介 为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Name
阅读更多
hadoop 主备倒换控制器：ZKFailoverController详解
 浏览 255  

大数据

hadoop 主备倒换控制器：ZKFailoverController详解

简介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java, 选举的核心类为ActiveStandbyElecto
阅读更多
Hadoop 认证模块详解
 浏览 517  

大数据

Hadoop 认证模块详解

客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(u
阅读更多
ContainerManager详解
 浏览 299  

大数据

ContainerManager详解

简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManager
阅读更多
BPServiceActor详解
 浏览 855  

大数据

BPServiceActor详解

简介 BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下： 与 namenode 进行预注册握手。 向 namenode 注册。 定期向 namenode 发送心跳。 处
阅读更多
【Hadoop】jobhistory 作业缓存源码详解
 浏览 1.22K  

大数据

【Hadoop】jobhistory 作业缓存源码详解

jobhistory 作业缓存 jobhistory 一般会保存一部分作业信息到内存中，查询作业信息的时候一般会从内存查询，如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层，第一层是guava缓
阅读更多
【Hadoop】NameNode客户端协议详解
 浏览 1.36K  

大数据

【Hadoop】NameNode客户端协议详解

NameNode客户端协议详解 协议的定义主要在类NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, Dat
阅读更多
【Hadoop】FSDirectory详解
 浏览 1.66K  

大数据

【Hadoop】FSDirectory详解

Namenode最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem） 。 HDFS文件系统的命名空间（namespace） ， 也就是以“/”为根的整个目录树， 是通过FSDirectory
阅读更多
【Hadoop】Yarn 作业启动源码解读
 浏览 1.97K  

大数据

【Hadoop】Yarn 作业启动源码解读

作业启动 作业提交的客户端比较核心的类是Job.java，看作业启动的源码需要从这个类开始看。 Job.java 作业启动的入口函数为waitForCompletion函数。当前函数的核心函数为submit()，主要如下
阅读更多
浪浪山下那个村-公告
浪浪山下那个村-访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10
浪浪山下那个村-分类
浪浪山下那个村-最新评论
浪浪山下那个村-公告
  
访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10