Capacity调度器源码解析
 浏览 21  

大数据

Capacity调度器源码解析

简介 源码解析 Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedulingProperties，里面会初始化
阅读更多
router启动详解
 浏览 150  

大数据

router启动详解

简介 为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Name
阅读更多
hadoop 主备倒换控制器：ZKFailoverController详解
 浏览 255  

大数据

hadoop 主备倒换控制器：ZKFailoverController详解

简介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java, 选举的核心类为ActiveStandbyElecto
阅读更多
Hadoop 认证模块详解
 浏览 517  

大数据

Hadoop 认证模块详解

客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(u
阅读更多
ContainerManager详解
 浏览 297  

大数据

ContainerManager详解

简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManager
阅读更多
BPServiceActor详解
 浏览 855  

大数据

BPServiceActor详解

简介 BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下： 与 namenode 进行预注册握手。 向 namenode 注册。 定期向 namenode 发送心跳。 处
阅读更多
neovim 从0开始配置优化
 浏览 1.24K  

其他

neovim 从0开始配置优化

neovim是从vim的一个分支fork出来的，从性能等方面来讲都比vim强很多，所以从vim转到neovim了。 本文涉及的neovim配置都在https://git.zeekling.cn/linux/nvim-co
阅读更多
docker stop container 报错：tried to kill container, but did not receive an exit event
 浏览 1.24K  

其他

docker stop container 报错：tried to kill container, but did not receive an exit event

问题现象 执行docker stop xxxx报错如下： Error response from daemon: cannot stop container: xxxx: tried to kill container,
阅读更多
【Hadoop】jobhistory 作业缓存源码详解
 浏览 1.22K  

大数据

【Hadoop】jobhistory 作业缓存源码详解

jobhistory 作业缓存 jobhistory 一般会保存一部分作业信息到内存中，查询作业信息的时候一般会从内存查询，如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层，第一层是guava缓
阅读更多
【Hadoop】NameNode客户端协议详解
 浏览 1.36K  

大数据

【Hadoop】NameNode客户端协议详解

NameNode客户端协议详解 协议的定义主要在类NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, Dat
阅读更多
浪浪山下那个村-公告
浪浪山下那个村-访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10
浪浪山下那个村-分类
浪浪山下那个村-最新评论
浪浪山下那个村-公告
  
访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10