Idea Hadoop 源码YarnServiceProtos无法补全问题

问题现象 使用IDEA打开Hadoop源码之后,发现YarnServiceProtos部分代码无法补全,已经安装了protobuf相关的插件。 原因以及解决方法 再打开YarnServiceProtos文件的时候会提示类

Capacity调度器源码解析

简介 源码解析 Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候,在构造函数initAsyncSchedulingProperties,里面会初始化

router启动详解

简介 为了解决HDFS的水平扩展性问题,社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Name

hadoop 主备倒换控制器:ZKFailoverController详解

简介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为:ZKFailoverController.java, 选举的核心类为ActiveStandbyElecto

Hadoop 认证模块详解

客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(u

ContainerManager详解

简介 ContainerManager主要负责NM中管理所有Container生命周期,其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManager

BPServiceActor详解

简介 BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下: 与 namenode 进行预注册握手。 向 namenode 注册。 定期向 namenode 发送心跳。 处

neovim 从0开始配置优化

neovim是从vim的一个分支fork出来的,从性能等方面来讲都比vim强很多,所以从vim转到neovim了。 本文涉及的neovim配置都在https://git.zeekling.cn/linux/nvim-co

docker stop container 报错:tried to kill container, but did not receive an exit event

问题现象 执行docker stop xxxx报错如下: Error response from daemon: cannot stop container: xxxx: tried to kill container,

【Hadoop】jobhistory 作业缓存源码详解

jobhistory 作业缓存 jobhistory 一般会保存一部分作业信息到内存中,查询作业信息的时候一般会从内存查询,如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层,第一层是guava缓