Hadoop 认证模块详解
 浏览 518  

大数据

Hadoop 认证模块详解

客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(u
阅读更多
ContainerManager详解
 浏览 299  

大数据

ContainerManager详解

简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManager
阅读更多
BPServiceActor详解
 浏览 856  

大数据

BPServiceActor详解

简介 BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下： 与 namenode 进行预注册握手。 向 namenode 注册。 定期向 namenode 发送心跳。 处
阅读更多
【Hadoop】jobhistory 作业缓存源码详解
 浏览 1.22K  

大数据

【Hadoop】jobhistory 作业缓存源码详解

jobhistory 作业缓存 jobhistory 一般会保存一部分作业信息到内存中，查询作业信息的时候一般会从内存查询，如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层，第一层是guava缓
阅读更多
【Hadoop】FSDirectory详解
 浏览 1.66K  

大数据

【Hadoop】FSDirectory详解

Namenode最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem） 。 HDFS文件系统的命名空间（namespace） ， 也就是以“/”为根的整个目录树， 是通过FSDirectory
阅读更多
【Hadoop】Yarn 作业启动源码解读
 浏览 1.97K  

大数据

【Hadoop】Yarn 作业启动源码解读

作业启动 作业提交的客户端比较核心的类是Job.java，看作业启动的源码需要从这个类开始看。 Job.java 作业启动的入口函数为waitForCompletion函数。当前函数的核心函数为submit()，主要如下
阅读更多
【Hadoop】【持续更新】hdfs 常见命令
 浏览 1.93K  

大数据

【Hadoop】【持续更新】hdfs 常见命令

常见命令记录，总结篇
阅读更多
【Hadoop】ResourceManager简介
 浏览 1.85K  

大数据

【Hadoop】ResourceManager简介

简介 ResourceManager(RM)，RM是全局的资源管理器，负责整个系统的资源管理和分配。主要由以下两部分组成： 调度器：根据容量、队列限制条件将系统资源分配给各个应用。 资源分配的单位是container
阅读更多
Flink 配置文件详解
 浏览 1.25K  

大数据

Flink 配置文件详解

flink 的安装参照：flink 简单入门， 我们来了解下flink的配置文件。
阅读更多
flink 简单入门
 浏览 1.2K  

大数据

flink 简单入门

最近开始学习flink相关的，本文只是讲述怎么简单的搭建flink以及简单的使用一个demo。
阅读更多
浪浪山下那个村-公告
浪浪山下那个村-访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10
浪浪山下那个村-分类
浪浪山下那个村-最新评论
浪浪山下那个村-公告
  
访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10