【Hadoop】FSDirectory详解
 浏览 1.66K  

大数据

【Hadoop】FSDirectory详解

Namenode最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem） 。 HDFS文件系统的命名空间（namespace） ， 也就是以“/”为根的整个目录树， 是通过FSDirectory
阅读更多
【Hadoop】Yarn 作业启动源码解读
 浏览 1.97K  

大数据

【Hadoop】Yarn 作业启动源码解读

作业启动 作业提交的客户端比较核心的类是Job.java，看作业启动的源码需要从这个类开始看。 Job.java 作业启动的入口函数为waitForCompletion函数。当前函数的核心函数为submit()，主要如下
阅读更多
【Hadoop】【持续更新】hdfs 常见命令
 浏览 1.93K  

大数据

【Hadoop】【持续更新】hdfs 常见命令

常见命令记录，总结篇
阅读更多
【Hadoop】Yarn 状态机以及事件机制
 浏览 1.45K  

大数据

【Hadoop】Yarn 状态机以及事件机制

简介 Yarn采用了基于事件驱动的并发模型： 所有状态机都实现了EventHandler接口，很多服务（类名通常带有Service后缀）也实现了该接口，它们都是事件处理器。 需要异步处理的事件由中央异步调度器（类名通常
阅读更多
【Hadoop】ResourceManager简介
 浏览 1.85K  

大数据

【Hadoop】ResourceManager简介

简介 ResourceManager(RM)，RM是全局的资源管理器，负责整个系统的资源管理和分配。主要由以下两部分组成： 调度器：根据容量、队列限制条件将系统资源分配给各个应用。 资源分配的单位是container
阅读更多
【Hadoop】nameNode启动过程源码分析
 浏览 1.79K  

大数据

【Hadoop】nameNode启动过程源码分析

简介 本章详细介绍NameNode启动过程。主要是代码级别的解释。 nameNode的启动主要是有NameNode.java主导的，由main函数开始了解。 下面是main函数里面的主要内容，可以看到主要由createN
阅读更多
【Hadoop】NameNode 详解
 浏览 1.21K  

大数据

【Hadoop】NameNode 详解

简介 NameNode管理着整个HDFS文件系统的元数据。 从架构设计上看，元数据大致分成两个层次：Namespace管理层，负责管理文件系统中的树状目录结构以及文件与数据块的映射关系； 块管理层，负责管理文件系统中文件
阅读更多
【Hadoop】Yarn 详解
 浏览 1.25K  

大数据

【Hadoop】Yarn 详解

作业提交流程 Yarn 调度器 先进先出调度器 容量调度器 分配算法 公平调度器 调度原理 缺额 资源分配方式 样例 : DRF策略
阅读更多
【Hadoop】HDFS 详解
 浏览 1.22K  

大数据

【Hadoop】HDFS 详解

简介 Namenode 和 Datanode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器，负责管理文件系统的名
阅读更多
【Hadoop】Hudi 基础知识详解
 浏览 1.19K  

大数据

【Hadoop】Hudi 基础知识详解

Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表、事务、高效upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发，同时保持数据以开源文件格式保留。 Hudi是Hadoop
阅读更多
浪浪山下那个村-公告
浪浪山下那个村-访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10
浪浪山下那个村-分类
浪浪山下那个村-最新评论
浪浪山下那个村-公告
  
访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10