【Flink】Flink基本架构
 浏览 851  

大数据

【Flink】Flink基本架构

Flink 的 Master 节点包含了三个组件: Dispatcher、ResourceManager 和 JobManager。 Dispatcher: 负责接收用户提供的作业，并且负责为这个新提交的作业拉起一个新
阅读更多
Flink Checkpoint/Savepoint对比
 浏览 807  

大数据

Flink Checkpoint/Savepoint对比

Flink 为作业的容错提供 Checkpoint 和 Savepoint 两种机制。保存点机制（Savepoints）是检查点机制一种特殊的实现，它允许你通过手工方式来触发Checkpoint，并将结果持久化存储到指定
阅读更多
【Flink】【更新中】状态后端和checkpoint
 浏览 875  

大数据

【Flink】【更新中】状态后端和checkpoint

状态后端和checkpoint详解，包括常见checkpoint问题处理。
阅读更多
Flink 常见问题总结
 浏览 845  

大数据

Flink 常见问题总结

Flink大数据常见问题总结。
阅读更多
记录一次由于Jar包冲突导致的神奇问题
 浏览 1.89K  

大数据

记录一次由于Jar包冲突导致的神奇问题

今天同事找我帮忙看一个Flink的问题，现象是前几天还能提交的客户端，就在今天突然提交不了作业了，报错提示大概如下（公司的东西涉密）， Caused by: org.apache.flink.api.common.Inv
阅读更多
Flink双流Join底层原理
 浏览 1.14K  

大数据

Flink双流Join底层原理

底层原理简介 LState:存储左边数据流中的数据。 RState：存储右边数据流中的数据。 当左边数据流数据到达的时候会保存到LState，并且到RState中进行Join。将Join生成的结果数据发送到下游。 右
阅读更多
Flink SQL 优化
 浏览 1.03K  

大数据

Flink SQL 优化

设置空闲状态保留时间 不设置空闲状态保留时间会导致状态爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ），左右表的数据都会一直保存在状态里，不会清理！要么设置 TTL
阅读更多
Flink数据倾斜理解
 浏览 950  

大数据

Flink数据倾斜理解

数据倾斜原理 数据倾斜就是数据的分布严重不均，流入部分算子的数据明显多余其他算子，造成这部分算子压力过大。 影响 单点问题 数据集中在某些分区上（Subtask），导致数据严重不平衡。 GC 频繁 过多的数据集中在某些
阅读更多
Flink作业反压处理
 浏览 1.05K  

大数据

Flink作业反压处理

简介 反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为 瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队
阅读更多
Flink状态后端和CheckPoint 调优
 浏览 942  

大数据

Flink状态后端和CheckPoint 调优

RocksDB 介绍 RocksDB 是嵌入式的 Key-Value 数据库，在 Flink 中被用作 RocksDBStateBackend 的底层存储。如下图所示，RocksDB 持久化的 SST文件在本地文件系统上
阅读更多
浪浪山下那个村-公告
浪浪山下那个村-访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10
浪浪山下那个村-分类
浪浪山下那个村-最新评论
浪浪山下那个村-公告
  
访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10