Flink SQL 优化
 浏览 1.06K  

大数据

Flink SQL 优化

设置空闲状态保留时间 不设置空闲状态保留时间会导致状态爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ），左右表的数据都会一直保存在状态里，不会清理！要么设置 TTL
阅读更多
Flink数据倾斜理解
 浏览 965  

大数据

Flink数据倾斜理解

数据倾斜原理 数据倾斜就是数据的分布严重不均，流入部分算子的数据明显多余其他算子，造成这部分算子压力过大。 影响 单点问题 数据集中在某些分区上（Subtask），导致数据严重不平衡。 GC 频繁 过多的数据集中在某些
阅读更多
Flink作业反压处理
 浏览 1.07K  

大数据

Flink作业反压处理

简介 反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为 瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队
阅读更多
Flink状态后端和CheckPoint 调优
 浏览 966  

大数据

Flink状态后端和CheckPoint 调优

RocksDB 介绍 RocksDB 是嵌入式的 Key-Value 数据库，在 Flink 中被用作 RocksDBStateBackend 的底层存储。如下图所示，RocksDB 持久化的 SST文件在本地文件系统上
阅读更多
浪浪山下那个村-公告
浪浪山下那个村-访问最多的文章
浪浪山下那个村-标签
原创 54
redis 42
转载 39
机器学习 21
flink 18
生活 18
hadoop 17
源码 15
linux 11
博客 10
浪浪山下那个村-分类
浪浪山下那个村-最新评论
浪浪山下那个村-公告
  
访问最多的文章
浪浪山下那个村-标签
原创 54
redis 42
转载 39
机器学习 21
flink 18
生活 18
hadoop 17
源码 15
linux 11
博客 10