Flink 常见问题总结
 浏览 845  

大数据

Flink 常见问题总结

Flink大数据常见问题总结。
阅读更多
记录一次由于Jar包冲突导致的神奇问题
 浏览 1.89K  

大数据

记录一次由于Jar包冲突导致的神奇问题

今天同事找我帮忙看一个Flink的问题，现象是前几天还能提交的客户端，就在今天突然提交不了作业了，报错提示大概如下（公司的东西涉密）， Caused by: org.apache.flink.api.common.Inv
阅读更多
Flink双流Join底层原理
 浏览 1.14K  

大数据

Flink双流Join底层原理

底层原理简介 LState:存储左边数据流中的数据。 RState：存储右边数据流中的数据。 当左边数据流数据到达的时候会保存到LState，并且到RState中进行Join。将Join生成的结果数据发送到下游。 右
阅读更多
Flink SQL 优化
 浏览 1.03K  

大数据

Flink SQL 优化

设置空闲状态保留时间 不设置空闲状态保留时间会导致状态爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ），左右表的数据都会一直保存在状态里，不会清理！要么设置 TTL
阅读更多
Flink数据倾斜理解
 浏览 950  

大数据

Flink数据倾斜理解

数据倾斜原理 数据倾斜就是数据的分布严重不均，流入部分算子的数据明显多余其他算子，造成这部分算子压力过大。 影响 单点问题 数据集中在某些分区上（Subtask），导致数据严重不平衡。 GC 频繁 过多的数据集中在某些
阅读更多
Flink作业反压处理
 浏览 1.05K  

大数据

Flink作业反压处理

简介 反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为 瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队
阅读更多
Flink状态后端和CheckPoint 调优
 浏览 942  

大数据

Flink状态后端和CheckPoint 调优

RocksDB 介绍 RocksDB 是嵌入式的 Key-Value 数据库，在 Flink 中被用作 RocksDBStateBackend 的底层存储。如下图所示，RocksDB 持久化的 SST文件在本地文件系统上
阅读更多
Redis 可以禁用的高危命令
 浏览 2.57K  

大数据

Redis 可以禁用的高危命令

redis一款高并发的内存K-V数据库，提供了好多命令，但是其中有部分对于生产环境来说比较危险，需要禁用掉。高危命令有：keys、flushdb、flushall、config、debug、eval、script、evalsha、shutdown
阅读更多
已经安装openssl，编译redis还是提示找不到<openssl/ssl.h>
 浏览 1.28K  

大数据

已经安装openssl，编译redis还是提示找不到

已经安装openssl，编译redis还是提示找不到<openssl/ssl.h>
阅读更多
Redis实现分布式锁
 浏览 2.7K  

大数据

Redis实现分布式锁

Redis被经常用来实现分布式锁，本文主要讲述redis如何实现一个分布式锁的demo。
阅读更多
浪浪山下那个村-公告
浪浪山下那个村-访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10
浪浪山下那个村-分类
浪浪山下那个村-最新评论
浪浪山下那个村-公告
  
访问最多的文章
浪浪山下那个村-标签
原创 55
redis 42
转载 39
机器学习 21
生活 19
flink 18
hadoop 17
源码 15
linux 11
博客 10