记录一次由于Jar包冲突导致的神奇问题

今天同事找我帮忙看一个Flink的问题,现象是前几天还能提交的客户端,就在今天突然提交不了作业了,报错提示大概如下(公司的东西涉密), Caused by: org.apache.flink.api.common.Inv

老电脑如何继续继续工作

本文只适合没钱买新电脑又想用老电脑写代码的人,其他人请绕行。 本文适合比较想学习Linux的人,不想感兴趣的请绕行。

Debian 9如何升级到Debian 10

由于本人使用的自建代码仓Gitea在docker 19版本存在bug,导致一个MR只能提交一个commit,提交第二个的时候MR就没办法merge了。 当然想要解决这个问题有两个办法: 在Debian 9上面安装Doc

Linux 安装最新Neovim

Neovim是一个社区驱动的开源项目,是Vim文本编辑器的一个分叉版本,它的构建使Vim更容易为核心开发人员维护。是对vim的一个增强,相比与vim性能更好,速度更快。

Bolo博客速度优化

背景 可能是实在太无聊了,居然觉得Bolo博客响应有点慢,忍不住看了下代码,发现了一个比较难以接受的现实:Bolo博客中的markdown没事都会调用解析服务区解析。 开发 于是我就加了下面这个函数: public st

debian 11 安装clang-15

debian 11 安装clang-15 debian 11 使用apt install clang-15安装失败,可以使用下面命令安装: wget https://mirrors.tuna.tsinghua.edu.c

Flink双流Join底层原理

底层原理简介 LState:存储左边数据流中的数据。 RState:存储右边数据流中的数据。 当左边数据流数据到达的时候会保存到LState,并且到RState中进行Join。将Join生成的结果数据发送到下游。 右

Flink SQL 优化

设置空闲状态保留时间 不设置空闲状态保留时间会导致状态爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ),左右表的数据都会一直保存在状态里,不会清理!要么设置 TTL

Flink数据倾斜理解

数据倾斜原理 数据倾斜就是数据的分布严重不均,流入部分算子的数据明显多余其他算子,造成这部分算子压力过大。 影响 单点问题 数据集中在某些分区上(Subtask),导致数据严重不平衡。 GC 频繁 过多的数据集中在某些

Flink作业反压处理

简介 反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为 瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。由于实时计算应用通常使用消息队