flink - 反压
2024-04-04 23:47:12
http://wuchong.me/blog/2016/04/26/flink-internals-how-to-handle-backpressure/
https://ci.apache.org/projects/flink/flink-docs-master/internals/back_pressure_monitoring.html
反压之所以会是需要的，因为当源端流量过大，而消费端无法及时消费时，可能会导致job crash；比如内存耗尽等；
其实通过合理控制资源的使用，JStorm也可以做到自然反压的
spout pending队列是可以配置的，只有当record被ack，才会发送新的record，也可以达到流控的目的
Flink没有实现特别的反压逻辑，是因为对于flink而言，每层的buffer是可控的，是一个固定大小的bufferpool，当buffer用完时，发送端自然会停止发送，达到限流的目的，从而防止资源耗尽
最新文章
- jQuery入门（4）jQuery中的Ajax应用
- 把《c++ primer》读薄（1-2前言+变量和基本类型）
- C# json
- centos ppp拨号
- Java getResourceAsStream返回为空的问题
- javascript小练习—函数接收参数并弹出
- HTML5 标准属性 NEW：HTML 5 中新的标准属性。 注释：HTML 4.01 不再支持 accesskey 属性：
- NET Framework 4.5新特性 数据库的连接加密保护。
- hdu 1728 逃离迷宫 (BFS)
- Oracle PIVOT 行转列方法
- Codeforces Round #522 (Div. 2, based on Technocup 2019 Elimination Round 3)B. Personalized Cup
- vue2.0 如何自定义组件（vue组件的封装）
- django的闪现和增、删、改、查
- Winform 加载datagridview
- 基于MAVEN使用IDEA创建dubbo入门项目图文教程
- 网络编程—网络基础概览、socket，TCP/UDP协议
- 浏览器下载Excel,直接打开显示乱码...
- docker 安装与使用
- 抽屉柜式MCC柜中PROFIBUS设备推荐波特率及相应传输距离
- 论文笔记—Flattened convolution neural networks for feedforward acceleration