相同数据源情况下，使用Kafka实时消费数据 vs 离线环境下全部落表后处理数据，结果存在差异
2024-03-30 00:01:54
原因分析：
- 当某个consumer宕机时，消费位点(例如2s提交一次)尚未提交到zookeeper，此时Kafka集群自动rebalance后另一consumer来接替该宕机consumer继续消费，因为先前宕机consumer最近的消费位点尚未提交，导致数据重复消费
- 突发流量、跨机房(网络请求延时高)、网络不稳定，出现丢包现象
- 业务逻辑有偏差
常见丢包现象如突然掉线、页面卡住、视频卡住、图片加载卡主等，使用Ping测量丢包的最佳方法是向一个IP地址发送大量的Ping命令，然后检查没有应答的那些Ping命令。如果快速地发出了50次Ping命令，可以检查没有没有应答的次数，并把没有应答的次数作为丢包。没有应答的次数超过5%可能就值得担心了。
在一台Windows计算机上，在命令提示符后面输入如下命令就可以完成这个任务:Ping -n 50(IP地址或者域名，如www.website.com)这个命令中的“-n”开关告诉发送ping命令的次数，“50”是发送的次数。如ping –n 100 www.baidu.com
然后，将得到一个测试总结。这个总结将包括丢失的数量和百分比:
199.181.132.250地址Ping的统计结果:
包:发送 = 6, 接收 = 6, 丢失 = 0 (0%)大约往返时间以毫秒(ms)显示:最小 = 26ms, 最大= 29ms, 平均 = 27ms。
最新文章
- 火狐和IE浏览器的兼容问题汇总
- js做灯泡明灭特效
- Python之socket简介
- 【转】c++中Vector等STL容器的自定义排序
- surfaceview介绍
- 全代码实现ios-2
- 使用ButterKnife无法inject view的解决办法
- iOS混合应用开发入门
- js 玩一玩
- Linux的诞生史
- 小电阻之大作用——CAN终端电阻
- Session&&cookie
- 20172302 《Java软件结构与数据结构》第七周学习总结
- TensorFlow学习路径【转】
- Oracle备份恢复之数据库备份、还原、恢复理论
- 最新office2003密钥
- Atitit.软件控件and仪表盘(23)--多媒体子系统--视频输出切换控制cvbs av s-video Ypbpr pal ntsc
- 初识express
- 【转】Angular.js VS. Ember.js：谁将成为Web开发的新宠？
- nginx升级步骤