WARN hdfs.DFSClient: Caught exception java.lang.InterruptedException
Hadoop 2.7.4
The reason is this: originally, DataStreamer::closeResponder always prints a warning about InterruptedException; since HDFS-9812, DFSOutputStream::closeImpl always forces threads to close, which causes InterruptedException.
A simple fix is to use debug level log instead of warning level.
In HDFS-9794, it has solved problem of that stream thread leak if failure happens when closing the striped outputstream. And in DFSOutputStream, it also exists the same problem in DFSOutputStream#closeImpl. If failures happen when flushing data blocks, the streamer threads will also not be closed.
When closing the DFSStripedOutputStream, if failures happen while flushing out the data/parity blocks, the streamer threads will not be closed.
这个是Hadoop的一个bug，大概的意思是：
首先是HDFS 9794的bug：
当关闭DFSStripedOutputStream的时候，如果在向data/parity块刷回数据失败的时候，streamer线程不会被关闭。同时在DFSOutputStream#closeImpl中也存在这个问题。
DFSOutputStream#closeImpl总是会强制性地关闭线程，会引起InterruptedException。
解决的方法是：将日志的级别从warning改成debug。
最新文章
- PyQt 自定义信号带参数
- CSS基本语法
- eclipse中文乱码问题解决方案
- 用Spring MVC开发简单的Web应用
- hdfs工作原理
- 【大数取模】HDOJ-1134、CODEUP-1086
- MAC地址查询 Linux/Unix操作系统mac地址怎么查
- Nutch环境搭建
- 定时执行.SH
- C++ Primer 笔记 第二章
- linux CentOS 权限问题修复（chmod 777 -R 或者chmod 755 -R问题修复）
- 06_Linux目录文件操作命令3查找命令_我的Linux之路
- （七）SpringBoot2.0基础篇- application.properties属性文件的解析及获取
- Paxos协议超级详细解释+简单实例
- pe文件头详解
- 加密PDF文件的打印问题
- Visual Studio 2015编译Lua 5.3.4遇到的坑
- 火狐FireFox看视频不能全屏显示的问题
- Scala里面如何使用枚举
- SQL语言DDL DML DCL TCL四种语言