URL方式访问Hadoop的内容

2024-04-07 21:23:32

* 1、设置url支持hadoop，FsUrlStreamHandlerFactory
      * 2、创建URL对象，指定访问的HDFS路径
      * 3、openStream获取输入流对象，也就是读取的内容
      * 4、使用Hadoop的OIUtils工具类对输入流输出到控制台

public static void main(String[] args) throws Exception {

    //通过eclipse远程调用hadoop方式访问，传入一个参数也就是hdfs的路径

 String PATH = args[0];

    //设置URL支持Hadoop

    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());

    //创建URL对象

    URL url = new URL(PATH);

    //获取输入流

    InputStream in = url.openStream();

    //在控制台输出

    IOUtils.copyBytes(in, System.out, 1024, true);

}

最新文章

热门文章