开源分布式实时计算引擎 Iveely Computing 之 WordCount 详解(3)

WordCount是很多分布式计算中，最常用的例子，例如Hadoop、Storm，Iveely Computing也不例外。明白了WordCount在Iveely Computing上的运行原理，就很容易写出新的分布式程序。上一篇中已经知道了如何部署Iveely Computing以及提交任务，现在我们将深入WordCount的代码。

一、代码结构

图3-1

从图3-1中，可以看出，类WordCount中，有两个子类WordInput、WordOutput，以及一个主方法，WordCount.java即是一个Topology，里面至少包涵一个Input和Output（缺一不可，否则没有意义），以及main函数，main函数依然是Topology的入口函数。

现在问题来了，Input和Output到底是什么关系？还有Topology？

每一个Topology就是一个完整的任务链，可以包含多个Input，多个Output，Input的数据只能传递给一个或多个Output，Output只能将数据传递给一个或多个Output，从而形成一个完整的拓扑结构。

二、Input 深入

Input是数据的产生源，通过类WordInput看下是如何产生数据，并传递给Output的。

public static class WordInput extends IInput {

        /**

         * Output data to collector.

         */

        private StreamChannel _channel;

        /**

         * All sample words.

         */

        private final String[] _words = new String[] { "welcome", "iveely", "computing", "0.9.0", "build", "by",

                "liufanping", "thanks", "github.com" };

        private int _index;

        @Override

        public void start(HashMap<String, Object> conf, StreamChannel channel) {

            // Here,must be initialize channel.

            _channel = channel;

            _index = _words.length - 1;

        }

        @Override

        public void declareOutputFields(FieldsDeclarer declarer) {

            declarer.declare(new String[] { "word" }, new Integer[] { 0 });

        }

        @Override

        public void nextTuple() {

            if (_index < 0) {

                _channel.emitEnd();

            } else {

                for (int i = 0; i < 100; i++) {

                    _channel.emit(_words[_index]);

                }

                _index--;

            }

        }

        @Override

        public void end() {

            System.out.println(getName() + " finished.");

        }

        @Override

        public void toOutput() {

            _channel.addOutputTo(new WordOutput());

        }

    }

函数讲解：

start函数	在执行此Input之前提前调用的函数,用户初始化等相关工作,类似于构造函数，对有数据输出的时候，一定要初始化channel。
declareOutputFields函数	用于声明输出的数据信息。
nextTuple函数	此函数将会被频繁调用，用于输出数据，利用channel.emit提交数据到output。
end函数	是在Input执行完毕之后，会执行的代码，类似于析构函数。
toOutput函数	是指定Input的数据输出到的Output。

上面代码中，必须注意的几个问题：

2.1 WordInput必须继承IInput。

2.2 Input中，必须在start中初始化channel，因为input一定会产生数据。

2.3 Input中，toOutput函数中，必须指定数据流向。

三、Output深入

Output是数据的处理单元，也可以是新数据的产生单元。

public static class WordOutput extends IOutput {

        private TreeMap<String, Integer> _map;

        @Override

        public void start(HashMap<String, Object> conf, StreamChannel channel) {

            _map = new TreeMap<>();

        }

        @Override

        public void declareOutputFields(FieldsDeclarer declarer) {

            declarer.declare(new String[] { "word", "totalCount" }, null);

        }

        @Override

        public void execute(Tuple tuple) {

            String word = tuple.get(0).toString();

            if (_map.containsKey(word)) {

                int currentCount = _map.get(word);

                _map.put(word, currentCount + 1);

            } else {

                _map.put(word, 1);

            }

        }

        @Override

        public void end() {

            // Output map to database or print.

            Iterator<String> it = _map.keySet().iterator();

            while (it.hasNext()) {

                String key = it.next();

                int value = _map.get(key);

                System.out.println(getName() + ":" + key + "," + value);

            }

        }

        @Override

        public void toOutput() {

        }

    }

与Input相比，output中没有nextTuple函数，而是取而代之的execute函数。nextTuple是产生数据，execute是处理数据。如果execute处理完毕之后的数据也需要提交到新的output中去，则需要在execute中利用channel.emit方法提交数据，此刻toOutput中也需要指定数据流向。

此处也需要注意几个问题：

3.1 如果output需要继续传递数据，则需要在start中初始化channel。

3.2 如果当前output接受的数据源来自不同的input，且数据格式不统一，则需要自行判断数据格式，例如传递数组中，第一个用int标识是什么样的数据格式。

四、main函数

main函数，依然是Topology的执行入口，不同的是，它有两种执行方式，一个是本地模式，一个是远程执行模式。本地模式是用于调试用。

public static void main(String[] args) {

        TopologyBuilder builder = new TopologyBuilder(true, WordCount.class.getName(), "WordCount");

        builder.setInput(new WordInput(), 1);

        builder.setOutput(new WordOutput(), 4);

        builder.setSlave(2);

        TopologySubmitter.submit(builder, args);

    }

main函数中，主要做的工作。

4.1 新建TopologyBuilder对象，并在构造函数的第一个参数指定当前是本地模式(true)还是远程模式(false)，第二个参数，指定执行的类名，第三个参数，当前Topology的名称。

4.2 设定input和output。并指定运行的数量比（线程）。

4.3 指定在多少个节点上运行（进程）。

4.4 利用TopologySubmitter提交任务即可。

4.5 注意：在生成jar提交到服务器上运行时，一定要将TopologyBuilder的第一个参数改为远程模式(false)。

巴特西

开源分布式实时计算引擎 Iveely Computing 之 WordCount 详解(3)

最新文章

热门文章