Flink流处理应用在IDEA中的执行流程分析

Flink流式计算的核心概念就是将数据从输入流一个个传递给operator进行链式处理 , 最后交给输出流的过程 。 对数据的每一次处理在逻辑上成为一个operator(算子) 。
Flink流处理应用在IDEA中的执行流程分析文章插图
Flink经典示例WordCount流处理应用-整个执行流程如下图所示:
Flink流处理应用在IDEA中的执行流程分析文章插图
第1~4步:main方法读取文件 , 增加算子;
第5步:产生StreamGraph , 从而可以得到JobGraph , 即将Stream程序转换成JobGraph;
第6~8步:LocalEnvironment 是本地执行任务的环境 , 负责启动MiniCluster , 在本地执行Flink任务 。 MiniCluster可以看做是内嵌的Flink运行时环境 , 所有的组件都在独立的本地线程中运行 。 MiniCluster的启动入口在LocalStreamEnvironment#execute(jobName)中 。
第9~12步:执行job;
【Flink流处理应用在IDEA中的执行流程分析】第13步:关闭执行流程;