从ide运行时的flink webui

bfrts1fy  于 2021-06-25  发布在  Flink
关注(0)|答案(3)|浏览(464)

我正在尝试在web ui中查看我的工作。
我使用createlocalenvironmentwithwebui,代码在ide中运行良好,但无法在中看到我的工作http://localhost:8081/#/概述

val conf: Configuration = new Configuration()
      import org.apache.flink.configuration.ConfigConstants
      conf.setBoolean(ConfigConstants.LOCAL_START_WEBSERVER, true)
      val env =  StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf)
      env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

      val rides = env.addSource(
        new TaxiRideSource("nycTaxiRides.gz", 1,100))//60, 600))

      val filteredRides = rides
        .filter(r => GeoUtils.isInNYC(r.startLon, r.startLat) && GeoUtils.isInNYC(r.endLon, r.endLat))
        .map(r => (r.passengerCnt, 1))
        .keyBy(_._1)
        .window(TumblingTimeWindows.of(Time.seconds(5)))
        .sum(1)
        .map(r => (r._1.toString+"test", r._2))

      filteredRides.print()
      env.execute("Taxi Ride Cleansing")

我需要设置其他东西吗?

7ajki6be

7ajki6be1#

我能够从intellij启动flinkwebui,方法是将flink运行时web添加到我的项目的依赖项中。为此,我将以下内容添加到pom.xml文件中:

<dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-runtime-web_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>

然后,您还需要创建一个本地执行环境,其中包括webui:

Configuration conf = new Configuration();
    env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);
9ceoxa92

9ceoxa922#

从flink 1.5.0版开始,添加前面提到的依赖项并使用以下代码启动streamenvironment对我来说很有效:

Configuration config = new Configuration();
config.setBoolean(ConfigConstants.LOCAL_START_WEBSERVER, true);
StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(config);

当处理正在运行时,web ui在下面可用http://localhost:8081

a7qyws3x

a7qyws3x3#

是的,如果您想使用webui Jmeter 板,那么您需要创建一个可执行jar,然后将这个jar提交给flink Jmeter 板。我会一步一步地向你解释
步骤1:从ide代码创建jar
您可能需要将执行环境更改为
streamexecutionenvironment environment=streamexecutionenvironment.getexecutionenvironment();
如果您有多个jar,那么在manifest.mf文件的main class:variable中设置main类
然后在ide中使用构建工件创建jar
第2步:启动flink本地集群,它将显示您的 Jmeter 板。
我假设您没有下载flink二进制文件,您可以在这里轻松下载,如果您有macintosh,我建议您使用brew安装apache flink,它将下载最新的稳定版本,目前是1.3.2
好的,现在您必须转到安装flink的路径并启动本地集群
第三步:提交作业
通过submitnewjob选项提交jar,然后运行它

相关问题