如何在提交应用程序时指定依赖的JAR

piv4azn7 于 2021-06-24 发布在 Flink

关注(0)|答案(2)|浏览(341)

我正在使用以下脚本提交flink申请， flink run -m yarn-cluster -c com.my.flink.learningflink.FlinkToMySQL -yn 4 -ys 1 -j /tmp/learing.flink.1.7.1-0.1.jar 我的类flinktomysql在learing.flink.1.7.1-0.1.jar中，但是我的应用程序也需要依赖mysql jar，如何指定mysql jar和其他依赖jar。
还有，我试过 -yt 带有以下脚本的选项 flink run -m yarn-cluster -c com.my.flink.learningflink.FlinkToMySQL -yn 4 -ys 1 -yt /tmp/mysql-connector-java-5.1.45.jar -j /tmp/learing.flink.1.7.1-0.1.jar ，它仍然抱怨没有找到合适的驱动程序（在本地ide中运行良好）。
谢谢。

apache-flink

来源：https://stackoverflow.com/questions/58338680/how-to-specify-the-dependent-jars-when-submitting-application

2条答案

按热度按时间

prdp8dxp1#

用maven构建您的jar作为一个“具有依赖关系的jar”，并部署该jar。
我的maven构建定义如下：

<build>
    <plugins>
        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
                <archive>
                    <manifest>
                        <mainClass></mainClass>
                    </manifest>
                </archive>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>

        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.1</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
    </plugins>
</build>

赞(0）回复(0）举报 2021-06-24

vxf3dgd42#

一般来说，flink支持多种方式发送用户代码jar：
构建包含所有用户代码依赖项的uberjar
将依赖项放入 FLINK_HOME/lib 它被传送到集群
使用Yarn时，使用 -yt 指定应发送到集群并添加到系统类路径的其他文件

赞(0）回复(0）举报 2021-06-24