flink什么与scalaapi中的parsequotedstrings等价

vzgqcmou  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(278)

我正在尝试将此jave代码转换为scala:

DataSet<Tuple3<Long, String, String>> lines = env.readCsvFile("movies.csv")
            .ignoreFirstLine()
            .parseQuotedStrings('"')
            .ignoreInvalidLines()
            .types(Long.class, String.class, String.class);

去斯卡拉。我在斯卡拉找不到任何替代品 parseQuotedStrings 我会很感激你的帮助

xfb7svmp

xfb7svmp1#

下面的代码使用flink的javaapi,直译您提供的代码。

import org.apache.flink.api.java._

val env = ExecutionEnvironment.getExecutionEnvironment
val movies = env.readCsvFile("movies.csv")
  .ignoreFirstLine()
  .parseQuotedStrings('"')
  .ignoreInvalidLines()
  .types(classOf[Long], classOf[String], classOf[String])

您还可以使用flink的scalaapi,类似这样的

import org.apache.flink.api.scala._

val env = ExecutionEnvironment.getExecutionEnvironment
val movies = env.readCsvFile[(Int,String,String)]
  ("movies.csv", ignoreFirstLine = true, quoteCharacter = '"', lenient = true)

afaik scala api没有java版本的fluent api。”“宽大”选项与“忽略无效行”相同,其他选项应不言自明。

相关问题