spark 2.4无法使用变量插入记录

nue99wik 于 2021-07-13 发布在 Java

关注(0)|答案(1)|浏览(300)

我试图使用变量将记录插入表中，但失败了。
命令：

val query = "INSERT into TABLE Feed_metadata_s2 values ('LOGS','RUN_DATE',{} )".format(s"$RUN_DATE")
spark.sql(s"query")
spark.sql("INSERT into TABLE Feed_metadata_s2 values ('LOGS','ExtractStartTimestamp',$ExtractStartTimestamp)")

错误：

INSERT into TABLE Feed_metadata_s2 values ('SDEDLOGS','ExtractStartTimestamp',$ExtractStartTimestamp)
------------------------------------------------------------------------------^^^

at org.apache.spark.sql.catalyst.parser.ParseException.withCommand(ParseDriver.scala:241)
at org.apache.spark.sql.catalyst.parser.AbstractSqlParser.parse(ParseDriver.scala:117)
at org.apache.spark.sql.execution.SparkSqlParser.parse(SparkSqlParser.scala:48)
at org.apache.spark.sql.catalyst.parser.AbstractSqlParser.parsePlan(ParseDriver.scala:69)
at org.apache.spark.sql.SparkSession.sql(SparkSession.scala:642)

scala apache-spark

来源：https://stackoverflow.com/questions/67263141/spark-2-4-unable-to-insert-record-using-variable

1条答案

按热度按时间

lmvvr0a81#

你好像和弦插值混淆了。。。你需要把 s 在最后一个查询之前，以便将变量替换为字符串。前两行也可以简化：

val query = s"INSERT into TABLE Feed_metadata_s2 values ('LOGS','RUN_DATE',$RUN_DATE)"
spark.sql(query)
spark.sql(s"INSERT into TABLE Feed_metadata_s2 values ('LOGS','ExtractStartTimestamp',$ExtractStartTimestamp)")

赞(0）回复(0）举报 2021-07-13

我来回答

spark 2.4无法使用变量插入记录

1条答案

相关问题

热门标签

最新问答