如何提交不同语言的spark应用程序?

ej83mcc0  于 2021-05-18  发布在  Spark
关注(0)|答案(1)|浏览(463)

正如你在齐柏林飞艇中可能知道的,我们可以在每个单元中分别定义解释器,例如pyspark、sql或spark。在我目前的脚本中,我混合使用了以下语言和解释器:

%spark2.pyspark

# constant parameters

# 

FALSE_TRUE_PAIRS_RATIO = 1
NUM_TREES = 200
TRAIN_DATA_RATIO = 0.8
TEST_DATA_RATIO = 1 - TRAIN_DATA_RATIO

%spark2

// read data
//
val basepath = "/kafka-connect/topics/v1/year=2020"
spark.read
 .option("basePath", basepath)
 .parquet(basepath + "/month={07}")
 .createOrReplaceTempView("jul_data")

%spark2.spark

// extract page view data for medscape users in LA 
//
sql("""select * from jul_data
        where countryname='United States' and 
              cityname='New York' and 
              """).createOrReplaceTempView("raw_data")

%spark2.sql

-- just to view data
--
select * from raw_data

如何提交此脚本的spark应用程序?

hvvq6cgz

hvvq6cgz1#

您可以创建 sbt 组装jar的项目,将逻辑放在其中。用组装好的jar,你可以 spark-submit 命令。参见示例 sbt 项目。

相关问题