正如你在齐柏林飞艇中可能知道的,我们可以在每个单元中分别定义解释器,例如pyspark、sql或spark。在我目前的脚本中,我混合使用了以下语言和解释器:
%spark2.pyspark
# constant parameters
#
FALSE_TRUE_PAIRS_RATIO = 1
NUM_TREES = 200
TRAIN_DATA_RATIO = 0.8
TEST_DATA_RATIO = 1 - TRAIN_DATA_RATIO
%spark2
// read data
//
val basepath = "/kafka-connect/topics/v1/year=2020"
spark.read
.option("basePath", basepath)
.parquet(basepath + "/month={07}")
.createOrReplaceTempView("jul_data")
%spark2.spark
// extract page view data for medscape users in LA
//
sql("""select * from jul_data
where countryname='United States' and
cityname='New York' and
""").createOrReplaceTempView("raw_data")
%spark2.sql
-- just to view data
--
select * from raw_data
如何提交此脚本的spark应用程序?
1条答案
按热度按时间hvvq6cgz1#
您可以创建
sbt
组装jar的项目,将逻辑放在其中。用组装好的jar,你可以spark-submit
命令。参见示例sbt
项目。