我正在尝试使用spark scala从hive导出数据。但我有以下错误。
Caused by: java.lang.ClassNotFoundException:com.databricks.spark.csv.DefaultSource我的scala脚本如下所示。
import org.apache.spark.sql.hive.HiveContext
val sqlContext = new HiveContext(sc)
val df = sqlContext.sql("SELECT * FROM sparksdata")
df.write.format("com.databricks.spark.csv").save("/root/Desktop/home.csv")我也尝试过这个命令，但仍然没有解决请帮助我。
spark-shell --packages com.databricks:spark-csv_2.10:1.5.0
1条答案
按热度按时间ruarlubt1#
如果您希望以运行脚本的方式运行该脚本，则需要使用
--jars本地jar或--packages在运行命令时用于远程repo。所以运行脚本应该是这样的：
如果您还想在作业完成后停止spark shell，则需要添加：
在你剧本的结尾。
ps：您不需要使用spark 2+获取此依赖项。