hive 大数据(Spark SQL和Spark Dataframe 连接)

9rbhqvlz 于 2023-01-20 发布在 Hive

关注(0)|答案(2)|浏览(148)

我是大数据平台的新手，您能告诉我不同的方式吗？1）我们如何连接到Spark for Spark SQL？2）我们如何连接到Spark for Spark Dataframe 或数据集？
对于hive，我们通过unix与beeline连接，如果我们有sql工具，如：teradata我们必须连接到hive通过odbc与hive驱动程序安装。
连接到spark sql和spark Dataframe 或数据集怎么样？
另外，如果有人能提供一个很好的链接或资源，让我这样的新手更容易地理解概念、命令和使用，那将是非常有帮助的。

Hive

来源：https://stackoverflow.com/questions/62267736/big-dataspark-sql-and-spark-dataframes-connection

2条答案

按热度按时间

i86rm4rw1#

要将spark sql与SQL类似的查询一起使用，只需键入

spark-sql --master yarn # when you are testing on a Hadoop cluster

或

spark-sql --master local[2]   # when you are testing on local machine

并且您可以在spark-sql> shell中运行在beeline> shell上运行的所有查询。
或者，如果你只想测试一些scala代码：

spark-shell --master yarn # on cluster

或

spark-shell --master local[2] # on Local setup

赞(0）回复(0）举报 2023-01-20

lmyy7pcs2#

spark=Spark会话.构建器.主程序（“本地”）.应用程序名称（“字数”）.getOrCreate（）
spark.sql（“从表名中选择 *”）.show（）
你可以参考以下链接
https://databricks-prod-cloudfront.cloud.databricks.com/public/4027ec902e239c93eaaa8714f173bcfc/8223668471254563/888847798980585/528896120252697/latest.html

赞(0）回复(0）举报 2023-01-20

我来回答

hive 大数据(Spark SQL和Spark Dataframe 连接)

2条答案

相关问题

热门标签

最新问答