spark可以像hive一样读取alluxio的元数据吗

hujrc8aj  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(638)

我试图通过使用alluxio来减少spark用于读写数据的时间。
但是我发现我必须指定读取数据的路径。
我发现我可以使用hive的metatool将hive的仓库从hdfs更改为alluxio,这样我就可以通过sparksql将数据写入alluxio。但我不知道如何用sql读取alluxio的数据。
有没有办法像hive一样读/写alluxio的数据?或许可以读取alluxio的元数据并将其添加到metastore?

ssgvzors

ssgvzors1#

您所需要做的就是修改表 locationSpark 的元存储。
您可以查看alluxio以了解详细信息,如果表位置alter花费的时间太长,请查看此线程以获取帮助。
请注意,第一次查询该表时, Alluxio 将从ufs获取数据。数据存储在 Alluxio ,以后的表查询将直接从 Alluxio .

相关问题