如何访问黄金表在三角洲湖的网页 Jmeter 板和其他?

ru9i0ody  于 2021-07-13  发布在  Spark
关注(0)|答案(1)|浏览(389)

我使用的是delta lake oss版本0.8.0。
假设我们使用原始数据计算聚合数据和立方体,并使用delta-lake将结果保存在gold表中。
我的问题是,有没有一种众所周知的方法来访问这些黄金表数据并将其传递到web Jmeter 板(例如)?
在我的理解中,您需要一个正在运行的spark会话来查询delta表。
因此,一个可能的解决方案是编写一个webapi,执行这些spark查询。
你也可以在postgres这样的数据库中写入gold结果来访问它,但这似乎只是复制了数据。
是否有已知的最佳实践解决方案?

eiee3dmh

eiee3dmh1#

真正的答案取决于您对延迟、每秒请求数、数据量、部署选项(cloud/on prem,数据所在位置-hdfs/s3/…)等的要求。可能的方法有:
让spark在应用程序内部以本地模式运行-它可能需要大量内存等。
将thrift jdbc/odbc服务器作为单独的进程运行,并通过jdbc/odbc访问数据
使用jvm的delta独立读取器库直接读取数据,或者通过使用rust/python/ruby的delta rs库读取数据

相关问题