Pyspark -获取azure synapse工作区中表的所有count行，并将该数据存储到dataframe中

nhhxz33t 于 2023-05-23 发布在 Apache

关注(0)|答案(1)|浏览(231)

我想从Lake数据库和SQL数据库中的表中获取所有行，并将这些数据存储到dataframe中：

我想创建一个函数来获取所有的表，然后使用DESCRIBE HISTORY来获取历史数据，然后应用SELECT COUNT（*），例如：

DESCRIBE HISTORY tables

SELECT COUNT(*) FROM tables VERSION AS OF XXX

理想情况下，如果可以获得历史记录，那就太好了，但也可以只获得今天的数据，然后每天运行代码以开始具有历史记录。
有人能帮我实现这一点吗？
谢谢大家！

1条答案

我想你会很难写一个单一的功能，将两者服务。原因是湖数据库是一个百草枯文件，所以如果你查询百草枯文件，这应该工作。但是SQLdatabse是不同的，所以相同的逻辑在那里不起作用。