我有像process/yyyy/mm/dd这样的文件夹结构,我需要编写一个scala代码来读取这些文件,直到process/yyyy,并且我使用小部件动态地传递月份和日期。
我使用小部件动态地传递mm和dd
代码val readdf=spark.read.format(“parquet”).option(“header”,“true”).load(“mnt/pnt/process/yyyy”)
我有像process/yyyy/mm/dd这样的文件夹结构,我需要编写一个scala代码来读取这些文件,直到process/yyyy,并且我使用小部件动态地传递月份和日期。
我使用小部件动态地传递mm和dd
代码val readdf=spark.read.format(“parquet”).option(“header”,“true”).load(“mnt/pnt/process/yyyy”)
1条答案
按热度按时间cwxwcias1#
您可以使用以下代码从小部件获取月份,然后创建从中加载的路径:
databricks输出显示:
现在,如果希望通过小部件将参数传递给笔记本,可以使用笔记本工作流从另一个笔记本运行它。这是该链接中的一个示例: