在我的python脚本中,我决定了azuredatalake存储gen2中的目录大小。在我检查一个更大的目录之前,代码运行良好。
import sys
from dbutils import FileInfo
from typing import List
sys.setrecursionlimit(2000)
root_path = "/mnt/datalake/.../"
def discover_size(path: str, verbose: bool = True):
def loop_path(paths: List[FileInfo], accum_size: float):
if not paths:
return accum_size
else:
head, tail = paths[0], paths[1:]
if head.size > 0:
if verbose:
accum_size += head.size / 1e6
return loop_path(tail, accum_size)
else:
extended_tail = dbutils.fs.ls(head.path) + tail
return loop_path(extended_tail, accum_size)
return loop_path(dbutils.fs.ls(path), 0.0)
discover_size(root_path, verbose=True)
首先请参阅oom(内存不足)问题并添加 sys.setrecursionlimit(2000)
.
现在,另一个错误- RecursionError: maximum recursion depth exceeded in comparison
如何克服这个问题。
1条答案
按热度按时间nqwrtyyt1#
的文档
dbutils.fs.ls()
我手头没有databricks环境,但是这样的东西在不使用真正的递归的情况下可能会工作得更好,但是要访问的路径列表。