我正在尝试将pandasDataframe写入本地系统，或者在集群模式下使用spark将其写入hdfs，但是它抛出了一个错误，如

IOError: [Errno 2] No such file or directory: {hdfs_path/file_name.txt}

我就是这么写的

df.to_csv("hdfs_path/file_name.txt", sep="|")

我使用的是python，作业是通过shell脚本运行的。
如果我在本地模式下，但不是在Yarn簇模式下，这可以正常工作。
欢迎任何支持，并提前表示感谢。