只要文件格式相同，就可以使用通配符读入多个路径。
在您的示例中：

.load('file:///home/path/SFweather/data2014/*.csv')
.load('file:///home/path/SFweather/data2015/*.csv')
.load('file:///home/path/NYCweather/data2014/*.csv')
.load('file:///home/path/NYCweather/data2015/*.csv')

您可以将上面的4个load语句替换为以下路径，以将所有csv一次性读入一个 Dataframe ：

.load('file:///home/path/*/*/*.csv')

如果您想更具体地说明以避免阅读某些文件/文件夹，可以执行以下操作：

.load('file:///home/path/[SF|NYC]weather/data201[4|5]/*.csv')

您可以使用模式字符串列表一次加载多个路径。pyspark.sql.DataFrameReader.load方法接受一个路径字符串列表，如果您无法使用单个Hadoop glob模式表示要加载的所有路径，这将非常有用：

?
    Matches any single character.

*
    Matches zero or more characters.

[abc]
    Matches a single character from character set {a,b,c}.

[a-b]
    Matches a single character from the character range {a...b}.
    Note that character a must be lexicographically less than or
    equal to character b.

[^a]
    Matches a single character that is not from character set or
    range {a}.  Note that the ^ character must occur immediately
    to the right of the opening bracket.

\c
    Removes (escapes) any special meaning of character c.

{ab,cd}
    Matches a string from the string set {ab, cd}

{ab,c{de,fh}}
    Matches a string from the string set {ab, cde, cfh}

例如，如果要加载以下路径：

[
    's3a://bucket/prefix/key=1/year=2010/*.csv',
    's3a://bucket/prefix/key=1/year=2011/*.csv',
    's3a://bucket/prefix/key=2/year=2020/*.csv',
    's3a://bucket/prefix/key=2/year=2021/*.csv',
]

您可以将它们简化为两种路径模式，

• s3a://bucket/prefix/key=1/year=201[0-1]/*.csv和
• s3a://bucket/prefix/key=2/year=202[0-1]/*.csv，

并调用load()两次。您可以更进一步，使用{ab,cd}交替将它们简化为单个模式字符串，但我认为使用glob模式并通过对load()的一次调用来表示路径的最可读方式是传递一个路径模式列表：

spark.read.format('csv').load(
    [
        's3a://bucket/prefix/key=1/year=201[0-1]/*.csv',
        's3a://bucket/prefix/key=2/year=202[0-1]/*.csv',
    ]
)

对于您在第1期中列出的路径，您可以使用单个模式字符串来表示所有四个路径：

'file:///home/path/{NY,SF}weather/data201[45]/*.csv'

对于问题2，可以编写逻辑来构造要加载的路径。