问题

管理spark表的模式的最佳方法是什么？你看到选项2有什么缺点吗？你能提出更好的选择吗？

我看到的解决方案

选项1：为代码和元存储保留单独的定义
这种方法的缺点是您必须不断地保持它们的同步（容易出错）。另一个缺点是，如果表有500列，它会变得很麻烦。
创建\u some \u table.sql[第一个定义]

-- Databricks syntax (internal metastore)
CREATE TABLE IF NOT EXISTS some_table (
  Id int,
  Value string,
  ...
  Year int
)
USING PARQUET
PARTITION BY (Year)
OPTIONS (
  PATH 'abfss://...'
)

某个job.py[第二个定义]

def run():
   df = spark.read.table('input_table')  # 500 columns
   df = transorm(df)
   # this logic should be in `transform`, but anycase it should be
   df = df.select(
     'Id', 'Year', F.col('Value').cast(StringType()).alias('Value')  # actually another schema definition: you have to enumerate all output columns
   )
   df.write.saveAsTable('some_table')

测试\u some \u job.py[第三个定义]

def test_some_job(spark):
   output_schema = ...  # another definition
   expected = spark.createDataFrame([...], output_schema)

选项2：在代码中只保留一个定义（structtype）
可以动态生成模式。这种方法的好处是简单性和模式定义在一个地方。你看到什么缺点了吗？

def run(input: Table, output: Table):
   df = spark.read.table(input.name)
   df = transform(df)
   save(df, output)    

def save(df: DataFrame, table: Table): 
    df \
        .select(table.schema.fieldNames()) \
        .write \
        .partitionBy(table.partition_by) \
        .option('path', table.path) \
        .saveAsTable(table.name)
    # In case table doesn't exists, Databricks will automatically generate table definition

class Table(NamedTuple):
    name: str
    path: str
    partition_by: List[str]
    schema: StructType