如何将parquet模式Map到glue?

hfwmuf9z  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(337)

我正在使用现有Parquet文件中的boto3创建一个粘合表。
从parquetMap类型(使用spark模式中的类型名)效果不好有关于如何Map这些类型的参考吗(包括复杂类型(结构、数组等)
我尝试的是:

client.create_table(DatabaseName=db_name, TableInput={
"StorageDescriptor": {
"Columns":[
            {
                'Name': x.name,
                'Type': x.dataType.typeName()
            } for x in df.schema
}
})

其中df是一个sparkDataframe,省略了不相关的参数。
实际的表创建工作正常,但是查询表(使用athena)会返回:

HIVE_METASTORE_ERROR: com.facebook.presto.spi.PrestoException: Error: type expected at the position 0 of 'integer' but 'integer' is found. (Service: null; Status Code: 0; Error Code: null; Request ID: null)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题