在pyspark中使用parquet uuid logicaltype

rdlzhqv9  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(244)

我使用的是pyspark,我想用其中的uuid读/写parquet数据,我更喜欢保存为parquet uuid logicaltype(这是一个16字节的固定数组)。
看到了吗https://github.com/apache/parquet-format/blob/master/logicaltypes.md
我怎么能在Pypark这样做?
我在想我是否应该试着 class pyspark.sql.types.DataType 并在 bytes 以及 uuid.UUID 但是,我不清楚spark会如何将其写入parquet中的uuid逻辑类型。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题