我想写一本书 Dataset 对象作为使用java的Parquet文件。我按照这个例子来做,但速度慢得离谱。大约需要1.5分钟才能写入大约10mb的数据,因此当我要写入数百mb的数据时,它的扩展性不好。我做了一些cpu评测,发现99%的时间来自 ParquetWriter.write() 方法。我试着增加页面大小和块大小 ParquetWriter 但这似乎对表演没有任何影响。有没有办法让这个过程更快,或者只是Parquet地板库的一个限制?
Dataset
ParquetWriter.write()
ParquetWriter
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!