我想将结果表保存到csv、文本文件或类似文件中,以便能够使用rstudio执行可视化。
我正在使用pyspark.sql在hadoop设置中执行一些查询。我想将结果保存在hadoop中,然后将结果复制到本地驱动器中。
myTable = sqlContext.sql("SOME QUERIES")
myTable.show() # Show my result
myTable.registerTempTable("myTable") # Save as table
myTable.saveAsTextFile("SEARCH PATH") # Saving result in my hadoop
这将返回:
attributeerror:“dataframe”对象没有“saveastextfile”属性
当我只使用pyspark,即不使用pyspark.sql时,我通常是这样做的。
然后我复制到本地驱动器
hdfs dfs –copyToLocal SEARCH PATH
有人能帮我吗?
1条答案
按热度按时间zaq34kh61#
你可以用
DataFrameWriter
使用支持的格式之一。例如,对于json: