在spark中创建了Parquet文件。下面是代码片段

parquet_file_name = os.path.join(partition, os.path.basename(fileLocation) + ".parquet")

dfData = sqlContext.createDataFrame(addedColumns, schema)

dfData.save(parquet_file_name, "parquet", "append")

我可以在spark中读取文件内容。

In [1]:
sqlContext = SQLContext(sc)
parquetFile = sqlContext.parquetFile("/temp//browser/pub/browser.parquet/part-r-00001.parquet")
parquetFile.head(10)
​
Out[1]:
[Row(browserID=u'1', browserName=u'Lynx 2.7.1'),
 Row(browserID=u'2', browserName=u'Lynx 2.7'),
 Row(browserID=u'3', browserName=u'Lynx 2.6'),
 Row(browserID=u'4', browserName=u'Lynx 2.5'),
 Row(browserID=u'5', browserName=u'Lynx 2.4'),
 Row(browserID=u'6', browserName=u'Lynx (unknown version)'),
 Row(browserID=u'7', browserName=u'Lotus Notes 4.5'),
 Row(browserID=u'8', browserName=u'AOL 4.0'),
 Row(browserID=u'9', browserName=u'AOL 3.0'),
 Row(browserID=u'10', browserName=u'Microsoft Internet Explorer 5.0 beta 2')]

使用以下语法在parquet文件上创建了一个配置单元外部表

CREATE EXTERNAL TABLE browser
(
fld1 string,
fld2 string,
FileName string,
LoadDate string,
Checksum string,
RecordId string
)
PARTITIONED BY (fname string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS
INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION 'hdfs://nameservice1/temp/dims/browser';

修改表以添加分区

ALTER TABLE browser ADD PARTITION (fname='browser.parquet')
LOCATION 'hdfs://nameservice1/temp/dims/browser/browser.parquet';

select*from table in对所有行和列返回null。

select * from browser;

browser.fld1    browser.fld2    browser.filename    browser.loaddate    browser.checksum    browser.recordid    browser.fname
0   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
1   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
2   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
3   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
4   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
5   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
6   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet

cloudera cdh 5.4.1
Spark1.3.0
色调3.7.0
任何指针如何解决这个问题，如果你需要额外的信息需要我会补充。谢谢。