使用sqoop导入的单表
...
--as-avrodatafile
--compression-codec ...SnappyCodec
...在“文件浏览器”中查看时，确认已通过显示消息对其进行了压缩 Output rendered from compressed avro file. 已将配置单元中的外部表创建为
create external table customers_avro
stored as avro
location '.../path/'
tblproperties('avro.schema.file'='/path/to/customers.avsc')但是，在使用 describe extended tblname 显示 compressed:false ```
...
inputFormat:org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat, compressed:false, numBuckets:-1, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.avro.AvroSerDe, parameters:{serialization.format=1})...
还有其他需要设置的属性吗 `tblproperties` ?
1条答案
按热度按时间q7solyqu1#
我建议你核实一下你的数据是否被正确压缩。你可以用这个。
从命令行在hadoop中检测压缩编解码器，
另外，了解您的配置单元和sqoop版本应该很有用，尝试像这样从sqoop导入