配置单元使用文本作为默认格式,如果需要parquet/orc文件格式,则必须添加额外的“storeasparquet/orc”子句。如何将parquet/orc设置为默认输出格式?
piwo6bdm1#
对于外部表,执行以下操作:
set hive.default.fileformat=Parquet
对于托管表,执行以下操作:
set hive.default.fileformat.managed=Parquet
这将仅为当前会话设置。如果要为整个配置单元配置设置这些属性,请在hive-site.xml中设置这些属性,然后重新启动配置单元服务。
v09wglhw2#
hive.default.fileformat文件格式默认值:textfile添加到:配置单元0.2.0create table语句的默认文件格式。选项有textfile、sequencefile、rcfile、orc和parquet。用户可以显式地说创建表。。。存储为textfile | sequencefile | rcfile | orc | avro | inputformat…outputformat。。。覆盖(rcfile是在hive0.6.0中添加的,orc是在0.11.0中添加的,avro是在0.14.0中添加的,parquet是在2.3.0中添加的)有关详细信息,请参阅row format、storage format和serde。hive.default.fileformat.managed配置单元默认值:无添加到:Hive1.2.0版本,hive-9915 create table语句的默认文件格式仅适用于托管表。将使用hive.default.fileformat指定的格式创建外部表。选项有none、textfile、sequencefile、rcfile、orc和parquet(从hive2.3.0开始)。保留此空值将导致对所有本机表使用hive.default.fileformat。对于非本机表,文件格式由存储处理程序确定,如下所示(有关托管/外部和本机/非本机术语的更多信息,请参阅storagehandlers部分)。
+----------+---------------------------------------------------------------------------+-------------------------------------+ | | Native | Non-Native | +----------+---------------------------------------------------------------------------+-------------------------------------+ | Managed | hive.default.fileformat.managed (or fall back to hive.default.fileformat) | Not covered by default file-formats | | External | hive.default.fileformat | Not covered by default file-formats | +----------+---------------------------------------------------------------------------+-------------------------------------+
https://cwiki.apache.org/confluence/display/hive/configuration+properties#configurationproperties-文件格式
2条答案
按热度按时间piwo6bdm1#
对于外部表,执行以下操作:
对于托管表,执行以下操作:
这将仅为当前会话设置。如果要为整个配置单元配置设置这些属性,请在hive-site.xml中设置这些属性,然后重新启动配置单元服务。
v09wglhw2#
hive.default.fileformat文件格式
默认值:textfile
添加到:配置单元0.2.0
create table语句的默认文件格式。选项有textfile、sequencefile、rcfile、orc和parquet。用户可以显式地说创建表。。。存储为textfile | sequencefile | rcfile | orc | avro | inputformat…outputformat。。。覆盖(rcfile是在hive0.6.0中添加的,orc是在0.11.0中添加的,avro是在0.14.0中添加的,parquet是在2.3.0中添加的)有关详细信息,请参阅row format、storage format和serde。
hive.default.fileformat.managed配置单元
默认值:无
添加到:Hive
1.2.0版本,hive-9915 create table语句的默认文件格式仅适用于托管表。将使用hive.default.fileformat指定的格式创建外部表。选项有none、textfile、sequencefile、rcfile、orc和parquet(从hive2.3.0开始)。保留此空值将导致对所有本机表使用hive.default.fileformat。对于非本机表,文件格式由存储处理程序确定,如下所示(有关托管/外部和本机/非本机术语的更多信息,请参阅storagehandlers部分)。
https://cwiki.apache.org/confluence/display/hive/configuration+properties#configurationproperties-文件格式