我已经编写了一个pig脚本，它将生成一个配置单元表的元组。我正在尝试将结果转储到hdfs中的特定分区，hive在该分区中存储表date。到目前为止，我使用的分区值是pigscript内部生成的时间戳字符串值。我必须使用这个时间戳字符串值来存储我的pig脚本结果，但是我不知道怎么做。任何帮助都将不胜感激。
cunj1qz11#
如果我理解正确的话，您可以从一个配置单元表的分区中读取一些数据，并希望将其存储到另一个配置单元表分区中，对吗？hivi分区（形式hdfs透视图）只是一个子文件夹，其名称是这样构造的：fieldname\u分区\u是基于\u on=value例如，您有一个日期分区，它看起来是这样的：hdfs\u to\u your\u hive\u table/date=20160607/所以您只需要在store语句中指定这个输出位置使用org.apache.hive.hcatalog.pig.hcatstorer（'date=$today'）将mydata存储到“$hive\u db.$table”中；
1条答案
按热度按时间cunj1qz11#
如果我理解正确的话，您可以从一个配置单元表的分区中读取一些数据，并希望将其存储到另一个配置单元表分区中，对吗？hivi分区（形式hdfs透视图）只是一个子文件夹，其名称是这样构造的：fieldname\u分区\u是基于\u on=value例如，您有一个日期分区，它看起来是这样的：hdfs\u to\u your\u hive\u table/date=20160607/
所以您只需要在store语句中指定这个输出位置
使用org.apache.hive.hcatalog.pig.hcatstorer（'date=$today'）将mydata存储到“$hive\u db.$table”中；