当我查看我们的数据湖中的列注解(hadoop,在用hive或impala创建Parquet表时所做的注解)时,它们被剪切到大约200个字符之后。这可能是我们hadoop系统中的全局字符设置或某些配置单元限制吗?如果没有,是否有方法在创建表期间设置注解的最大字符串长度?不幸的是,我没有对系统本身的管理员访问权限,因此,见解受到限制。
kx5bkwkv1#
列注解存储在配置单元元存储表中 COLUMNS_V2 ,在名为 COMMENT . 目前,该列的大小限制为256个字符(例如,请参阅HiveVersion3.0.0的mysql元存储架构定义)。在即将发布的4.0(?)版本中,它似乎已经扩展到varchar(4000),但是相关的hive jira-4921仍然被列为未解决,并且没有提到目标版本。
COLUMNS_V2
COMMENT
1条答案
按热度按时间kx5bkwkv1#
列注解存储在配置单元元存储表中
COLUMNS_V2
,在名为COMMENT
. 目前,该列的大小限制为256个字符(例如,请参阅HiveVersion3.0.0的mysql元存储架构定义)。在即将发布的4.0(?)版本中,它似乎已经扩展到varchar(4000),但是相关的hive jira-4921仍然被列为未解决,并且没有提到目标版本。