我们有一个自定义的内部数据格式。我想用 Impala 这种格式，只是为了阅读。我想为这种格式编写绑定。但是没有理由把它贡献给别人，因为没有其他人使用这种格式。impala是否以某种方式支持文件格式插件？从 hdfs-scan-node.cc 文件格式列表似乎是硬编码的。如果是这样的话，有没有改变的计划？或者出于某种原因这不是一个常见的问题？
hdfs-scan-node.cc
k2arahey1#
不，正如《impala如何使用hadoop文件格式》中所述：impala只能查询上表中列出的文件格式。特别是，impala不支持orc文件格式。其原因可能与运行时代码生成有关，如果impala不约束文件格式，那么运行时代码生成将更难优化。然而，impala是一个开源项目，没有理由不能通过提交jira来提出建议。http://blog.cloudera.com/blog/2013/02/inside-cloudera-impala-runtime-code-generation/httpshttp://issues.apache.org/jira/projects/impala/issueshttps://www.cloudera.com/documentation/enterprise/latest/topics/impala_file_formats.html
1条答案
按热度按时间k2arahey1#
不，正如《impala如何使用hadoop文件格式》中所述：
impala只能查询上表中列出的文件格式。特别是，impala不支持orc文件格式。
其原因可能与运行时代码生成有关，如果impala不约束文件格式，那么运行时代码生成将更难优化。然而，impala是一个开源项目，没有理由不能通过提交jira来提出建议。
http://blog.cloudera.com/blog/2013/02/inside-cloudera-impala-runtime-code-generation/httpshttp://issues.apache.org/jira/projects/impala/issueshttps://www.cloudera.com/documentation/enterprise/latest/topics/impala_file_formats.html