apache drill无法从hdfs读取文件(资源错误:未能创建架构树)

nue99wik  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(363)

在hdfs集群的一个边缘节点上设置drill之后,我无法读取任何hdfs文件。我可以从本地文件中查询数据(只要它们位于具有777权限的文件夹中),但从hdfs查询数据失败,并出现以下错误:
错误:资源错误:未能创建架构树。
[服务器上的错误id:d9f7908c-6c3b-49c0-a11e-71c004d27f46-name:31010](状态=,代码=0)
查询:

0: jdbc:drill:zk=local> select * from hdfs.`/names/city.parquet` limit 2;

从本地文件查询工作正常:

0: jdbc:drill:zk=local> select * from dfs.`/tmp/city.parquet` limit 2;

我的hdfs设置与dfs设置类似,只是连接url是服务器地址而不是文件:///
我在网上找不到有关此错误的任何信息。

gk7wooem

gk7wooem1#

“。在某个边缘节点上…”
钻头也可以在hadoop集群的数据节点上运行,而不仅仅是在边缘节点上。这将有助于提高数据的局部性。
现在,谈到您看到的错误,看起来您的一个钻头可能已关闭,或者您的foreman节点(您连接的节点)在连接到其他节点时遇到问题。
如果你能提供更多的信息,比如你的群集中有多少钻头,这将对你有更大的帮助。
一个好的起点应该是,检查:

select * from sys.drillbits;

这将告诉您哪些节点处于上升/下降状态。

iklwldmw

iklwldmw2#

在apachedrill的conf目录中,需要向drill-override.conf文件添加以下行

drill.exec: {
cluster-id: "drillbits1",
zk.connect: "localhost:2181",
sys.store.provider.local.path="/mypath"
}

在这里代替“/mypath”,您需要提供系统的路径,drill将在其中保存存储插件。
https://community.mapr.com/thread/20905-re-help-with-error-resource-error-failed-to-create-schema-tree 你可以查看上面的链接。

相关问题