hadopp polybase:查询处理器在处理远程查询阶段期间遇到意外错误

wqnecbli 于 2021-07-15 发布在 Hadoop

关注(0)|答案(2)|浏览(372)

我是polybase的新手，但我已经能够创建一个外部数据源和外部表，从sqlserverpolybase到hadoophortonworks3.1，并在上启用kerberos和ha。
当我尝试从外部表中进行select查询时，会引发以下错误：
内部查询处理器错误：查询处理器在处理远程查询阶段期间遇到意外错误。
我已经阅读了说明我需要在安装后重新启动polybase服务的文档和可能的原因，但是我已经重新启动了所有与sqlserver相关的服务以及polybase服务。而且，我的polybase数据移动服务有时会自行停止；然而，当它运行时，我面临同样的错误。
这是我的外部数据源

CREATE EXTERNAL DATA SOURCE [Hive_test3] 
WITH 
(TYPE = HADOOP,
LOCATION = N'hdfs://xxxxxxxxxx:8020', 
RESOURCE_MANAGER_LOCATION = N'xxxxxxxxx:8032',
CREDENTIAL = [HadoopUser2])

我的外桌是：

CREATE EXTERNAL TABLE [dbo].[municipal_test]
(
    [id] [int] NULL,
    [city_id] [int] NULL,
    [name] [varchar](250) NULL
)
WITH (DATA_SOURCE = [Hive_test3],
LOCATION = N'/user/xxxx/xxxx.csv',
FILE_FORMAT = [csvFileFormat],
REJECT_TYPE = VALUE,REJECT_VALUE = 500)

即使以下查询失败：

SELECT 1
FROM 
[dbo].[municipal_test]

你能帮帮我吗？

hadoop sql-server polybase

来源：https://stackoverflow.com/questions/65917121/hadopp-polybase-the-query-processor-encountered-an-unexpected-error-during-the

2条答案

按热度按时间

bjg7j2ky1#

请检查您是否已完成以下操作：
已配置“polybase enabled”
已配置“hadoop连接”
修改了“yarn site.xml”
已创建主密钥加密
在hadoop中，您已经在操作系统级别创建了用户，并向其授予了文件夹权限
另外，请提供您的外部文件格式的代码（在我写这个答案时没有包含）。下面是有关kerberos的其他信息：https://docs.microsoft.com/en-us/sql/relational-databases/polybase/polybase-configuration，下面是有关疑难解答的附加信息：https://docs.microsoft.com/en-us/sql/relational-databases/polybase/polybase-troubleshoot-connectivity.

赞(0）回复(0）举报 2021-07-15

e37o9pze2#

问题是我们在迁移到另一个域之前安装了sql和polybase服务。虽然，域名变更后，我们也更改了服务帐户；但是，日志显示有一两个服务仍在使用旧的服务。因此，卸载和重新安装使用域帐户解决了这个问题。

赞(0）回复(0）举报 2021-07-15