运行时错误：无法在spark中设置数据库！[DBT + Spark + Thrift]

fnatzsnv 于 2023-06-30 发布在 Apache

关注(0)|答案(1)|浏览(121)

有人能帮我吗？我得到错误，***Runtime Error: Cannot set database in spark!***而运行dbt模型通过Spark节俭模式与远程Hive元存储.
我需要使用Apache Spark作为适配器在DBT中转换一些模型。现在，我在本地机器上运行spark。我用远程hive元存储URI启动了thrift服务器，如下所示。
1.已启动master
./sbin/start-master.sh
1.开始工作
./sbin/start-worker.sh spark：//master_url：7077
1.已启动Thrift服务器
./sbin/start-thriftserver.sh--master spark：//master_url：7077 --packages org.apache. iceberg-spark3-runtime：0.13.1 --hiveconf hive.metastore.uris=thrift：//ip：9083
在我的DBT项目中

project_name:
  outputs:
    dev:
      host: localhost
      method: thrift
      port: 10000
      schema: test_dbt
      threads: 4
      type: spark
      user: admin
  target: dev

执行dbt run时，出现以下错误。

dbt run --select test -t dev
Running with dbt=1.1.0
Partial parse save file not found. Starting full parse.
Encountered an error:
Runtime Error 
Cannot set database in spark!

请注意，dbt.log中没有太多信息