通过数据库阅读Azure数据湖并写入Google BigQuery

efzxgjgh 于 2023-02-05 发布在 Go

关注(0)|答案(1)|浏览(108)

我正在尝试从Azure Datalake读取并写入Bigquery。已引用https://docs.databricks.com/external-data/bigquery.html
我在GCP中创建了2个服务帐户，生成了json密钥，并将其上传到dbfs中的/tmp位置。使用spark命令执行bigquery写入时，会引发异常**
com.google.cloud.spark.bigquery.repackaged.com.google.inject.ProvisionException:无法设置，请参见以下错误：**，基础错误为FileNotFound，原因是：java.io.FileNotFoundException:dbfs/tmp/gcpaccess.json（无此类文件或目录）json文件存在于dbfs：/tmp和file：/tmp位置（在数据块中）

Azure

来源：https://stackoverflow.com/questions/75256607/reading-from-azure-datalake-writing-to-google-bigquery-via-databricks

1条答案

按热度按时间

8qgya5xd1#

通过查看错误，似乎无法获取包含密钥和其他信息的Json文件。

在dbfs〉〉filestore下上传Json文件。
现在，将文件从dbfs复制到临时文件位置。

%fs cp "dbfs location" "temporary location"

(If您正在使用Azure数据块，无需复制临时位置）

然后使用凭据路径/temp/filename

在这个video由Azarudin shahul解释所有的过程来连接大查询到数据库.

赞(0）回复(0）举报 2023-02-05

我来回答

通过数据库阅读Azure数据湖并写入Google BigQuery

1条答案

相关问题

热门标签

最新问答