允许业务用户将数据从csv上传到Google Big Query表

amrnrhlw  于 2023-04-18  发布在  Go
关注(0)|答案(2)|浏览(107)

我正在准备一个tableau Jmeter 板,它可以从某些表中读取数据。其中一个表中的数据是临时手动添加的。数据来自业务端。有没有一种方法可以让业务用户将csv上传到大查询表中,而不需要他们做任何技术性太强的事情?

ymzxtsji

ymzxtsji1#

目前还没有一种用户友好的方法可以直接从csv导入到现有的大型查询表。您可以将python脚本打包到一个小应用程序中,该应用程序允许业务用户选择一个文件,然后运行python脚本将csv上传到BQ。我不得不做类似的解决方案。

nnsrf1az

nnsrf1az2#

作为解决方法,您可以考虑以下方法:

1使用云盘传输:

在这种方法中,首先您需要将csv文件提交到云存储。然后您可以设置云存储传输。此云存储传输服务允许您计划从云存储到BigQuery的重复数据加载。有关详细信息,请单击此链接。但请记住,此服务有一些限制。

2在Google Cloud上自动执行Python脚本。

在google cloud上自动化python脚本有不同的方法。在你的例子中,你可以考虑使用cloud schedular的cloud函数来自动运行你的python代码。首先你需要创建一个cloud函数来运行你的代码。然后你可以使用cloud schedular来自动触发你的函数。更安全的方式是你可以通过使用pubsub间接使用trigger cloud函数。欲了解更多信息,请点击link

相关问题