我正在准备一个tableau Jmeter 板,它可以从某些表中读取数据。其中一个表中的数据是临时手动添加的。数据来自业务端。有没有一种方法可以让业务用户将csv上传到大查询表中,而不需要他们做任何技术性太强的事情?
ymzxtsji1#
目前还没有一种用户友好的方法可以直接从csv导入到现有的大型查询表。您可以将python脚本打包到一个小应用程序中,该应用程序允许业务用户选择一个文件,然后运行python脚本将csv上传到BQ。我不得不做类似的解决方案。
nnsrf1az2#
作为解决方法,您可以考虑以下方法:
1使用云盘传输:
在这种方法中,首先您需要将csv文件提交到云存储。然后您可以设置云存储传输。此云存储传输服务允许您计划从云存储到BigQuery的重复数据加载。有关详细信息,请单击此链接。但请记住,此服务有一些限制。
2在Google Cloud上自动执行Python脚本。
在google cloud上自动化python脚本有不同的方法。在你的例子中,你可以考虑使用cloud schedular的cloud函数来自动运行你的python代码。首先你需要创建一个cloud函数来运行你的代码。然后你可以使用cloud schedular来自动触发你的函数。更安全的方式是你可以通过使用pubsub间接使用trigger cloud函数。欲了解更多信息,请点击link。
2条答案
按热度按时间ymzxtsji1#
目前还没有一种用户友好的方法可以直接从csv导入到现有的大型查询表。您可以将python脚本打包到一个小应用程序中,该应用程序允许业务用户选择一个文件,然后运行python脚本将csv上传到BQ。我不得不做类似的解决方案。
nnsrf1az2#
作为解决方法,您可以考虑以下方法:
1使用云盘传输:
在这种方法中,首先您需要将csv文件提交到云存储。然后您可以设置云存储传输。此云存储传输服务允许您计划从云存储到BigQuery的重复数据加载。有关详细信息,请单击此链接。但请记住,此服务有一些限制。
2在Google Cloud上自动执行Python脚本。
在google cloud上自动化python脚本有不同的方法。在你的例子中,你可以考虑使用cloud schedular的cloud函数来自动运行你的python代码。首先你需要创建一个cloud函数来运行你的代码。然后你可以使用cloud schedular来自动触发你的函数。更安全的方式是你可以通过使用pubsub间接使用trigger cloud函数。欲了解更多信息,请点击link。