使用cron将mysql数据库中的数据导出到csv，然后读取这个csv文件并使用bigquery将所有数据获取到googlecloud
大家好，我有一个名为db\u test的mysql数据库，还有一个名为members\u test（id，name）的表。我正在研究linux操作系统。我正在尝试使用cronjob在午夜将此表中的数据转换为csv文件。另外，我想让bigquery以某种方式读取这个csv文件并获取其数据，然后将它们放在google云平台上保存的名为cloud\u members\u tab的表中。
怎么做？
1条答案
按热度按时间jk9hmnmh1#
确保正确生成csv（不要依赖mysql csv本地导出）
安装
gsutil以及bq命令行实用程序上传csv到google云存储
使用如下shell命令：
gsutil cp-j-o=“gsutil:parallel_composite_upload_threshold=150m“/tmp/export.csv gs://bucket/export.csv”
使用
bq loadbq load--source\u format=csv--field\u delimiter=“，”--null\u marker=“\n”--允许引用\u换行符--autodetect--source\u format=csv dataset.tablename gs://bucket/export.csv